(57)【要約】      （修正有）【課題】道路反射鏡の向きを認識する画像認識装置、道路反射鏡及び画像認識方法を提供する。【解決手段】画像認識装置３は、画像入力部５１と、柱領域検出部５２と、向き認識部５４とを具備する。画像入力部は、光の反射特性が異なる複数の領域を有する円筒状の支柱と前記支柱により支持される鏡面とを備える道路反射鏡をカメラ１２で撮像した画像を受け取る。柱領域検出部は、前記画像において前記支柱が写った柱領域を検出する。向き認識部は、前記柱領域の画像から前記複数の領域を検出し、前記柱領域における前記複数の領域の位置関係に基づいて、前記道路反射鏡の向きを認識する。【選択図】図２
2019008701.tif 000002
【特許請求の範囲】
【請求項１】
光の反射特性が異なる複数の領域を有する円筒状の支柱と前記支柱により支持される鏡面とを備える道路反射鏡をカメラで撮像した画像を受け取る画像受取部と、
前記画像において前記支柱が写った柱領域を検出する柱領域検出部と、
前記柱領域の画像から前記複数の領域を検出し、前記柱領域における前記複数の領域の位置関係に基づいて、前記道路反射鏡の向きを認識する向き認識部と、
を具備する画像認識装置。
【請求項２】
前記向き認識部は、前記柱領域の幅に対する前記複数の領域のうちのいずれかの幅の比率に基づいて、前記画像を撮像したカメラの光軸に対して前記道路反射鏡の正面方向が成す相対角度を算出する請求項１に記載の画像認識装置。
【請求項３】
前記複数の領域は、前記支柱の外周が同心円方向に分割されて構成された第１の反射特性で光を反射する第１の領域、第２の反射特性で光を反射する第２の領域、及び第３の反射特性で光を反射する第３の領域であり、
前記向き認識部は、前記柱領域の幅に対する前記第１の領域、前記第２の領域、及び前記第３の領域のうちのいずれかの幅の比率に基づいて、相対角度を算出する請求項１に記載の画像認識装置。
【請求項４】
道路附属物の種類が道路反射鏡であることを示す識別用図柄が設けられた円筒状の支柱と、
前記支柱により支持され、光を反射する鏡面と、
を具備し、
前記識別用図柄は、前記支柱の外周が同心円方向に分割されて構成された第１の反射特性で光を反射する第１の領域、第２の反射特性で光を反射する第２の領域、及び第３の反射特性で光を反射する第３の領域を備える道路反射鏡。
【請求項５】
前記第１の領域は、前記道路反射鏡の正面方向が通り、且つ前記支柱の外周の同心円方向に前記第２の領域及び前記第３の領域よりも狭く設けられた領域である請求項４に記載の道路反射鏡。
【請求項６】
前記鏡面は、前記第１の領域の前記同心円方向における中心を前記正面方向が通るように前記支柱に設置される請求項５に記載の道路反射鏡。
【請求項７】
光の反射特性が異なる複数の領域を有する円筒状の支柱と前記支柱により支持される鏡面とを備える道路反射鏡の向きを認識する画像認識装置における画像認識方法であって、
前記画像認識装置が、
前記道路反射鏡をカメラで撮像した画像を受け取り、
前記画像において前記支柱が写った柱領域を検出し、
前記柱領域の画像から前記複数の領域を検出し、前記柱領域における前記複数の領域の位置関係に基づいて、前記道路反射鏡の向きを認識する画像認識方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明の実施形態は、画像認識装置、道路反射鏡、及び画像認識方法に関する。
【背景技術】
【０００２】
道路には、車両が道路を安全に走行する為に設けられた種々の種類の道路附属物が設けられている。道路附属物は、例えば、道路反射鏡、道路標識、及び街路灯などがある。一方、画像認識装置による画像の認識結果に基づいて、車両の運転を制御する自動運転の検討も進められている。
【０００３】
画像認識装置は、車両に搭載されたカメラが取得した画像に基づいて、道路に設けられ且つ種類を示す図柄を有する道路附属物を検出する。画像認識装置は、道路附属物の図柄の画像に基づいて、道路附属物の種類を認識し、認識結果を車両制御装置に供給する。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１６−１６２４３６号公報
【特許文献２】特開２０１６−１１０３７３号公報
【特許文献３】特開２０１６−１８８６１４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
道路附属物の内道路反射鏡では、道路反射鏡の鏡面がどの方向を映しているのかを認識することができないという課題がある。
【０００６】
本発明は、道路反射鏡の向きを認識する画像認識装置、道路反射鏡、及び画像認識方法を提供することを目的とする。
【課題を解決するための手段】
【０００７】
実施形態に係る画像認識装置は、画像受取部と、柱領域検出部と、向き認識部とを具備する。画像受取部は、光の反射特性が異なる複数の領域を有する円筒状の支柱と前記支柱により支持される鏡面とを備える道路反射鏡をカメラで撮像した画像を受け取る。柱領域検出部は、前記画像において前記支柱が写った柱領域を検出する。向き認識部は、前記柱領域の画像から前記複数の領域を検出し、前記柱領域における前記複数の領域の位置関係に基づいて、前記道路反射鏡の向きを認識する。
【図面の簡単な説明】
【０００８】
【図１】一実施形態に係る画像認識装置が搭載される車両と、道路附属物としての道路反射鏡との例について説明する為の説明図である。
【図２】一実施形態に係る画像認識装置の構成例について説明する為の説明図である。
【図３】一実施形態に係る道路反射鏡の外観の例について説明する為の説明図である。
【図４】一実施形態に係る道路反射鏡の構成の例について説明する為の説明図である。
【図５】道路反射鏡の支柱をカメラにより撮像した画像の例について説明する為の説明図である。
【図６】一実施形態に係る画像認識装置における相対角度θを算出する処理について説明する為の説明図である。
【図７】一実施形態に係る画像認識装置の動作の例について説明する為のフローチャートである。
【図８】一実施形態に係る画像認識装置の動作の例について説明する為のフローチャートである。
【図９】一実施形態に係る画像認識装置の動作の例について説明する為のフローチャートである。
【発明を実施するための形態】
【０００９】
以下、図面を参照し、画像認識装置、道路反射鏡、及び画像認識方法について詳細に説明する。  
まず画像認識装置が搭載される車両と、車両が走行する道路について説明する。  
【００１０】
図１は、車両１と、道路附属物としての道路反射鏡２との例について説明する為の説明図である。
道路附属物は、例えば、道路反射鏡、道路標識、及び街路灯などの、車両が道路を安全に走行する為に設けられたものである。例えば、道路反射鏡２は、道路を走行する車両１からは見えない場所からの光を、道路を走行する車両１に向けて反射する道路附属物である。即ち、道路反射鏡２は、車両１から死角になる位置の情報を車両１、または車両１の運転者に対して供給する。
【００１１】
図２は、画像認識装置３の構成例について説明する為の説明図である。
車両１は、道路附属物が設けられた道路を走行する移動体である。車両１は、車体１１、カメラ１２、車両制御装置１３、及び画像認識装置３を備える。さらに、車両１は、車両を走行させる図示されないエンジン、車両１の進行方向を制御する操舵装置、及び図示されない種々のセンサを備える。
【００１２】
カメラ１２は、光を電気信号に変換する撮像素子と、撮像素子に光を結像させる光学系とを備える。カメラ１２は、撮像素子が撮像した画像を画像認識装置３に供給する。例えば、カメラ１２の光学系の光軸は、車体１１の前後方向に平行に設けられている。また、例えば、カメラ１２は、車体１１の前方に設けられている。これにより、カメラ１２は、車体１１の前方の画像を撮像する。また、車体１１には、カメラ１２とは異なる方向を撮像するカメラがさらに設けられていてもよい。
【００１３】
画像認識装置３は、車両１に搭載されたカメラ１２が撮像した画像に基づいて、道路に設けられた道路附属物を認識し、認識結果を車両制御装置１３に供給する。
ここで、画像認識装置３は、道路附属物の種類が道路反射鏡２である場合、道路反射鏡２の向きを認識し、認識結果を車両制御装置１３に供給する。
【００１４】
図２に示されるように、画像認識装置３は、画像入力部５１、柱領域検出部５２、コード読取部５３、向き認識部５４、及び出力部５５を備える。なお、柱領域検出部５２、コード読取部５３、及び向き認識部５４は、それぞれハードウェアにより構成されていてもよい。また、画像認識装置３は、演算処理を実行する演算素子（たとえば、ＣＰＵ）と、演算素子が実行するプログラムを記憶したメモリとを備える構成である場合、演算素子にプログラムを実行させることにより柱領域検出部５２、コード読取部５３、及び向き認識部５４として動作させる構成であってもよい。
【００１５】
画像入力部５１は、カメラ１２が撮像した画像が入力されるインタフェースである。画像入力部５１は、カメラ１２から入力された画像を柱領域検出部５２に供給する。なお、画像入力部５１は、カメラ１２に対して画像を要求することにより、カメラ１２に撮像を行わせる構成であってもよい。また、画像入力部５１は、カメラ１２が周期的に取得した画像を逐次受け取る構成であってもよい。
【００１６】
柱領域検出部５２は、画像入力部５１から供給された画像内において、縦方向の１対の平行な直線の間を、柱領域として検出する。柱領域検出部５２は、柱領域の検出結果をコード読取部５３に供給する。具体的には、柱領域検出部５２は、画像入力部５１から供給された画像におけるエッジ（輪郭）を強調する。さらに、柱領域検出部５２は、エッジが強調された画像から画素から所定の特徴を抽出することにより、画像内における縦方向の直線を検出する。通常カメラ１２は、画像の縦方向が鉛直方向に対応し、画像の横方向が水平方向に対応するように車両１に搭載される。この為、柱領域検出部５２が検出する縦方向の直線は、鉛直方向に対応する直線である。柱領域検出部５２は、検出した直線のうち、対となる直線を検出し、１対の直線の間の領域の座標を柱領域の検出結果としてコード読取部に供給する。また、柱領域検出部５２は、柱領域の検出結果または柱領域の画像を向き認識部５４にも供給する。
【００１７】
コード読取部５３は、柱領域検出部５２で検出された柱領域の画像から、コードを読み取る。コードは、例えば道路附属物が有する識別用図柄である。コード読取部５３は、柱領域の画像を二値化することにより、画像からバーコードを抽出する。
【００１８】
コード読取部５３は、画像を走査することによりバーコードを認識し、バーコードの生成に用いられたデータを復号する。コード読取部５３は、バーコードの生成に用いられたデータを復号し、道路附属物の種類に割当てられた識別情報を取得する。コード読取部５３は、道路附属物の種類と識別情報とが対応付けられたテーブルを参照することにより、道路附属物がどのような種類のものであるかを認識する。
【００１９】
コード読取部５３は、反射鏡２であると認識した場合、道路附属物の種類の認識結果を向き認識部５４に供給する。また、コード読取部５３は、道路附属物の種類が道路反射鏡２ではないと認識した場合、道路附属物の種類の認識結果を出力部５５に供給する。
【００２０】
向き認識部５４は、道路附属物の種類が道路反射鏡２である場合、柱領域検出部５２で検出された柱領域の画像に基づいて、道路反射鏡２の向きを認識する。向き認識部５４は、道路反射鏡２の向きの認識結果を出力部５５に供給する。
【００２１】
出力部５５は、コード読取部５３から供給された、道路附属物の種類の認識結果、向き認識部５４から供給された道路反射鏡２の向き、及び向き認識部５４から供給された相対角度θのうちのいずれかまたは複数を画像認識装置３から出力する。例えば、出力部５５は、道路附属物の種類の認識結果、向き認識部５４から供給された道路反射鏡２の向き、及び向き認識部５４から供給された相対角度θのうちのいずれかまたは複数を、車両制御装置１３に供給する。これにより、画像認識装置３は、車両制御装置１３が車両の走行を制御する為の情報を、車両制御装置１３に供給することができる。
【００２２】
更に、車両制御装置１３は、エンジンの動作、及び操舵装置の動作を制御することにより、車両１の走行を制御する。車両制御装置１３は、画像認識装置３の認識結果、図示されない運転台による操作、ネットワークを介して取得した情報、及び車体１１に設けられた図示されないセンサのうちのいずれか、または複数に基づいて、車両１の走行を制御する。
【００２３】
次に、道路反射鏡２について詳細に説明する。
図３は、道路反射鏡２の外観について説明する為の説明図である。また、図４は、道路反射鏡２の詳細な構成の例について説明する為の説明図である。図４は、道路反射鏡２を鉛直方向から見た図である。
【００２４】
図３及び図４において、道路反射鏡２は、バックプレート２１、鏡面２２、及び支柱２３を備える。
バックプレート２１は、鏡面２２を支持する部材である。鏡面２２は、光を反射する面である。鏡面２２は、光を反射する面が表を向くようにバックプレート２１に取り付けられる。鏡面２２は、例えば凸面として構成される。
支柱２３は、バックプレート２１及び鏡面２２を道路から所定の高さで支持する部材である。支柱２３は、例えば円筒状に構成される。支柱２３の一方の端部は、道路に埋め込まれる。また、支柱２３の他方の端部には、バックプレート２１が取り付けられる。またさらに、支柱２３には、識別用図柄２４が設けられている。
【００２５】
識別用図柄２４は、道路附属物の種類を示す情報、及び他の種々の情報に基づいて生成された図柄である。識別用図柄２４は、支柱２３の道路から所定以上の高さの外周に設けられている。
【００２６】
次に、図４を用いて、識別用図柄２４を詳細に説明する。図４に示されるように、支柱２３の外周が支柱２３の同心円方向に分割する第１の分割面３１、第２の分割面３２、及び第３の分割面３３を考える。
ここで、支柱２３の同心円方向において第１の分割面３１と第３の分割面３３との角度を第１の角度、第１の分割面３１と第２の分割面３２との角度を第２の角度、第２の分割面３２と第３の分割面３３との角度を第３の角度とする。
【００２７】
識別用図柄２４の第１の分割面３１と第３の分割面３３との間の領域を第１の領域２５と称する。第１の領域２５は、支柱２３の外周において支柱２３の同心円方向に、第３の分割面３３から第１の角度に亘って形成された領域で、標識の正面にあたる。なお、第１の角度は、第２の角度及び第３の角度よりも小さい角度である。具体例としては、第１の角度は、９０度である。
【００２８】
識別用図柄２４の第１の分割面３１と第２の分割面３２との間の領域を第２の領域２６と称する。第２の領域２６は、支柱２３の外周において支柱２３の同心円方向に、第１の分割面３１から第２の角度に亘って形成された領域である。なお、第２の角度は、第１の角度よりも大きい角度である。また、例えば、第２の角度は、第３の角度と同じ角度である。具体例としては、第２の角度は、１３５度である。
【００２９】
識別用図柄２４の第２の分割面３２と第３の分割面３３との間の領域を第３の領域２７と称する。第３の領域２７は、支柱２３の外周において支柱２３の同心円方向に、第２の分割面３２から第３の角度に亘って形成された領域である。なお、第３の角度は、第１の角度よりも大きい角度である。また、例えば、第３の角度は、第２の角度と同じ角度である。具体例としては、第３の角度は、１３５度である。
【００３０】
次に、各領域の反射特性（例えば、色）について、説明する。  
第１の領域２５は、第１の反射特性で光を反射する領域である。本例では、第１の領域２５は、正面の領域であるため、青色の光を他の波長帯域の光に比べて強く反射する領域として構成される。  
第２の領域２６は、第１の反射特性とは異なる第２の反射特性で光を反射する領域である。本例では、第２の領域２６は、赤色の光を他の波長帯域の光に比べて強く反射する領域として構成される。  
第３の領域２７は、第１の反射特性及び第２の反射特性とは異なる第３の反射特性で光を反射する領域である。本例では、第３の領域２７は、緑色の光を他の波長帯域の光に比べて強く反射する領域として構成される。  
ここで、第１の領域、第２の領域、及び第３の領域は、必ずしもと異なる色で構成に限られず、反射率が異なる波長帯を用いた構成であってもよい。
【００３１】
次に各領域の図柄について、説明する。  
第１の領域２５、第２の領域２６、及び第３の領域２７は、道路附属物が道路反射鏡であることを示す情報に基づいて生成された図柄としてそれぞれ構成される。第１の領域２５、第２の領域２６、及び第３の領域２７は、例えば道路附属物の種類に割当てられた識別情報を含むデータがコード化されたバーコード、二次元コード、または他の図柄としてそれぞれ構成される。なお、識別用図柄２４の第１の領域２５、第２の領域２６、及び第３の領域２７は、少なくとも画像を介して情報を他の機器に供給できる構成であれば、如何なる図柄として構成されるものであってもよい。
【００３２】
図５は、道路反射鏡２の支柱２３をカメラ１２により撮像した画像の例を示す。  
第１の画像４１は、図４における鏡面２２の正面側である第１の方向４２から、道路反射鏡２の支柱２３を撮像した場合の画像の例を示す。第１の画像４１には、識別用図柄２４の第１の領域２５である青色の領域、第２の領域２６である赤色の領域、及び第３の領域２７である緑色の領域が写っている。
【００３３】
第２の画像４３は、図４における鏡面２２に向かって右側の側面である第２の方向４４から、道路反射鏡２の支柱２３を撮像した場合の画像の例を示す。第２の画像４３には、識別用図柄２４の第１の領域２５である青色の領域、及び第２の領域２６である赤色の領域が写っており、第３の領域２７は写っていない。
【００３４】
第３の画像４５は、図４におけるバックプレート２１側である第３の方向４６から、道路反射鏡２の支柱２３を撮像した場合の画像の例を示す。第３の画像４５には、及びが写っている。即ち、第３の画像４５には、識別用図柄２４の第２の領域２６である赤色の領域、及び第３の領域２７である緑色の領域が写っており、第１の領域２５は写っていない。
【００３５】
第４の画像４７は、図４における鏡面２２に向かって左側の側面である第４の方向４８から支柱２３を撮像した場合の画像の例を示す。第４の画像４７には、識別用図柄２４の第１の領域２５である青色の領域、及び第３の領域２７である緑色の領域が写っており、第２の領域２６は写っていない。
【００３６】
上記したように、道路反射鏡２の支柱２３は、識別用図柄２４のうちのどの領域がどの程度見えているかに基づいて、道路反射鏡２をどの方向から見ているかを判断できるように構成されている。
【００３７】
次に、図６を参照し、向き認識部５４の相対角度θを算出する原理について説明する。図６は、道路反射鏡２を鉛直方向から見た図である。  
向き認識部５４は、柱領域の幅に対する青色の領域の幅の比率、赤色の領域の幅の比率、及び緑色の領域の幅の比率のいずれかまたは複数に基づいて、道路反射鏡２の正面方向３５を示す相対角度θを算出する。
【００３８】
相対角度θは、水平方向において、カメラ１２の光軸と道路反射鏡２の鏡面２２の正面方向３５とが成す角度である。なお、上記したようにカメラ１２の光軸が車両１の進行方向と平行である場合、相対角度θは、車両１の進行方向と道路反射鏡２の鏡面２２の正面方向３５とが、支柱２３の同心円方向において成す角度と言い換えることができる。
【００３９】
例えば、向き認識部５４は、柱領域の画像に基づいて、柱領域の幅Ｌを算出する。上記したように、柱領域検出部５２は、鉛直方向に対応した１対の直線の間を柱領域として検出する構成となっている。通常カメラ１２は、画像の縦方向が鉛直方向に対応し、画像の横方向が水平方向に対応するように車両１に搭載される。例えば、向き認識部５４は、柱領域の画像における１対の直線の間の横方向の画素数を、柱領域の幅Ｌとして算出する。
【００４０】
また、例えば、向き認識部５４は、柱領域の画像に基づいて、識別用図柄２４の各領域の幅を算出する。即ち、向き認識部５４は、柱領域の画像における、青色の領域の幅Ｂと、赤色の領域の幅Ｒと、緑色の領域の幅Ｇとをそれぞれ算出する。例えば、向き認識部５４は、柱領域の画像における青色の領域の横方向の画素数を、青色の領域の幅Ｂとして算出する。また、例えば、向き認識部５４は、柱領域の画像における赤色の領域の横方向の画素数を、赤色の領域の幅Ｒとして算出する。また、例えば、向き認識部５４は、柱領域の画像における緑色の領域の横方向の画素数を、緑色の領域の幅Ｇとして算出する。これにより、向き認識部５４は、柱領域の幅Ｌに対する青色の領域の幅Ｂの比率Ｂ／Ｌ、赤色の領域の幅Ｒの比率Ｒ／Ｌ、及び緑色の領域の幅Ｇの比率Ｇ／Ｌをそれぞれ算出することができる。
【００４１】
なお、向き認識部５４は、柱領域の画像から、特定の色を検出することにより、青色の領域、赤色の領域、及び緑色の領域をそれぞれ認識する構成であってもよいし、向き認識部５４は、コード読取部５３による領域の検出結果を用いて、柱領域の画像上の青色の領域、赤色の領域、及び緑色の領域を認識する構成であってもよい。
【００４２】
向き認識部５４は、柱領域の幅Ｌに対する各色の領域の幅の比率に基づいて、相対角度θを算出する。向き認識部５４は、赤色の領域の幅Ｒの比率Ｒ／Ｌと、緑色の領域の幅Ｇの比率Ｇ／Ｌとのいずれかに基づいて相対角度θを算出する。向き認識部５４は、赤色の領域の幅Ｒの比率Ｒ／Ｌと、緑色の領域の幅Ｇの比率Ｇ／Ｌとで比率が大きい方を相対角度θの算出に用いる。なお、本例では、領域の幅Ｌに対する緑色の領域の幅Ｇの比率に基づいて、相対角度θを算出する例について説明する。
【００４３】
相対角度をθ、支柱２３の半径をｒ（＝Ｌ／２）、柱領域の幅Ｌに対する各色の領域の幅の比率をＣ（本例では、緑色の領域の幅Ｇに応じた比率であるとして説明する）とし、カメラ１２の光軸６１と分割面（本例では、緑色の領域と青色の領域とを分割する第３の分割面３３として説明する）とが成す角度をφとする。なお、比率Ｃは、本例ではＧ／Ｌで表すことができ、画像から算出した緑色の領域の幅Ｇ及び柱領域の幅Ｌに基づいて算出が可能な値である。この場合、以下の数式１が成り立つ。  
Ｇ＝ｒ＋ｒ・ｓｉｎφ                      ・・・（数式１）
また、第３の分割面３３と鏡面２２の正面方向３５とが水平方向において成す角は、上記のように第１の角度が９０度である場合、π／４である。この為、相対角度θは、以下の数式２で表すことができる。  
θ＝φ＋π／４                            ・・・（数式２）
数式２より、以下の数式３を導出することができる。  
φ＝θ−π／４                            ・・・（数式３）
数式３を数式１に代入することにより、以下の数式４を導出することができる。  
Ｃ＝ｒ（１＋ｓｉｎ（θ−π／４））／２ｒ  
２Ｃ＝１＋ｓｉｎ（θ−π／４）              ・・・（数式４）
数式４を変形することにより、左項がθである以下の数式５を導出することができる。  
θ−π／４＝ｓｉｎ−１（２Ｃ−１）
θ＝ｓｉｎ−１（２Ｃ−１）＋π／４          ・・・（数式５）
向き認識部５４は、柱領域の幅Ｌに対する各色の領域の幅の比率である比率Ｃを、上記の数式５に代入することにより、相対角度θを算出する。向き認識部５４は、算出した相対角度θを認識結果として出力部５５に供給する。
【００４４】
次に、画像認識装置３の動作の流れについて説明する。  
図７は、画像認識装置３の流れを示すフローチャートである。  
画像認識装置３の画像入力部５１は、カメラ１２が取得した画像を受け取る（ステップＳ１１）。画像認識装置３は、カメラ１２から画像を受け取ると、処理を実行する。
【００４５】
画像認識装置３の柱領域検出部５２は、画像入力部５１から供給された画像内に写った柱状の道路附属物を検出する（ステップＳ１２）。例えば、柱領域検出部５２は、画像入力部５１から供給された画像内において、縦方向の１対の平行な直線の間を、柱領域として検出する。
【００４６】
画像認識装置３のコード読取部５３は、柱領域検出部５２で検出された柱領域の画像からコードを読み取る（ステップＳ１３）。これにより、コード読取部５３は、道路附属物の種類を認識する。さらに、コード読取部５３は、道路附属物の種類が道路反射鏡２であるか否か判断する（ステップＳ１４）。道路附属物の種類が道路反射鏡２ではないと認識された場合（ステップＳ１４、ＮＯ）、画像認識装置３は、ステップＳ１６の処理に移行する。
【００４７】
道路附属物の種類が道路反射鏡２であると認識された場合（ステップＳ１４、ＹＥＳ）、画像認識装置３の向き認識部５４は、柱領域の画像に基づいて、道路反射鏡２の向きを認識する（ステップＳ１５）。向き認識部５４は、道路反射鏡２の向きの認識結果を出力部５５に供給する。
【００４８】
画像認識装置３の出力部５５は、道路附属物の認識結果を出力し、車両制御装置１３に供給し（ステップＳ１６）、１つの画像に基づく処理を終了する。なお、画像認識装置３は、カメラ１２から画像が入力される毎に、ステップＳ１１乃至ステップＳ１６の処理を実行する。
【００４９】
なお、出力部５５は、道路附属物の種類が道路反射鏡２ではないと認識された場合、道路附属物の種類を示す情報を出力する。また、出力部５５は、道路附属物の種類が道路反射鏡２であると認識された場合、道路附属物が道路反射鏡２であることを示す情報と、道路反射鏡２の向きを示す情報とを出力する。道路反射鏡２の向きを示す情報は、上記したように、相対角度θであってもよいし、道路反射鏡２が右側と左側のどちらを映しているかを示す情報であってもよいし、これらの両方であってもよい。
【００５０】
次に、向き認識部５４の道路反射鏡２の向きを認識する為の動作について説明する。  
向き認識部５４は、柱領域の画像に写った識別用図柄２４の色の組み合わせに基づいて、道路反射鏡２の向きを認識する。さらに、向き認識部５４は、上記の相対角度θに基づいて、道路反射鏡２の向きを認識する。これにより、向き認識部５４は、道路反射鏡２に向かって右側と左側とのどちらの方向が、道路反射鏡２の鏡面２２に映っているのかを認識する。向き認識部５４は、道路反射鏡２に向かって右側と左側とのどちらの方向が、道路反射鏡２の鏡面２２に映っているのかを認識結果として出力部５５に供給する。
【００５１】
向き認識部５４は、例えば、柱領域の画像に青色の領域と赤色の領域とが写っており、緑色の領域が写っていない場合、道路反射鏡２の鏡面２２の正面方向３５が、道路反射鏡２に向かって左側を向いていると認識する。この場合、向き認識部５４は、道路反射鏡２に向かって左側の映像が鏡面２２に映っていると認識する。
【００５２】
また、向き認識部５４は、例えば、柱領域の画像に青色の領域と緑色の領域とが写っており、赤色の領域が写っていない場合、道路反射鏡２の鏡面２２の正面方向３５が、道路反射鏡２に向かって右側を向いていると認識する。この場合、向き認識部５４は、道路反射鏡２に向かって右側の映像が鏡面２２に映っていると認識する。
【００５３】
また、例えば、向き認識部５４は、柱領域の画像に赤色の領域と緑色の領域とが写っており、青色の領域が写っていない場合、道路反射鏡２の鏡面２２のバックプレート２１側が画像に写っていると認識する。
【００５４】
また、例えば、向き認識部５４は、柱領域の画像に青色の領域と赤色の領域と緑色の領域とが写っている場合、道路反射鏡２の鏡面２２を正面に近い位置に車両１が存在すると認識する。この場合、向き認識部５４は、相対角度θに基づいて、道路反射鏡２の鏡面２２の正面方向３５が、道路反射鏡２に向かって右側と左側とのどちらを向いているかを認識する。
【００５５】
向き認識部５４は、例えば、相対角度θが−９０度＜θ＜０度である場合、道路反射鏡２の鏡面２２の正面方向３５が、道路反射鏡２に向かって左側を向いていると認識する。この場合、向き認識部５４は、道路反射鏡２に向かって左側の映像が鏡面２２に映っていると認識する。
【００５６】
また、向き認識部５４は、例えば、相対角度θが０度≦θ＜９０度である場合、道路反射鏡２の鏡面２２の正面方向３５が、道路反射鏡２に向かって右側を向いていると認識する。この場合、向き認識部５４は、道路反射鏡２に向かって右側の映像が鏡面２２に映っていると認識する。
【００５７】
次に、道路反射鏡２の向きを認識する処理について説明する。  
図８及び図９は、道路反射鏡２の向きを認識する処理について説明する為のフローチャートである。
【００５８】
図８において、画像認識装置３の向き認識部５４は、柱領域の画像に青色の領域、赤色の領域、及び緑色の３色の領域の全てが含まれているか否か判断する（ステップＳ２１）。
【００５９】
柱領域の画像に青色の領域、赤色の領域、及び緑色の領域の全てが含まれていないと判断した場合、（ステップＳ２１、ＮＯ）、向き認識部５４は、柱領域の画像に緑色の領域及び青色の領域が含まれているか否か判断する（ステップＳ２２）。
【００６０】
柱領域の画像に緑色の領域及び青色の領域が含まれていないと判断した場合（ステップＳ２２、ＮＯ）、向き認識部５４は、柱領域の画像に青色の領域及び赤色の領域が含まれているか否か判断する（ステップＳ２３）。
【００６１】
柱領域の画像に青色の領域及び赤色の領域が含まれていないと判断した場合（ステップＳ２３、ＮＯ）、向き認識部５４は、柱領域の画像に含まれるのが赤色の領域と緑色の領域であると判断する。この場合、向き認識部５４は、カメラ１２に道路反射鏡２のバックプレート２１側が向いていると認識する（ステップＳ２４）。この場合、出力部５５は、道路反射鏡２の背面が向いていることを示す認識結果を出力する。
【００６２】
ステップＳ２３で、柱領域の画像に青色の領域及び赤色の領域が含まれていると判断した場合（ステップＳ２３、ＹＥＳ）、向き認識部５４は、道路反射鏡２の鏡面２２の正面方向３５が、道路反射鏡２に向かって左側を向いていると認識する（ステップＳ２５）。
【００６３】
さらに、向き認識部５４は、柱領域の幅Ｌに対する赤色の領域の幅Ｒの比率Ｃを数式５に代入することにより、相対角度θを算出する（ステップＳ２６）。この場合、出力部５５は、道路反射鏡２の鏡面２２の正面方向３５が、道路反射鏡２に向かって左側を向いていること、及び相対角度θを示す情報を認識結果として出力する。
【００６４】
ステップＳ２２で、柱領域の画像に青色の領域及び緑色の領域が含まれていると判断した場合（ステップＳ２２、ＹＥＳ）、向き認識部５４は、道路反射鏡２の鏡面２２の正面方向３５が、道路反射鏡２に向かって右側を向いていると認識する（ステップＳ２７）。
【００６５】
さらに、向き認識部５４は、柱領域の幅Ｌに対する緑色の領域の幅Ｇの比率Ｃを数式５に代入することにより、相対角度θを算出する（ステップＳ２８）。この場合、出力部５５は、道路反射鏡２の鏡面２２の正面方向３５が、道路反射鏡２に向かって右側を向いていること、及び相対角度θを示す情報を認識結果として出力する。
【００６６】
図８のステップＳ２１で、柱領域の画像の青色の領域、赤色の領域、及び緑色の領域の全てが含まれていると判断した場合、（ステップＳ２１、ＹＥＳ）、向き認識部５４は、図９のステップＳ３１の処理に移行する。
図９において、向き認識部５４は、柱領域の幅Ｌに対する赤色の領域の幅Ｒまたは緑色の領域の幅Ｇの比率Ｃを数式５に代入することにより、相対角度θを算出する（ステップＳ３１）。
【００６７】
向き認識部５４は、算出したθが−９０度＜θ＜９０度の不等式を満たすか否か判断する（ステップＳ３２）。算出したθが−９０度＜θ＜９０度の不等式を満たさない場合（ステップＳ３２、ＮＯ）、向き認識部５４は、カメラ１２に道路反射鏡２のバックプレート２１側が向いていると認識する（ステップＳ３３）。この場合、出力部５５は、道路反射鏡２の背面が向いていることを示す認識結果を出力する。
【００６８】
ステップＳ３２で、算出したθが−９０度＜θ＜９０度の不等式を満たすと判断した場合（ステップＳ３２、ＹＥＳ）、向き認識部５４は、算出したθが−９０度＜θ＜０度の不等式を満たすか否か判断する（ステップＳ３４）。
【００６９】
算出したθが−９０度＜θ＜０度の不等式を満たすと判断した場合（ステップＳ３４、ＹＥＳ）、向き認識部５４は、道路反射鏡２の鏡面２２の正面方向３５が、道路反射鏡２に向かって左側を向いていると認識する（ステップＳ３５）。この場合、出力部５５は、道路反射鏡２の鏡面２２の正面方向３５が、道路反射鏡２に向かって左側を向いていること、及び相対角度θを示す情報を認識結果として出力する。
【００７０】
また、ステップＳ３４で、算出したθが−９０度＜θ＜０度の不等式を満たさないと判断した場合（ステップＳ３４、ＮＯ）、向き認識部５４は、算出したθが０度≦θ＜９０度の不等式を満たすと判断する。この場合、向き認識部５４は、道路反射鏡２の鏡面２２の正面方向３５が、道路反射鏡２に向かって右側を向いていると認識する（ステップＳ３６）。出力部５５は、道路反射鏡２の鏡面２２の正面方向３５が、道路反射鏡２に向かって右側を向いていること、及び相対角度θを示す情報を認識結果として出力する。
【００７１】
上記したように、一実施形態に係る画像認識装置３は、道路附属物の、光の反射特性が異なる複数の領域を有する識別用図柄２４が設けられた支柱２３の画像を受け取る。即ち、画像認識装置３は、識別用図柄２４が写った画像上の領域を反射特性毎に認識し、柱領域における反射特性毎に認識した領域の位置関係に基づいて、道路反射鏡２の向きを認識する。画像認識装置３は、道路反射鏡２の向きの認識結果を車両１の車両制御装置１３に出力する。これにより、画像認識装置３は、道路反射鏡２の鏡面２２が映す範囲が、右側と左側とのどちらであるかを車両制御装置１３に認識させることができる。また、このような構成によると、車両制御装置１３は、既に交差点に設置されている道路反射鏡２によって、車両１の死角の映像及び範囲を認識することができる。
【００７２】
また、道路反射鏡２は、反射特性が異なる複数の領域が設けられている位置が、鏡面２２の正面方向３５に対して予め定められている。この為、画像認識装置３は、識別用図柄２４が写った柱領域の画像に、どの反射特性の領域が写ったかを判断することによって、道路反射鏡２の向きを認識する。即ち、画像認識装置３は、柱領域の画像に含まれる領域の組み合わせに基づいて、道路反射鏡２の鏡面２２が映す範囲が、道路反射鏡２に向かって右側と左側とのどちらであるかを認識する。
【００７３】
また、画像認識装置３は、識別用図柄２４が写った柱領域の画像において、柱領域の幅に対する反射特性が異なる複数の領域の幅の比率を算出し、算出した比率に基づいて、上記の画像を撮像したカメラ１２の光軸と道路反射鏡２の正面方向３５とが成す相対角度θを算出する。画像認識装置３は、柱領域の幅に対する複数の領域のうちのいずれかの幅の比率に基づいて、画像を撮像したカメラ１２の光軸に対して道路反射鏡２の正面方向３５が成す相対角度θを算出する。画像認識装置３は、算出した相対角度θに基づいて、道路反射鏡２の向きを認識する。これにより、画像認識装置３は、道路反射鏡２の鏡面２２の正面方向３５が車両１から見てどの方向なのかを車両制御装置１３に認識させることができる。
【００７４】
また、上記したように、識別用図柄２４の第１の領域２５は、支柱２３の同心円方向に９０度に亘って設けられ、第２の領域２６及び第３の領域２７は、支柱２３の同心円方向に１３５度に亘って設けられている。即ち、第１の領域２５は、第２の領域２６及び第３の領域２７よりも狭く設けられている。このような構成によると、第１の領域２５、第２の領域２６、及び第３の領域２７を同じ角度で設ける場合に比べて、道路反射鏡２を正面側に近く且つ水平方向から見た際の第２の領域２６及び第３の領域２７の視認性を向上させることができる。また、第１の領域２５が９０度である場合、数式２におけるθ−φに相当する値の演算が容易になる。
【００７５】
なお、上記の実施形態では、第１の領域２５が青色を他の波長帯域の光に比べて強く反射する領域であり、第２の領域２６が赤色を他の波長帯域の光に比べて強く反射する領域であり、第３の領域２７が緑色を他の波長帯域の光に比べて強く反射する領域であると説明したが、この構成に限定されない。第１の領域２５、第２の領域２６、及び第３の領域２７は、反射特性が異なる構成であれば、如何なるものであってもよい。
【００７６】
例えば、上記の実施形態では、鏡面２２の正面方向３５に対応した第１の領域２５に、反射光が強い青色を用いたが、この構成に限定されない。第１の領域２５は、他の色の領域として構成されていてもよい。また、第２の領域２６及び第３の領域２７についても、他の色の領域として構成されていてもよい。
【００７７】
例えば、第１の領域２５、第２の領域２６、及び第３の領域２７は、それぞれ赤外光を他の波長帯域の光に比べて強く反射する領域であり、且つ第１の領域２５と第２の領域２６と第３の領域２７とで赤外光の反射率が異なる構成であってもよい。この構成によると、赤外光照明と、赤外線領域に感度のあるカメラとを組み合わせることで、夜間における各領域の認識を容易になる。また、この構成によると、可視光域では各領域の見え方が同じにすることができる為、道路附属物の外観を維持することができる。
【００７８】
また、例えば、第１の領域２５、第２の領域２６、及び第３の領域２７は、光を拡散反射する部材により構成されるものであってもよいし、入射方向と同じ角度に光を反射させる再帰反射部材により構成されるものであってもよい。この構成によると、車両１に搭載されたヘッドライトなどの照明から発せられた光が識別用図柄で再帰反射してカメラ１２に入射する為、各領域の視認性を向上させることができる。
【００７９】
また、第１の領域２５、第２の領域２６、及び第３の領域２７は、励起光が照射された場合に励起光とは異なる波長の光（蛍光）を発する蛍光部材により構成されるものであってもよい。この場合、第１の領域２５と第２の領域２６と第３の領域２７とで蛍光の強度が異なるように構成される。また、第１の領域２５と第２の領域２６と第３の領域２７とで励起光の波長が異なるように構成されていてもよい。
【００８０】
またさらに、第１の領域２５、第２の領域２６、及び第３の領域２７は、励起光が照射された場合に、時間経過とともに徐々に減衰する燐光を発する蓄光部材により構成されるものであってもよい。
【００８１】
なお、上述の各実施の形態で説明した機能は、ハードウエアを用いて構成するに留まらず、ソフトウエアを用いて各機能を記載したプログラムをコンピュータに読み込ませて実現することもできる。また、各機能は、適宜ソフトウエア、ハードウエアのいずれかを選択して構成するものであっても良い。
【００８２】
本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
【符号の説明】
【００８３】
１…車両、２…道路反射鏡、３…画像認識装置、１１…車体、１２…カメラ、１３…車両制御装置、２１…バックプレート、２２…鏡面、２３…支柱、２４…識別用図柄、２５…第１の領域、２６…第２の領域、２７…第３の領域、３１…第１の分割面、３２…第２の分割面、３３…第３の分割面、３５…正面方向、５１…画像入力部、５２…柱領域検出部、５３…コード読取部、５４…向き認識部、５５…出力部、６１…光軸。
【図１】
2019008701.tif 000003
【図２】
2019008701.tif 000004
【図３】
2019008701.tif 000005
【図４】
2019008701.tif 000006
【図５】
2019008701.tif 000007
【図６】
2019008701.tif 000008
【図７】
2019008701.tif 000009
【図８】
2019008701.tif 000010
【図９】
2019008701.tif 000011