(57)【要約】【課題】移動体の判別精度を向上させることが可能な技術を提供する。【解決手段】走行路の上部に設けられ、走行路のうち第１の撮影領域を通過する移動体の第１の前面映像を撮影する第１のカメラと、走行路の上部に設けられ、走行路のうち第１の撮影領域と重複しない第２の撮影領域を通過する移動体の第１の背面映像を撮影する第２のカメラと、走行路の側部に設けられ、第１の撮影領域の一部または全部である前面側共通領域と第２の撮影領域の一部または全部である背面側共通領域とを撮影領域として含み、移動体の第２の前面映像、移動体の側面映像および移動体の第２の背面映像を連続的に撮影する第３のカメラと、第１の前面映像、第２の前面映像、側面映像、第１の背面映像および第２の背面映像に基づいて、移動体の判別を行う判別部を備える移動体認識装置と、を含む、移動体認識システムが提供される。【選択図】図１
2019061506.tif 000002
【特許請求の範囲】
【請求項１】
走行路の上部に設けられ、前記走行路のうち第１の撮影領域を通過する移動体の第１の前面映像を撮影する第１のカメラから、前記第１の前面映像を取得する第１の映像取得部と、
前記走行路の上部に設けられ、前記走行路のうち前記第１の撮影領域と重複しない第２の撮影領域を通過する前記移動体の第１の背面映像を撮影する第２のカメラから、前記第１の背面映像を取得する第２の映像取得部と、
前記走行路の側部に設けられ、前記第１の撮影領域の一部または全部である前面側共通領域と前記第２の撮影領域の一部または全部である背面側共通領域とを撮影領域として含み、前記移動体の第２の前面映像、前記移動体の側面映像および前記移動体の第２の背面映像を連続的に撮影する第３のカメラから、前記第２の前面映像、前記側面映像および前記第２の背面映像を取得する第３の映像取得部と、
前記第１の前面映像、前記第２の前面映像、前記側面映像、前記第１の背面映像および前記第２の背面映像に基づいて、前記移動体の判別を行う判別部と、
を備える、移動体認識装置。
【請求項２】
前記移動体は、車両であり、
前記判別部は、前記車両の車種区分を判別する、
請求項１に記載の移動体認識装置。
【請求項３】
前記判別部は、
前記第１の前面映像および前記第１の背面映像のうち少なくともいずれか一方から認識された前記車両のナンバープレート情報と、前記側面映像から認識された車両情報とに基づいて、前記車両の車種区分を判別する、
請求項２に記載の移動体認識装置。
【請求項４】
前記車両情報は、前記車両のサイズ、前記車両の車軸数および前記車両が牽引車と被牽引車とを有するかを示す情報のうち少なくともいずれか一つを含む、
請求項３に記載の移動体認識装置。
【請求項５】
前記判別部は、前記第１の前面映像から認識された前面側ナンバープレート情報と前記第１の背面映像から認識された背面側ナンバープレート情報とが一致しないと判断した場合、かつ、前記車両が牽引車と被牽引車とを有すると判断した場合、少なくとも前記牽引車の種類と前記被牽引車の車軸数とに基づいて、前記車両の車種区分を判別する、
請求項３に記載の移動体認識装置。
【請求項６】
前記判別部は、
前記第１の前面映像および前記第２の前面映像それぞれにおける前記前面側共通領域において前記移動体を検出し、前記第２の前面映像における前記前面側共通領域から前記第２の背面映像における前記背面側共通領域への前記移動体の移動を検出し、前記第２の背面映像および前記第１の背面映像それぞれにおける前記背面側共通領域において前記移動体を検出した場合に、前記移動体の判別を行う、
請求項１に記載の移動体認識装置。
【請求項７】
前記判別部は、前記第３のカメラによる撮影映像に基づいて前記前面側共通領域に前記移動体が進入するタイミングを予測し、当該タイミングに基づいて前面側ナンバープレート情報の認識を開始させ、前記第３のカメラによる撮影映像に基づいて前記背面側共通領域に前記移動体が進入するタイミングを予測し、当該タイミングに基づいて背面側ナンバープレート情報の認識を開始させる、
請求項６に記載の移動体認識装置。
【請求項８】
コンピュータを、
走行路の上部に設けられ、前記走行路のうち第１の撮影領域を通過する移動体の第１の前面映像を撮影する第１のカメラから、前記第１の前面映像を取得する第１の映像取得部と、
前記走行路の上部に設けられ、前記走行路のうち前記第１の撮影領域と重複しない第２の撮影領域を通過する前記移動体の第１の背面映像を撮影する第２のカメラから、前記第１の背面映像を取得する第２の映像取得部と、
前記走行路の側部に設けられ、前記第１の撮影領域の一部または全部である前面側共通領域と前記第２の撮影領域の一部または全部である背面側共通領域とを撮影領域として含み、前記移動体の第２の前面映像、前記移動体の側面映像および前記移動体の第２の背面映像を連続的に撮影する第３のカメラから、前記第２の前面映像、前記側面映像および前記第２の背面映像を取得する第３の映像取得部と、
前記第１の前面映像、前記第２の前面映像、前記側面映像、前記第１の背面映像および前記第２の背面映像に基づいて、前記移動体の判別を行う判別部と、
を備える移動体認識装置として機能させるためのプログラム。
【請求項９】
走行路の上部に設けられ、前記走行路のうち第１の撮影領域を通過する移動体の第１の前面映像を撮影する第１のカメラと、
前記走行路の上部に設けられ、前記走行路のうち前記第１の撮影領域と重複しない第２の撮影領域を通過する前記移動体の第１の背面映像を撮影する第２のカメラと、
前記走行路の側部に設けられ、前記第１の撮影領域の一部または全部である前面側共通領域と前記第２の撮影領域の一部または全部である背面側共通領域とを撮影領域として含み、前記移動体の第２の前面映像、前記移動体の側面映像および前記移動体の第２の背面映像を連続的に撮影する第３のカメラと、
前記第１の前面映像、前記第２の前面映像、前記側面映像、前記第１の背面映像および前記第２の背面映像に基づいて、前記移動体の判別を行う判別部を備える移動体認識装置と、
を含む、移動体認識システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、移動体認識装置、プログラムおよび移動体認識システムに関する。
【背景技術】
【０００２】
従来、走行路を移動する移動体を認識する技術が知られている。例えば、移動体の一例として車両が挙げられる。移動体を認識する技術の例としては、車両のナンバープレート情報を認識する技術が開示されている（例えば、特許文献１参照。）。
【０００３】
かかる技術においては、車両の走行路（以下、「車線」とも言う。）の真上に設置されたカメラ（前方カメラ）によって車両の前面側に設けられたナンバープレートを撮影し、車線の真上に設置されたカメラ（後方カメラ）によって車両の背面側に設けられたナンバープレートを撮影する。そして、前方カメラと後方カメラとの間に設けられたカメラ（中間カメラ）によって撮影された映像に写る車両の追跡処理によって、前方カメラによって撮影された車両と後方カメラによって撮影された車両との同一性を担保している。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】国際公開第２００８／０１０３０８号
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、車両を判別するために必要な情報として車両のナンバープレート情報だけでは足りない場合もあり得る。例えば、ＥＴＣ（Ｅｌｅｃｔｒｏｎｉｃ  Ｔｏｌｌ  Ｃｏｌｌｅｃｔｉｏｎ）料金所がフリーフロー化した場合などには、料金算出に用いられる車両の詳細情報（車種区分）の判別のために、車両のナンバープレート情報の他に、各種の車両情報（例えば、車両サイズ、車軸数など）が必要になる場合があり得る。
【０００６】
また、中間カメラが前方カメラと後方カメラとの間に設けられた場合、中間カメラも車線の真上に設けられることとなる。しかし、かかる場合には、車線の真上に設ける機器の数が増加することになり、何らかのアクシデント（例えば、強風、固定具の劣化など）が原因となる、車線上への落下物発生のリスクが増えてしまう。
【０００７】
そこで、本発明は、上記問題に鑑みてなされたものであり、本発明の目的とするところは、移動体の判別精度を向上させることが可能な技術を提供することにある。一例として、車両のナンバープレート情報と車両情報とを認識し、車両のナンバープレート情報と車両情報とに基づいて、車両の詳細情報（車種区分）を判別することによって、フリーフロー化するＥＴＣサービスに適応可能な技術が提供されることが望まれる。また、車線にカメラが落下する可能性を低減することによって、より安全に車両の判別を行うことが可能な技術が提供されることが望まれる。
【課題を解決するための手段】
【０００８】
上記問題を解決するために、本発明のある観点によれば、走行路の上部に設けられ、前記走行路のうち第１の撮影領域を通過する移動体の第１の前面映像を撮影する第１のカメラから、前記第１の前面映像を取得する第１の映像取得部と、前記走行路の上部に設けられ、前記走行路のうち前記第１の撮影領域と重複しない第２の撮影領域を通過する前記移動体の第１の背面映像を撮影する第２のカメラから、前記第１の背面映像を取得する第２の映像取得部と、前記走行路の側部に設けられ、前記第１の撮影領域の一部または全部である前面側共通領域と前記第２の撮影領域の一部または全部である背面側共通領域とを撮影領域として含み、前記移動体の第２の前面映像、前記移動体の側面映像および前記移動体の第２の背面映像を連続的に撮影する第３のカメラから、前記第２の前面映像、前記側面映像および前記第２の背面映像を取得する第３の映像取得部と、前記第１の前面映像、前記第２の前面映像、前記側面映像、前記第１の背面映像および前記第２の背面映像に基づいて、前記移動体の判別を行う判別部と、を備える、移動体認識装置が提供される。
【０００９】
前記移動体は、車両であり、前記判別部は、前記車両の車種区分を判別してもよい。
【００１０】
前記判別部は、前記第１の前面映像および前記第１の背面映像のうち少なくともいずれか一方から認識された前記車両のナンバープレート情報と、前記側面映像から認識された車両情報とに基づいて、前記車両の車種区分を判別してもよい。
【００１１】
前記車両情報は、前記車両のサイズ、前記車両の車軸数および前記車両が牽引車と被牽引車とを有するかを示す情報のうち少なくともいずれか一つを含んでもよい。
【００１２】
前記判別部は、前記第１の前面映像から認識された前面側ナンバープレート情報と前記第１の背面映像から認識された背面側ナンバープレート情報とが一致しないと判断した場合、かつ、前記車両が牽引車と被牽引車とを有すると判断した場合、少なくとも前記牽引車の種類と前記被牽引車の車軸数とに基づいて、前記車両の車種区分を判別してもよい。
【００１３】
前記判別部は、前記第１の前面映像および前記第２の前面映像それぞれにおける前記前面側共通領域において前記移動体を検出し、前記第２の前面映像における前記前面側共通領域から前記第２の背面映像における前記背面側共通領域への前記移動体の移動を検出し、前記第２の背面映像および前記第１の背面映像それぞれにおける前記背面側共通領域において前記移動体を検出した場合に、前記移動体の判別を行ってもよい。
【００１４】
前記判別部は、前記第３のカメラによる撮影映像に基づいて前記前面側共通領域に前記移動体が進入するタイミングを予測し、当該タイミングに基づいて前面側ナンバープレート情報の認識を開始させ、前記第３のカメラによる撮影映像に基づいて前記背面側共通領域に前記移動体が進入するタイミングを予測し、当該タイミングに基づいて背面側ナンバープレート情報の認識を開始させてもよい。
【００１５】
また、本発明の別の観点によれば、コンピュータを、走行路の上部に設けられ、前記走行路のうち第１の撮影領域を通過する移動体の第１の前面映像を撮影する第１のカメラから、前記第１の前面映像を取得する第１の映像取得部と、前記走行路の上部に設けられ、前記走行路のうち前記第１の撮影領域と重複しない第２の撮影領域を通過する前記移動体の第１の背面映像を撮影する第２のカメラから、前記第１の背面映像を取得する第２の映像取得部と、前記走行路の側部に設けられ、前記第１の撮影領域の一部または全部である前面側共通領域と前記第２の撮影領域の一部または全部である背面側共通領域とを撮影領域として含み、前記移動体の第２の前面映像、前記移動体の側面映像および前記移動体の第２の背面映像を連続的に撮影する第３のカメラから、前記第２の前面映像、前記側面映像および前記第２の背面映像を取得する第３の映像取得部と、前記第１の前面映像、前記第２の前面映像、前記側面映像、前記第１の背面映像および前記第２の背面映像に基づいて、前記移動体の判別を行う判別部と、を備える移動体認識装置として機能させるためのプログラムが提供される。
【００１６】
また、本発明の別の観点によれば、走行路の上部に設けられ、前記走行路のうち第１の撮影領域を通過する移動体の第１の前面映像を撮影する第１のカメラと、前記走行路の上部に設けられ、前記走行路のうち前記第１の撮影領域と重複しない第２の撮影領域を通過する前記移動体の第１の背面映像を撮影する第２のカメラと、前記走行路の側部に設けられ、前記第１の撮影領域の一部または全部である前面側共通領域と前記第２の撮影領域の一部または全部である背面側共通領域とを撮影領域として含み、前記移動体の第２の前面映像、前記移動体の側面映像および前記移動体の第２の背面映像を連続的に撮影する第３のカメラと、前記第１の前面映像、前記第２の前面映像、前記側面映像、前記第１の背面映像および前記第２の背面映像に基づいて、前記移動体の判別を行う判別部を備える移動体認識装置と、を含む、移動体認識システムが提供される。
【発明の効果】
【００１７】
以上説明したように本発明によれば、移動体の判別精度を向上させることが可能な技術が提供される。
【図面の簡単な説明】
【００１８】
【図１】本実施形態に係る移動体認識システムの概要を説明するための第１の図である。
【図２】本実施形態に係る移動体認識システムの概要を説明するための第２の図である
【図３】ナンバープレート情報の認識の概要について説明するための図である。
【図４】移動体認識システムによって牽引車と被牽引車とを有する車両が認識される場合の概要を説明するための図である。
【図５】移動体認識システムによって牽引車と被牽引車とを有する車両が認識される場合のナンバープレート情報の認識の概要について説明するための図である。
【図６】料金算出に用いられる車両の車種区分の判別例について説明するための図である。
【図７】料金算出に用いられる車両の車種区分の判別例について説明するための図である。
【図８】牽引車および被牽引車を有する車両の車種区分の判別例について説明するための図である。
【図９】本実施形態に係る移動体認識装置の機能構成を示すブロック図である。
【図１０】カメラ間キャリブレーション処理について説明するための図である。
【図１１】中間カメラ前面映像における前面側共通領域に車両が存在する場合を示す図である。
【図１２】中間カメラ側面映像に車両が存在する場合を示す図である。
【図１３】中間カメラ背面映像における背面側共通領域に車両が存在する場合を示す図である。
【発明を実施するための形態】
【００１９】
以下に添付図面を参照しながら、本発明の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
【００２０】
また、本明細書および図面において、実質的に同一の機能構成を有する複数の構成要素を、同一の符号の後に異なる数字を付して区別する。また、異なる実施形態の類似する構成要素については、同一の符号の後に異なるアルファベットを付して区別する。ただし、実質的に同一の機能構成を有する複数の構成要素等の各々を特に区別する必要がない場合、同一符号のみを付する。
【００２１】
［１．システムの概要］
続いて、本実施形態に係る移動体認識システムの概要について説明する。図１は、本実施形態に係る移動体認識システムの概要を説明するための第１の図である。図１に示すように、移動体認識システム１は、移動体認識装置１０と、第１のカメラ（以下、「前方カメラ」とも言う。）３０と、第２のカメラ（以下、「後方カメラ」とも言う。）４０と、第３のカメラ（以下、「中間カメラ」とも言う。）２０と、を備える。前方カメラ３０、後方カメラ４０および中間カメラ２０は、それぞれ移動体認識装置１０に接続されている。
【００２２】
また、図１を参照すると、移動体の例としての車両５０−１が車線を走行する様子が、車両５０−１の側面が見える角度で示されている。図１には、時刻ＴがＴ１０である場合および時刻ＴがＴ２０である場合それぞれにおいて車線を走行する車両５０−１の位置が示されている。車両５０−１の前面には、前面側ナンバープレート５１−１が設けられている。一方、車両５０−１の背面には、背面側ナンバープレート５２−１が設けられている。
【００２３】
なお、本実施形態においては、移動体の例として車両を主に用いて説明する。しかし、本実施形態に適用され得る移動体は、車両に限定されない。例えば、移動体は、船舶であってもよいし、電車であってもよいし、他の移動体であってもよい。
【００２４】
前方カメラ３０は、車線の上部に設けられており、車線のうち第１の撮影領域（以下、「前方カメラ撮影領域」とも言う。）を通過する車両５０−１の第１の前面映像（以下、「前方カメラ映像」とも言う。）を撮影する。前方カメラ３０は、車線を奥側から手前側に向かって走行する車両５０−１が前方カメラ撮影領域に進入したときに、車両５０−１の前面側ナンバープレート５１−１を斜め上方から見下ろすような角度で撮影することが可能である。しかし、前方カメラ３０の設置位置は限定されない。例えば、前方カメラ３０は道路脇に設置されていてもよい。前方カメラ３０によって撮影された前方カメラ映像は、移動体認識装置１０に提供される。
【００２５】
後方カメラ４０は、車線の上部に設けられており、車線のうち前方カメラ撮影領域と重複しない第２の撮影領域（以下、「後方カメラ撮影領域」とも言う。）を通過する車両５０−１の第１の背面映像（以下、「後方カメラ映像」とも言う。）を撮影する。後方カメラ４０は、車線を手前側から奥側に向かって走行する車両５０−１が後方カメラ撮影領域に進入したときに、車両５０−１の背面側ナンバープレート５２−１を斜め上方から見下ろすような角度で撮影することが可能である。しかし、後方カメラ４０の設置位置は限定されない。例えば、後方カメラ４０は道路脇に設置されていてもよい。後方カメラ４０によって撮影された後方カメラ映像は、移動体認識装置１０に提供される。
【００２６】
中間カメラ２０は、前方カメラ撮影領域の一部または全部である前面側共通領域と後方カメラ撮影領域の一部または全部である背面側共通領域とを撮影領域として含んでいる。これによって、後に説明するように、車両５０−１の追跡処理が可能となる。以下では、前面側共通領域が前方カメラ撮影領域の全部である場合、かつ、背面側共通領域が後方カメラ撮影領域の全部である場合を主に説明する。しかし、前面側共通領域は、前方カメラ撮影領域の一部であってもよいし、背面側共通領域は、後方カメラ撮影領域の一部であってもよい。
【００２７】
また、中間カメラ２０は、車線の側部に設けられている。これによって、中間カメラ２０は、車両５０−１の第２の前面映像（以下、「中間カメラ前面映像」とも言う。）、車両５０−１の側面映像（以下、「中間カメラ側面映像」とも言う。）、および、車両５０−１の第２の背面映像（以下、「中間カメラ背面映像」とも言う。）を連続的に撮影することが可能である。また、これによって、車線にカメラが落下する可能性を低減することによって、より安全に車両の判別を行うことが可能となる。
【００２８】
なお、中間カメラ前面映像、中間カメラ側面映像および中間カメラ背面映像それぞれには、車両５０−１の全体が常に写っていなければならない訳ではない。すなわち、中間カメラ前面映像、中間カメラ側面映像および中間カメラ背面映像を連続的に撮影することが可能な状態は、中間カメラ前面映像、中間カメラ側面映像および中間カメラ背面映像の一部または全部が一時的に車両５０−１以外の物体（例えば、電柱など）に遮蔽されてしまう場合を含んでよい。以下、車線の側部について図２を参照しながらさらに説明する。
【００２９】
図２は、本実施形態に係る移動体認識システム１の概要を説明するための第２の図である。図２を参照すると、車両５０−１が走行する車線Ｒが示されており、車両５０−１が車線Ｒを走行する様子が車両５０−１の背面が見える角度で示されている。また、図２には、車線Ｒの上方の空間が車線Ｒの上部Ｕとして示されている。車線Ｒの側部は、上部Ｕ以外の空間（すなわち、車線Ｒの斜め上方の空間Ｅ−１、Ｅ−２）に相当する。図２に示した例では、中間カメラ２０は、車線Ｒの斜め上方の空間Ｅ−１に設けられている。
【００３０】
なお、本実施形態においては、中間カメラ２０の撮影領域に、少なくとも前方カメラ撮影領域の一部と後方カメラ撮影領域の一部とが含まれるようにするため、中間カメラ２０が魚眼レンズ２１０を有するカメラ（魚眼カメラ）である場合を主に想定する。しかし、中間カメラ２０は、魚眼カメラでなくてもよい。例えば、中間カメラ２０として、通常レンズを有する複数のカメラが用いられてもよい。このとき、通常レンズを有する複数のカメラ全体に、少なくとも前方カメラ撮影領域の一部と後方カメラ撮影領域の一部とが含まれていればよい。
【００３１】
［２．ナンバープレート情報の認識］
続いて、ナンバープレート情報の認識の概要について説明する。図３は、ナンバープレート情報の認識の概要について説明するための図である。図３を参照すると、前方カメラ映像ＩＦ−１および後方カメラ映像ＩＢ−１が示されている。前方カメラ映像ＩＦ−１には、車両５０−１の前面側ナンバープレート５１−１が写っている。また、後方カメラ映像ＩＢ−１には、車両５０−１の背面側ナンバープレート５２−１が写っている。
【００３２】
移動体認識装置１０は、前方カメラ映像ＩＦ−１から前面側ナンバープレート５１−１を含む領域を前面側ナンバープレート切り出し画像ＫＦ−１として切り出す。また、移動体認識装置１０は、後方カメラ映像ＩＢ−１から背面側ナンバープレート５２−１を含む領域を背面側ナンバープレート切り出し画像ＫＢ−１として切り出す。
【００３３】
移動体認識装置１０は、前面側ナンバープレート切り出し画像ＫＦ−１に基づいて前面側ナンバープレート情報の認識を試みる。また、移動体認識装置１０は、背面側ナンバープレート切り出し画像ＫＢ−１に基づいて背面側ナンバープレート情報の認識を試みる。ここでは、移動体認識装置１０が、前面側ナンバープレート情報および背面側ナンバープレート情報の双方を認識した場合を想定する。かかる場合には、移動体認識装置１０は、前面側ナンバープレート情報および背面側ナンバープレート情報のいずれかをナンバープレート情報Ｎ−１として認識すればよい。
【００３４】
このとき、移動体認識装置１０は、前面側ナンバープレート情報および背面側ナンバープレート情報のいずれをナンバープレート情報Ｎ−１として採用してもよい。例えば、移動体認識装置１０は、前面側および背面側のうち、あらかじめ決められた側のナンバープレート情報を採用してもよい。あるいは、移動体認識装置１０は、前面側および背面側のうち、認識精度のより高い側のナンバープレート情報を採用してもよい。
【００３５】
あるいは、移動体認識装置１０が、前面側ナンバープレート情報および背面側ナンバープレート情報のいずれかの認識に失敗する場合も想定される。かかる場合には、移動体認識装置１０は、前面側ナンバープレート情報の認識に成功した場合には、前面側ナンバープレート情報をナンバープレート情報として認識すればよく、背面側ナンバープレート情報の認識に成功した場合には、背面側ナンバープレート情報をナンバープレート情報として認識すればよい。
【００３６】
［３．車両情報の具体例］
本実施形態においては、車両の判別精度を向上させることが可能な技術を主に提案する。より具体的には、車両のナンバープレート情報と車両情報とを認識し、車両のナンバープレート情報と車両情報とに基づいて、車両の詳細情報（車種区分）を判別することによって、フリーフロー化するＥＴＣサービスに適応可能な技術を提案する。ここで、車両情報は特に限定されない。例えば、車両情報は、車両サイズ、車両の車軸数、および、車両が牽引車と被牽引車とを有するかを示す情報のうち少なくともいずれか一つを含んでもよい。
【００３７】
ここでは、車両が牽引車と被牽引車とを有するかを示す情報の重要性を示すため、車両が牽引車と被牽引車とを有する場合について説明する。図４は、移動体認識システム１によって牽引車と被牽引車とを有する車両が認識される場合の概要を説明するための図である。図４を参照すると、牽引車５０−２と被牽引車５０−３とを有する車両が車線を走行する様子が、車両の側面が見える角度で示されている。牽引車５０−２の前面には、前面側ナンバープレート５１−２が設けられている。一方、被牽引車５０−３の背面には、背面側ナンバープレート５２−３が設けられている。
【００３８】
図５は、移動体認識システム１によって牽引車５０−２と被牽引車５０−３とを有する車両が認識される場合のナンバープレート情報の認識の概要について説明するための図である。図５を参照すると、前方カメラ映像ＩＦ−２および後方カメラ映像ＩＢ−２が示されている。前方カメラ映像ＩＦ−２には、牽引車５０−２の前面側ナンバープレート５１−２が写っている。また、後方カメラ映像ＩＢ−２には、被牽引車５０−３の背面側ナンバープレート５２−３が写っている。
【００３９】
移動体認識装置１０は、前方カメラ映像ＩＦ−２から前面側ナンバープレート５１−２を含む領域を前面側ナンバープレート切り出し画像ＫＦ−２として切り出す。また、移動体認識装置１０は、後方カメラ映像ＩＢ−２から背面側ナンバープレート５２−３を含む領域を背面側ナンバープレート切り出し画像ＫＢ−２として切り出す。
【００４０】
移動体認識装置１０は、前面側ナンバープレート切り出し画像ＫＦ−２に基づいて前面側ナンバープレート情報の認識を試みる。また、移動体認識装置１０は、背面側ナンバープレート切り出し画像ＫＢ−２に基づいて背面側ナンバープレート情報の認識を試みる。ここでは、移動体認識装置１０が、前面側ナンバープレート情報および背面側ナンバープレート情報の双方を認識した場合を想定する。しかし、図５に示すように、牽引車５０−２の前面側ナンバープレート５１−２から認識される前面側ナンバープレート情報と被牽引車５０−３の背面側ナンバープレート５２−３から認識される背面側ナンバープレート情報とは異なる場合が想定される。
【００４１】
このように、車両が牽引車５０−２と被牽引車５０−３とを有する場合には、車両から認識される前面側ナンバープレート情報と背面側ナンバープレート情報とが異なってしまうという状況が生じ得る。それ以外にも、誤認識によって、車両から認識される前面側ナンバープレート情報と背面側ナンバープレート情報とが異なってしまうという状況が生じ得る。しかし、中間カメラ側面映像から、車両が牽引車５０−２と被牽引車５０−３とを有するかが認識されれば、いずれの理由によって前面側ナンバープレート情報と背面側ナンバープレート情報とが異なるのかが判別され得る。
【００４２】
［４．車種区分の判別例］
続いて、料金算出に用いられる車両の車種区分の判別例について説明する。なお、以下において説明する車種区分の判別例は、車種区分の判別の単なる一例に過ぎない。したがって、車種区分は、以下において説明する判別例以外の手法によって判別されてもよい。図６および図７は、料金算出に用いられる車両の車種区分の判別例について説明するための図である。図６および図７を参照すると、車種区分と車両の種別名称とナンバープレート情報と車両サイズと車軸とがあらかじめ関連付けられている。
【００４３】
ここで、図６および図７を参照すると、ナンバープレート情報には、ナンバープレートに記載されている車種番号、ナンバープレートの大きさ、および、ナンバープレートの色が含まれている。車種番号に含まれる「＊」は、任意の１桁数字を示している。また、車両サイズには、車長、車幅および車高が含まれている。車軸には、車軸数が含まれている。このように、車種区分は、ナンバープレート情報および車両情報（例えば、車両サイズおよび車軸数）に基づいて判別され得る。
【００４４】
図８は、牽引車および被牽引車を有する車両の車種区分の判別例について説明するための図である。図８を参照すると、車種区分と車両の種別名称と牽引車の種類と被牽引車の車軸数と車軸合計とがあらかじめ関連付けられている。図８に示すように、牽引車および被牽引車を有する車両の車種区分は、牽引車の種類および被牽引車の車軸数に基づいて判別され得る。
【００４５】
［５．移動体認識装置の機能構成例］
続いて、本実施形態の詳細について説明する。まず、本実施形態に係る移動体認識装置１０の機能構成例について説明する。図９は、本実施形態に係る移動体認識装置１０の機能構成を示すブロック図である。図９に示すように、本実施形態に係る移動体認識装置１０は、第１の処理部（以下、「前方カメラ映像処理部」とも言う。）１３０と、第２の処理部（以下、「後方カメラ映像処理部」とも言う。）１４０と、第３の処理部（以下、「中間カメラ映像処理部」とも言う。）１２０と、カメラ間キャリブレーション部１５０と、判別処理部１６０とを備える。
【００４６】
前方カメラ映像処理部１３０は、第１の映像取得部（以下、「前方カメラ映像取得部」とも言う。）１３１および前面ナンバー認識部１３２を有する。後方カメラ映像処理部１４０は、第２の映像取得部（以下、「後方カメラ映像取得部」とも言う。）１４１および背面ナンバー認識部１４２を有する。中間カメラ映像処理部１２０は、第３の映像取得部（以下、「中間カメラ映像取得部」とも言う。）１４１、中間カメラキャリブレーション部１２２および車両情報認識部１２３を有する。
【００４７】
中間カメラ映像処理部１２０、前方カメラ映像処理部１３０、後方カメラ映像処理部１４０、カメラ間キャリブレーション部１５０および判別処理部１６０は、ＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）などを含み、不揮発性の記憶装置により記憶されているプログラムがＣＰＵによりＲＡＭ（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）に展開されて実行されることにより、その機能が実現され得る。このとき、当該プログラムを記録した、コンピュータに読み取り可能な記録媒体も提供され得る。
【００４８】
あるいは、中間カメラ映像処理部１２０、前方カメラ映像処理部１３０、後方カメラ映像処理部１４０、カメラ間キャリブレーション部１５０および判別処理部１６０は、専用のハードウェアにより構成されていてもよいし、複数のハードウェアの組み合わせにより構成されてもよい。
【００４９】
なお、図９に示した例では、中間カメラ映像処理部１２０、前方カメラ映像処理部１３０および後方カメラ映像処理部１４０が、移動体認識装置１０の内部に設けられている。しかし、中間カメラ映像処理部１２０、前方カメラ映像処理部１３０および後方カメラ映像処理部１４０は、移動体認識装置１０の外部に備えられていてもよい。例えば、中間カメラ映像処理部１２０は、中間カメラ２０の内部に設けられていてもよいし、前方カメラ映像処理部１３０は、前方カメラ３０の内部に設けられていてもよいし、後方カメラ映像処理部１４０は、後方カメラ４０の内部に設けられていてもよい。
【００５０】
（５．１．キャリブレーション処理）
まず、移動体認識装置１０によって実行されるキャリブレーション処理について説明する。１つ目のキャリブレーション処理の例として、中間カメラキャリブレーション部１２２によって実行される中間カメラキャリブレーションについて説明する。
【００５１】
（５．１．１．中間カメラキャリブレーション処理）
ここで、後に説明するように、中間カメラ映像取得部１２１によって取得された中間カメラ側面映像から、車両情報認識部１２３によって車両情報の例としての車両サイズが認識される。しかし、中間カメラ２０が魚眼レンズを有している場合には、魚眼レンズを透過した光に基づいて撮影される中間カメラ側面映像に歪みが生じてしまい、中間カメラ側面映像に基づく車両サイズの認識精度が向上しない場合が想定される。
【００５２】
そこで、中間カメラキャリブレーション部１２２は、中間カメラ２０が魚眼レンズを有する場合、中間カメラ２０によって撮影される映像（以下、「全方位映像」とも言う。）を中心射影方式により撮影される映像（以下、「平面映像」とも言う。）に変換する。なお、全方位映像を平面映像に変換する手法としては、特開２０１７−１４６７０４号公報に開示されている手法が用いられてよい。また、全方位映像を平面映像に変換する手法は、魚眼レンズの特性に応じて決定されればよい。
【００５３】
中間カメラキャリブレーション部１２２は、このようにして全方位映像を平面映像に変換すると、平面映像に基づいて道路平面式を算出する。なお、道路平面式は、特開２０１３−１４８９７１号公報および特開２０１４−１６４６９４号公報などに開示されているように、道路平面上の平行な２直線間の距離に基づいて算出されてよい。あるいは、道路平面式は、道路平面上にある既存のマーク間の長さに基づいて算出されてもよいし、前方カメラ３０および後方カメラ４０が設けられた柱の長さに基づいて道路平面式が算出されてもよい。
【００５４】
（５．１．２．カメラ間キャリブレーション処理）
図１０は、カメラ間キャリブレーション処理について説明するための図である。ここで、後に説明するように、車両の追跡処理によって、前方カメラ３０によって撮影された車両と後方カメラ４０によって撮影された車両との同一性が担保される。かかる追跡処理が精度よく実行されるためには、前方カメラ３０と中間カメラ２０との間の位置合わせ、および、後方カメラ４０と中間カメラ２０との間の位置合わせが、あらかじめ実行されている必要がある。
【００５５】
すなわち、カメラ間キャリブレーション部１５０によって、前方カメラ撮影領域における前面側共通領域（ここでは、前方カメラ撮影領域の全部）が中間カメラ前面映像のどの位置に対応するかがあらかじめ把握されている必要がある。また、カメラ間キャリブレーション部１５０によって、後方カメラ撮影領域における背面側共通領域（ここでは、後方カメラ撮影領域の全部）が中間カメラ前面映像のどの位置に対応するかがあらかじめ把握されている必要がある。例えば、カメラ間キャリブレーション処理としては、手動位置合わせ方式および設置情報利用方式が用いられ得る。
【００５６】
手動位置合わせ方式によれば、高精度にカメラ間キャリブレーション処理が実行される。手動位置合わせ方式においては、カメラ間キャリブレーション部１５０は、ユーザによる手動に基づいて前方カメラ３０と中間カメラ２０との間の位置合わせを行う。例えば、所定の対象物（例えば、所定のマーカ、特定の車両、所定の条件下において走行する通常の車両など）が前方カメラ撮影領域における前面側共通領域内に写るように車線上に対象物が設置された場合、前方カメラ撮影領域における前面側共通領域と中間カメラ映像ＩＭ−Ｔ０において対象物が写る位置とが対応付けられてよい。図１０を参照すると、中間カメラ映像ＩＭ−Ｔ０に、前面側共通領域に対応する位置Ｐ−１が示されている。
【００５７】
ここで、所定の条件は特に限定されない。例えば、所定の条件は、誤った対応付けがなされる可能性が低い条件（例えば、車両の前後に走行する他の車両が存在しないという条件など）であってよい。また、特定の車両および所定の条件下において走行する通常の車両としては、どのような車両が用いられてもよい。しかし、特定の車両および所定の条件下において走行する通常の車両としては、小型の軽自動車が用いられるのが望ましい。前方カメラ３０および後方カメラ４０それぞれの画角はあまり広くないことが想定されるため、車両の大きさに対してナンバープレートが比較的大きい小型の軽自動車が用いられれば、ナンバープレート情報の認識精度の低下を抑制できることが想定されるからである。
【００５８】
また、手動位置合わせ方式は位置合わせの処理をすべて手動で行わなくてもよい。例えば、上記のように誤った対応付けがなされる可能性が低い条件における車両通過の場合、前方カメラ３０の映像と中間カメラ２０の映像からそれぞれ車両を背景差分等の既存の画像処理手法により自動的に検出して車両位置の対応づけを自動で行った後、ユーザが目視確認した対応づけが正しいことを確認すれば、確認作業だけで位置の対付けは自動化することも可能である。後方カメラ４０と中間カメラ２０との対応付けも同様に行える。
【００５９】
同様にして、手動位置合わせ方式においては、カメラ間キャリブレーション部１５０は、ユーザによる手動に基づいて後方カメラ４０と中間カメラ２０との間の位置合わせを行う。例えば、所定の対象物（例えば、所定のマーカ、特定の車両、所定の条件下において走行する通常の車両など）が後方カメラ撮影領域における背面側共通領域内に写るように車線上に対象物が設置された場合、後方カメラ撮影領域における背面側共通領域と中間カメラ映像ＩＭ−Ｔ０において対象物が写る位置とが対応付けられてよい。図１０を参照すると、中間カメラ映像ＩＭ−Ｔ０に、背面側共通領域に対応する位置Ｐ−２が示されている。
【００６０】
設置情報利用方式は、カメラパラメータおよびカメラの設置情報が高精度に得られる場合に有効な方式である。例えば、設置情報利用方式においては、カメラ間キャリブレーション部１５０は、前方カメラ３０および中間カメラ２０それぞれのカメラパラメータ（例えば、解像度、画角、光軸方向など）と、前方カメラ３０および中間カメラ２０それぞれの設置情報（例えば、設置位置および設置角度など）とに基づいて、中間カメラ映像ＩＭ−Ｔ０において前面側共通領域に対応する位置Ｐ−１を算出してよい。
【００６１】
同様にして、設置情報利用方式においては、カメラ間キャリブレーション部１５０は、後方カメラ４０および中間カメラ２０それぞれのカメラパラメータ（例えば、解像度、画角、光軸方向など）と、後方カメラ４０および中間カメラ２０それぞれの設置情報（例えば、設置位置および設置角度など）とに基づいて、中間カメラ映像ＩＭ−Ｔ０において背面側共通領域に対応する位置Ｐ−２を算出してよい。
【００６２】
なお、手動位置合わせ方式および設置情報利用方式それぞれは、単独で用いられてもよいし、組み合わされて用いられてもよい。例えば、設置情報利用方式が用いられた場合には、中間カメラ映像ＩＭ−Ｔ０において前面側共通領域に対応する位置Ｐ−１に誤差が生じる可能性がある。したがって、カメラ間キャリブレーション部１５０は、設置情報利用方式を用いて中間カメラ映像ＩＭ−Ｔ０において前面側共通領域に対応する位置Ｐ−１を算出した後、手動位置合わせ方式を用いて位置Ｐ−１を補正してもよい。
【００６３】
同様に、設置情報利用方式が用いられた場合には、中間カメラ映像ＩＭ−Ｔ０において背面側共通領域に対応する位置Ｐ−２に誤差が生じる可能性がある。したがって、カメラ間キャリブレーション部１５０は、設置情報利用方式を用いて中間カメラ映像ＩＭ−Ｔ０において背面側共通領域に対応する位置Ｐ−２を算出した後、手動位置合わせ方式を用いて位置Ｐ−２を補正してもよい。
【００６４】
（５．１．３．車両の判別）
続いて、車両の判別について説明する。前方カメラ映像取得部１３１は、前方カメラ３０から前方カメラ映像を取得する。後方カメラ映像取得部１４１は、後方カメラ４０から後方カメラ映像を取得する。中間カメラ映像取得部１２１は、中間カメラ２０から、中間カメラ前面映像、中間カメラ側面映像および中間カメラ背面映像を取得する。そして、判別部は、前方カメラ映像、中間カメラ前面映像、中間カメラ側面映像、後方カメラ映像および中間カメラ背面映像に基づいて、車両の判別を行う。
【００６５】
これによって、車両の判別精度を向上させることが可能となる。車両の判別の例としては、上記したように、料金算出に用いられる車種区分の判別が挙げられる。なお、判別部は、前面ナンバー認識部１３２、車両情報認識部１２３、背面ナンバー認識部１４２および判別処理部１６０に相当し得る。
【００６６】
（ナンバープレート情報の認識）
前面ナンバー認識部１３２は、前方カメラ映像取得部１３１によって取得された前方カメラ映像から前面側ナンバープレート情報を認識する。また、背面ナンバー認識部１４２は、後方カメラ映像取得部１４１によって取得された後方カメラ映像から背面側ナンバープレート情報を認識する。なお、ナンバープレート情報を認識する技術としては、下記の各種文献に記載された技術を利用することが可能である。
【００６７】
（文献１）２０１２年７月・ＳＥＩテクニカルレビュー，自動ナンバープレート読取装置の開発，加藤武彦・田中佳代・浅田昌利・安原宏行・立木佳那栄・児玉迪弘・安原佑輔・浅井俊弘・荻内康雄
（文献２）２０１４年１月・ＳＥＩテクニカルレビュー，タイのナンバープレート自動検出・認識，荻内康雄，東久保政勝，Ｓａｋｄａ，Ｐａｎｗａｉ
（文献３）「高速走行車両ナンバープレート認識の開発」，青木泰浩，斉藤俊雄（東芝），ＩＴＳ研究会２０１４／９
（文献４）三菱重工技報，ＶＯＬ４５，ＮＯ．３：２００８，低解像度カメラ対応車両番号認識システムの開発
【００６８】
（車両情報の認識）
車両情報認識部１２３は、中間カメラ側面映像から車両情報を認識する。中間カメラ側面映像には、車両の側面が比較的大きく写るため、車両の特徴が比較的現れやすい。したがって、本実施形態によれば、車線の真上に設けられた中間カメラによって撮影された映像から車両情報が認識される場合などよりも高精度に車両情報が認識され得る。ここで、車両情報は特に限定されない。例えば、車両情報は、車両サイズ、車両の車軸数および車両が牽引車と被牽引車とを有するかを示す情報のうち少なくともいずれか一つを含んでよい。
【００６９】
ここで、車両サイズを認識する手法は特に限定されない。例えば、車両サイズを認識する手法としては、特開２０１３−１４８９７１号公報に開示されている手法を用いることが可能である。車両情報認識部１２３は、上記したような全方位映像を平面映像に変換する手法によって、中間カメラ側面映像を平面映像に変換し、平面映像と中間カメラキャリブレーション部１２２によって算出された道路平面式とに基づいて、車両サイズを認識すればよい。
【００７０】
また、車両の車軸数を認識する手法も特に限定されない。例えば、車両情報認識部１２３は、上記したような全方位映像を平面映像に変換する手法によって、中間カメラ側面映像に対してハフ変換を行い、ハフ変換後の映像に対して楕円検出を行ってよい。そうすれば、車両情報認識部１２３は、検出した楕円数をタイヤ数（すなわち、車軸数）として認識することが可能である。
【００７１】
また、車両が牽引車と被牽引車とを有するかを示す情報を認識する手法も特に限定されない。例えば、車両情報認識部１２３は、中間カメラ側面映像から抽出される車両の特徴パターンと、あらかじめ用意された牽引車と被牽引車とを有する車両の特徴パターンとがマッチする場合に、車両が牽引車と被牽引車とを有すると判断してもよい。あるいは、車両情報認識部１２３は、車両が牽引車と被牽引車とを有するかを判断する学習モデルがあらかじめ機械学習によって構築されていれば、学習モデルによって車両が牽引車と被牽引車とを有すると判断してもよい。
【００７２】
判別処理部１６０は、前方カメラ映像および後方カメラ映像のうち少なくともいずれか一方から認識された車両のナンバープレート情報と、中間カメラ側面映像から認識された車両情報とに基づいて、車両の車種区分を判別する。これによって、フリーフロー化するＥＴＣサービスに適応可能な車両認識技術が提供され得る。ナンバープレート情報の認識については、上記した通りである。また、ナンバープレート情報および車両情報と車種区分との関係の例については、図６〜図８を参照しながら既に説明した通りである。
【００７３】
（車両が牽引車と被牽引車とを有する場合）
上記したように、車両から認識される前面側ナンバープレート情報と背面側ナンバープレート情報とが異なってしまうという状況として、車両が牽引車と被牽引車とを有する場合と誤認識の場合とが想定され得る。しかし、中間カメラ側面映像から車両が牽引車と被牽引車とを有すると判断された場合、前面側ナンバープレート情報と背面側ナンバープレート情報とが異なる理由は、車両が牽引車と被牽引車とを有する場合であると特定され得る。
【００７４】
そこで、判別処理部１６０は、前方カメラ映像から認識される前面側ナンバープレート情報と後方カメラ映像から認識される背面側ナンバープレート情報とが一致しないと判断した場合、かつ、中間カメラ側面映像から車両が牽引車と被牽引車とを有すると判断した場合、少なくとも牽引車の種類と被牽引車の車軸数とに基づいて、車両の車種区分を判別すればよい。牽引車の種類および被牽引車の車軸数と車両の車種区分との関係の例については、図８を参照しながら既に説明した通りである。
【００７５】
（車両の追跡処理）
本実施形態においては、中間カメラ側面映像に写る車両の追跡処理によって、前方カメラ映像に写る車両と後方カメラ映像に写る車両との同一性を担保する。上記したように、中間カメラ側面映像には、車両の側面が比較的大きく写るため、車両の特徴が比較的現れやすい。したがって、本実施形態によれば、車線の真上に設けられた中間カメラによって撮影された映像に写る車両の追跡処理が実行される場合などよりも高精度に車両の追跡処理が実行され得る。
【００７６】
図１１は、中間カメラ前面映像における前面側共通領域に車両が存在する場合を示す図である。図１１を参照すると、中間カメラ前面映像ＩＭ−Ｔ１０における前面側共通領域に対応する位置Ｐ−１が示されている。位置Ｐ−１に対応する前面側共通領域には、車両５０−１の前面側ナンバープレート５１−１が写っている。すなわち、位置Ｐ−１に対応する前面側共通領域からは、前面側ナンバープレート情報が認識され得る。
【００７７】
図１２は、中間カメラ側面映像に車両が存在する場合を示す図である。図１２を参照すると、中間カメラ側面映像ＩＭ−Ｔ１５には、車両５０−１の側面が写っている。すなわち、中間カメラ側面映像ＩＭ−Ｔ１５からは、車両５０−１の車両情報が認識され得る。
【００７８】
図１３は、中間カメラ背面映像における背面側共通領域に車両が存在する場合を示す図である。図１３を参照すると、中間カメラ背面映像ＩＭ−Ｔ２０における背面側共通領域に対応する位置Ｐ−２が示されている。位置Ｐ−２に対応する背面側共通領域には、車両５０−１の背面側ナンバープレート５２−１が写っている。すなわち、位置Ｐ−２に対応する背面側共通領域からは、背面側ナンバープレート情報が認識され得る。
【００７９】
具体的に、判別処理部１６０が、前方カメラ映像および中間カメラ前面映像それぞれにおける前面側共通領域において車両を検出し、中間カメラ前面映像における前面側共通領域から中間カメラ背面映像における背面側共通領域への車両の移動を（追跡処理によって）検出し、中間カメラ背面映像および後方カメラ映像それぞれにおける背面側共通領域において車両を検出した場合を想定する。かかる場合には、前方カメラ映像に写る車両と後方カメラ映像に写る車両とが同一であると推定される。
【００８０】
したがって、かかる場合には、判別処理部１６０は、車両の判別を行ってよい。このような車両の追跡処理によって、前方カメラ３０によって撮影された車両と後方カメラ４０によって撮影された車両との同一性が担保される。すなわち、このような車両の追跡処理によって、車線に渋滞または車両の車線変更が発生してしまった場合であっても、前方カメラ３０によって撮影された車両と後方カメラ４０によって撮影された車両との対応付けを誤る可能性を低減することができる。
【００８１】
（ナンバー認識のタイミング）
前方カメラ３０および後方カメラ４０は、ナンバープレート情報の認識精度の低下を抑制するために、画角が比較的狭く設定されている場合が想定される。したがって、前方カメラ映像に基づく前面側ナンバープレート情報の認識、および、後方カメラ映像に基づく背面側ナンバープレート情報の認識は、常時実行されなければ、認識漏れが生じてしまう可能性がある。
【００８２】
一方、中間カメラ２０の画角は比較的広めに設定されている場合が想定される。そのため、前方カメラ映像における前面側対応領域に車両が進入するタイミングは、中間カメラ２０によって撮影された映像に基づいて予測することが可能であると考えられる。同様にして、後方カメラ映像における前面側対応領域に車両が進入するタイミングは、中間カメラ２０によって撮影された映像に基づいて予測することが可能であると考えられる。
【００８３】
そこで、判別処理部１６０は、中間カメラ２０による撮影映像に基づいて前面側対応領域に車両が進入するタイミングを予測し、当該タイミングに基づいて前面側ナンバープレート情報の認識を開始させればよい。そして、判別処理部１６０は、中間カメラ２０による撮影映像に基づいて背面側対応領域に車両が進入するタイミングを予測し、当該タイミングに基づいて背面側ナンバープレート情報の認識を開始させればよい。これによって、ナンバープレート情報の認識漏れの可能性を低減するとともに、移動体認識装置１０による消費電力および発熱を抑制することが可能となる。
【００８４】
［本実施形態の効果］
以上に説明したように、本実施形態によれば、走行路の上部に設けられ、走行路のうち第１の撮影領域を通過する移動体の第１の前面映像を撮影する第１のカメラから、第１の前面映像を取得する第１の映像取得部と、走行路の上部に設けられ、走行路のうち第１の撮影領域と重複しない第２の撮影領域を通過する移動体の第１の背面映像を撮影する第２のカメラから、第１の背面映像を取得する第２の映像取得部と、走行路の側部に設けられ、第１の撮影領域の一部または全部である前面側共通領域と第２の撮影領域の一部または全部である背面側共通領域とを撮影領域として含み、移動体の第２の前面映像、移動体の側面映像および移動体の第２の背面映像を連続的に撮影する第３のカメラから、第２の前面映像、側面映像および第２の背面映像を取得する第３の映像取得部と、第１の前面映像、第２の前面映像、側面映像、第１の背面映像および第２の背面映像に基づいて、移動体の判別を行う判別部と、を備える、移動体認識装置が提供される。
【００８５】
かかる構成によれば、移動体の判別精度を向上させることが可能となる。一例として、車両のナンバープレート情報と車両情報とを認識し、車両のナンバープレート情報と車両情報とに基づいて、車両の詳細情報（車種区分）を判別することによって、フリーフロー化するＥＴＣサービスに適応可能な技術が提供される。また、第３のカメラが走行路の側部に設けられ、走行路に第３のカメラが落下する可能性を低減することによって、より安全に車両の判別を行うことが可能となる。
【００８６】
［変形例の説明］
以上、添付図面を参照しながら本発明の好適な実施形態について詳細に説明したが、本発明はかかる例に限定されない。本発明の属する技術の分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本発明の技術的範囲に属するものと了解される。
【符号の説明】
【００８７】
１      移動体認識システム
１０    移動体認識装置
１２０  中間カメラ映像処理部
１２１  中間カメラ映像取得部
１２２  中間カメラキャリブレーション部
１２３  車両情報認識部
１３０  前方カメラ映像処理部
１３１  前方カメラ映像取得部
１３２  前面ナンバー認識部
１４０  後方カメラ映像処理部
１４１  後方カメラ映像取得部
１４２  背面ナンバー認識部
１５０  カメラ間キャリブレーション部
１６０  判別処理部
２０    中間カメラ
２１０  魚眼レンズ
３０    前方カメラ
４０    後方カメラ
５０    車両
５１    前面側ナンバープレート
５２    背面側ナンバープレート
【図１】
2019061506.tif 000003
【図２】
2019061506.tif 000004
【図３】
2019061506.tif 000005
【図４】
2019061506.tif 000006
【図５】
2019061506.tif 000007
【図６】
2019061506.tif 000008
【図７】
2019061506.tif 000009
【図８】
2019061506.tif 000010
【図９】
2019061506.tif 000011
【図１０】
2019061506.tif 000012
【図１１】
2019061506.tif 000013
【図１２】
2019061506.tif 000014
【図１３】
2019061506.tif 000015