(57)【要約】【課題】路面の損傷を識別する処理を自律的に改善することのできる識別システム、識別装置、識別方法及び識別プログラムを提供する。【解決手段】識別システム１は、識別装置１０及び学習サーバ３０を備える識別システムであって、識別装置は、車両に搭載され、路面の画像を撮影する撮影部１１と、学習済みの識別器１２ａを含み、画像を識別器に入力し、識別器の出力に基づいて、路面の損傷を識別する識別部１２と、を有し、学習サーバは、撮影部により撮影された画像を含む学習用データを用いて、識別器の再学習処理を実行する学習部３２と、再学習された識別器を構成するための構成情報を、識別装置に送信する通信部３１と、を有し、識別装置は、構成情報を用いて識別器を更新する更新部１３をさらに有する。【選択図】図１
2019139316.tif 000002
【特許請求の範囲】
【請求項１】
識別装置及び学習サーバを備える識別システムであって、
前記識別装置は、
車両に搭載され、路面の画像を撮影する撮影部と、
学習済みの識別器を含み、前記画像を前記識別器に入力し、前記識別器の出力に基づいて、前記路面の損傷を識別する識別部と、を有し、
前記学習サーバは、
前記撮影部により撮影された前記画像を含む学習用データを用いて、前記識別器の再学習処理を実行する学習部と、
再学習された前記識別器を構成するための構成情報を、前記識別装置に送信する送信部と、を有し、
前記識別装置は、
前記構成情報を用いて前記識別器を更新する更新部をさらに有する、
識別システム。
【請求項２】
前記撮影部は、所定の時間間隔で前記画像を撮影し、
前記識別部は、前記所定の時間間隔以内に、前記路面の損傷を識別する、
請求項１に記載の識別システム。
【請求項３】
前記識別器は、前記画像が入力された場合に、前記損傷を囲むバウンディングボックスを出力する、
請求項１又は２に記載の識別システム。
【請求項４】
前記識別器は、前記損傷の種類を識別する、
請求項１から３のいずれか一項に記載の識別システム。
【請求項５】
前記識別装置は、前記画像が撮影された位置に関する情報を前記画像に関連付ける、
請求項１から４のいずれか一項に記載の識別システム。
【請求項６】
前記識別装置は、前記画像を管理サーバに送信し、
前記管理サーバは、前記損傷が識別された前記画像について、前記識別部による識別結果の訂正を受け付け、識別結果が訂正された前記画像を含む前記学習用データを前記学習サーバに送信する、
請求項１から５のいずれか一項に記載の識別システム。
【請求項７】
前記学習部は、前記識別結果が訂正された前記画像を含む前記学習用データを用いて、前記識別器の再学習処理を実行する、
請求項６に記載の識別システム。
【請求項８】
車両に搭載され、路面の画像を撮影する撮影部と、
学習済みの識別器を含み、前記画像を前記識別器に入力し、前記識別器の出力に基づいて、前記路面の損傷を識別する識別部と、
少なくとも前記損傷が識別された場合に、前記画像を学習サーバに送信する送信部と、
前記撮影部により撮影された前記画像を含む学習用データを用いて再学習された前記識別器を構成するための構成情報を、前記学習サーバから受信する受信部と、
前記構成情報を用いて前記識別器を更新する更新部と、
を備える識別装置。
【請求項９】
車両に搭載された撮影部によって、路面の画像を撮影することと、
前記画像を学習済みの識別器に入力し、前記識別器の出力に基づいて、前記路面の損傷を識別することと、
少なくとも前記損傷が識別された場合に、前記画像を学習サーバに送信することと、
前記画像を含む学習用データを用いて再学習された前記識別器を構成するための構成情報を、前記学習サーバから受信することと、
前記構成情報を用いて前記識別器を更新することと、
を含む識別方法。
【請求項１０】
車両に搭載され、路面の画像を撮影する撮影部及び演算装置を備える識別装置を、
学習済みの識別器を含み、前記画像を前記識別器に入力し、前記識別器の出力に基づいて、前記路面の損傷を識別する識別部、
少なくとも前記損傷が識別された場合に、前記画像を学習サーバに送信する送信部、
前記撮影部により撮影された前記画像を含む学習用データを用いて再学習された前記識別器を構成するための構成情報を、前記学習サーバから受信する受信部、及び
前記構成情報を用いて前記識別器を更新する更新部、
として機能させる識別プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、識別システム、識別装置、識別方法及び識別プログラムに関する。
【背景技術】
【０００２】
従来、路面の補修要否等を判断するために、路面に損傷があるか確認することがある。路面の損傷は、例えば、技術者によって目視で確認されることがある。
【０００３】
下記特許文献１には、点検車両を路面上で走行させながら路面をカメラで撮像し、撮像画像から点検装置の影を除去する工程と、路面上のペイントされた表示案内を含む白色部分を撮像画像から除去する工程と、撮像画像内から点検中の車線領域に隣接する他の車線領域を除去する工程と、走行する路面のうち橋梁部分と一般の舗装路面部分とをつなぐジョイント部分を、撮像画像から除去する工程と、路面の汚れを撮像画像から除去する工程と、周辺構造物の影を除去する工程と、を有する路面損傷状態点検方法が記載されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００５−４３３２４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
路面の損傷を目視で確認する場合、正確な測定が可能である反面、測定のために長時間を要したり、人材コストが増大したりしてしまうことがあり、増加が見込まれる点検需要に対して時間や財源が不足するおそれがある。また、特許文献１に記載の技術のように、路面の画像を撮影し、画像処理を用いて路面の損傷を測定することが試みられているが、路面の状態は様々に変化するため、全ての状態を考慮した画像処理のプログラムを予め作成することは困難であり、損傷を精度良く測定することが難しかった。
【０００６】
そこで、本発明は、路面の損傷を識別する処理を自律的に改善することのできる識別システム、識別装置、識別方法及び識別プログラムを提供する。
【課題を解決するための手段】
【０００７】
本発明の一態様に係る識別システムは、識別装置及び学習サーバを備える識別システムであって、識別装置は、車両に搭載され、路面の画像を撮影する撮影部と、学習済みの識別器を含み、画像を識別器に入力し、識別器の出力に基づいて、路面の損傷を識別する識別部と、を有し、学習サーバは、撮影部により撮影された画像を含む学習用データを用いて、識別器の再学習処理を実行する学習部と、再学習された識別器を構成するための構成情報を、識別装置に送信する通信部と、を有し、識別装置は、構成情報を用いて識別器を更新する更新部をさらに有する。
【０００８】
この態様によれば、識別装置によって路面の画像を撮影することで学習用データを継続的に増加させることができ、識別器の識別性能を向上させることができる。そのため、路面の損傷を識別する処理を自律的に改善することができる。
【０００９】
上記態様において、撮影部は、所定の時間間隔で画像を撮影し、識別部は、所定の時間間隔以内に、路面の損傷を識別してもよい。
【００１０】
この態様によれば、識別部によって、撮影部の撮影間隔以内に路面の損傷が認識されるため、所定の時間間隔を車両の速度に応じて適切に選択することで、路面を途切れることなく撮影して損傷を識別することができる。
【００１１】
上記態様において、識別器は、画像が入力された場合に、損傷を囲むバウンディングボックスを出力してもよい。
【００１２】
この態様によれば、路面の損傷の有無のみならず、損傷の位置が識別され、損傷の状態についてより詳細な情報が得られる。また、バウンディングボックスによって損傷の位置が強調され、識別結果の確認が容易となる。
【００１３】
上記態様において、識別器は、損傷の種類を識別してもよい。
【００１４】
この態様によれば、路面の損傷の有無のみならず、損傷の種類が識別され、損傷の状態についてより詳細な情報が得られる。
【００１５】
上記態様において、識別装置は、画像が撮影された位置に関する情報を画像に関連付けてもよい。
【００１６】
この態様によれば、どこでどのような損傷が生じているのかが明らかとなり、損傷が生じている場所に応じて適切な管理者へ通知することができる。
【００１７】
上記態様において、識別装置は、画像及び識別部による識別結果を管理サーバに送信し、管理サーバは、損傷が識別された画像について、識別部による識別結果の訂正を受け付け、識別結果が訂正された画像を含む学習用データを学習サーバに送信してもよい。
【００１８】
この態様によれば、識別結果に誤りがある場合に、管理者による訂正を受け付けることができ、学習用データの質を向上させることができる。
【００１９】
上記態様において、学習部は、識別結果が訂正された画像を含む学習用データを用いて、識別器の再学習処理を実行してもよい。
【００２０】
この態様によれば、管理者により正しい識別結果が与えられた画像を用いて、識別器を再学習させることができ、識別器の識別性能をより向上させることができる。
【００２１】
本発明の他の態様に係る識別装置は、車両に搭載され、路面の画像を撮影する撮影部と、学習済みの識別器を含み、画像を識別器に入力し、識別器の出力に基づいて、路面の損傷を識別する識別部と、少なくとも損傷が識別された場合に、画像を学習サーバに送信する送信部と、撮影部により撮影された画像を含む学習用データを用いて再学習された識別器を構成するための構成情報を、学習サーバから受信する受信部と、構成情報を用いて識別器を更新する更新部と、を備える。
【００２２】
この態様によれば、識別装置によって路面の画像を撮影することで学習用データを継続的に増加させることができ、識別器の識別性能を向上させることができる。そのため、路面の損傷を識別する処理を自律的に改善することができる。
【００２３】
本発明の他の態様に係る識別方法は、車両に搭載された撮影部によって、路面の画像を撮影することと、画像を学習済みの識別器に入力し、識別器の出力に基づいて、路面の損傷を識別することと、少なくとも損傷が識別された場合に、画像を学習サーバに送信することと、画像を含む学習用データを用いて再学習された識別器を構成するための構成情報を、学習サーバから受信することと、構成情報を用いて識別器を更新することと、を含む。
【００２４】
この態様によれば、識別装置によって路面の画像を撮影することで学習用データを継続的に増加させることができ、識別器の識別性能を向上させることができる。そのため、路面の損傷を識別する処理を自律的に改善することができる。
【００２５】
本発明の他の態様に係る識別プログラムは、車両に搭載され、路面の画像を撮影する撮影部及び演算装置を備える識別装置を、学習済みの識別器を含み、画像を識別器に入力し、識別器の出力に基づいて、路面の損傷を識別する識別部、少なくとも損傷が識別された場合に、画像を学習サーバに送信する送信部、撮影部により撮影された画像を含む学習用データを用いて再学習された識別器を構成するための構成情報を、学習サーバから受信する受信部、及び構成情報を用いて識別器を更新する更新部、として機能させる。
【００２６】
この態様によれば、識別装置によって路面の画像を撮影することで学習用データを継続的に増加させることができ、識別器の識別性能を向上させることができる。そのため、路面の損傷を識別する処理を自律的に改善することができる。
【発明の効果】
【００２７】
本発明によれば、路面の損傷を識別する処理を自律的に改善することのできる識別システム、識別装置、識別方法及び識別プログラムが提供される。
【図面の簡単な説明】
【００２８】
【図１】本発明の実施形態に係る識別システムの機能ブロック図である。
【図２】本実施形態に係る識別装置の物理的構成を示す図である。
【図３】本実施形態に係る識別装置により撮影される画像の例を示す図である。
【図４】本実施形態に係る管理サーバに表示される第１画面の例を示す図である。
【図５】本実施形態に係る管理サーバに表示される第２画面の例を示す図である。
【図６】本実施形態に係る識別装置により識別される損傷の種類の例を示す図である。
【図７】本実施形態に係る識別システムにより実行される処理のフローチャートである。
【図８】本実施形態に係る管理サーバにより実行される処理のフローチャートである。
【発明を実施するための形態】
【００２９】
以下、本発明の一側面に係る実施の形態（以下、「本実施形態」と表記する。）を、図面に基づいて説明する。なお、各図において、同一の符号を付したものは、同一又は同様の構成を有する。
【００３０】
図１は、本発明の実施形態に係る識別システム１の機能ブロック図である。識別システム１は、識別装置１０、管理サーバ２０及び学習サーバ３０を備える。識別装置１０、管理サーバ２０及び学習サーバ３０は、それぞれ通信ネットワークＮを介して通信可能である。識別装置１０は、車両に搭載されてよい。なお、管理サーバ２０及び学習サーバ３０は、一台の装置で構成されてもよい。
【００３１】
識別装置１０は、スマートフォン等の汎用の情報処理装置で構成されてよく、通信部１０ｄ、表示部１０ｆ、撮影部１１、識別部１２及び更新部１３を備える。通信部１０ｄは、通信ネットワークＮを介して管理サーバ２０及び学習サーバ３０と種々の情報の通信を行う。表示部１０ｆは、撮影部１１で撮影した画像や通信部１０ｄにより受信した情報を表示する。
【００３２】
撮影部１１は、汎用のカメラで構成されてよく、車両に搭載され、路面の画像を撮影する。なお、撮影部１１は識別装置１０に内蔵されていてもよいし、外付けされていてもよい。撮影部１１が識別装置１０に内蔵されている場合、識別装置１０は、撮影部１１によって車両の前方の路面が撮影できるように、例えば車両のダッシュボード上に固定されてよいが、撮影部１１によって車両の後方の路面が撮影できるように車両に固定されてもよい。また、撮影部１１が識別装置１０に外付けされている場合、撮影部１１は、車両の内部に搭載されてもよいし、車両の外部に搭載されてもよい。
【００３３】
識別部１２は、学習済みの識別器１２ａを含み、撮影部１１により撮影された画像を識別器１２ａに入力し、識別器１２ａの出力に基づいて、路面の損傷を識別する。ここで、学習済みの識別器１２ａは、学習済みの識別器１２ａを構成するための構成情報を学習サーバ３０から受信して、構成情報に基づいて実装されてよい。識別器１２ａは、例えばニューラルネットワークで構成されてよく、より具体的にはＣＮＮ（Convolutional Neural Network）で構成されてよい。識別器１２ａがニューラルネットワークの場合、識別器１２ａの構成情報は、ニューラルネットワークに含まれる層に関する情報、異なる層に含まれるノードの結合の重みに関する情報及びノードの活性化関数に関する情報等を含んでよい。また、識別装置１０が備える演算装置は、比較的処理能力が低いことがあるため、識別器１２ａは、ＹＯＬＯ（arXiv:1612.08242）等の比較的演算負荷の低いモデルであってよい。
【００３４】
撮影部１１は、所定の時間間隔で画像を撮影し、識別部１２は、所定の時間間隔以内に、路面の損傷を識別してよい。ここで、所定の時間間隔は、例えば１．２秒であってよい。仮に１．２秒間隔で画像を撮影する場合、車両を４０ｋｍ／ｈ（約１１．１ｍ／ｓ）で走行させれば、約１３ｍ毎に路面が撮影されることとなり、路面を途切れることなく撮影することができる。このように、識別部１２によって、撮影部１１の撮影間隔以内に路面の損傷が認識されるため、所定の時間間隔を車両の速度に応じて適切に選択することで、路面を途切れることなく撮影して損傷を識別することができる。
【００３５】
通信部１０ｄは、撮影部１１により撮影された画像及び識別部１２による識別結果を管理サーバ２０に送信する。管理サーバ２０は、通信部２１、訂正部２２及び生成部２３を備え、通信部２１によって、識別装置１０から画像及び識別結果を受信する。訂正部２２は、損傷が識別された画像について、識別部１２による識別結果の訂正を受け付ける。ここで、識別結果の訂正は、管理サーバ２０のユーザ（管理者）によって行われてよく、例えば路面の損傷を判定する専門家によって行われてよい。生成部２３は、識別結果が訂正された画像を含む学習用データを生成する。そして、通信部２１は、生成された学習用データを学習サーバ３０に送信する。このようにして、識別結果に誤りがある場合に、管理者による訂正を受け付けることができ、学習用データの質を向上させることができる。
【００３６】
更新部１３は、学習サーバ３０から受信した構成情報を用いて識別器１２ａを更新する。更新部１３による識別器１２ａの更新は、学習サーバ３０から構成情報を受信した場合に行われてもよいし、定期的に学習サーバ３０から構成情報をプル型で受信した場合に行われてもよい。
【００３７】
学習サーバ３０は、通信部３１、学習部３２及び学習用データ記憶部３３を備える。通信部３１は、通信ネットワークＮを介して識別装置１０及び管理サーバ２０と種々の情報の通信を行う。通信部３１は、管理サーバ２０から、管理サーバ２０で生成された学習用データを受信する。
【００３８】
学習部３２は、管理サーバ２０から受信した学習用データを用いて、識別器の再学習処理を実行する。ここで、学習用データは、識別装置１０の撮影部１１によって撮影された路面の画像及び識別部１２による識別結果を含んでよく、管理サーバ２０により訂正された識別結果を含んでもよい。学習用データ記憶部３３は、学習用データを記憶する。なお、学習用データ記憶部３３は、必ずしも学習サーバ３０に備えられてなくてもよく、学習用データは、学習サーバ３０と別体のデータベースに記憶されていてもよい。
【００３９】
通信部３１は、再学習された識別器を構成するための構成情報を、識別装置１０に送信する。識別装置１０の更新部１３は、受信した構成情報を用いて識別器１２ａを更新する。このようにして、識別装置１０によって路面の画像を撮影することで学習用データを継続的に増加させることができ、識別器の識別性能を向上させることができる。そのため、路面の損傷を識別する処理を自律的に改善することができる。特に、識別装置１０をスマートフォンで構成し、識別器１２ａとして深層学習により生成したＣＮＮを用いることで、高速かつ低廉に道路損傷を識別する識別システム１を提供することができる。
【００４０】
学習部３２は、識別結果が訂正された画像を含む学習用データを用いて、識別器の再学習処理を実行してよい。これにより、管理者により正しい識別結果が与えられた画像を用いて、識別器を再学習させることができ、識別器の識別性能をより向上させることができる。
【００４１】
図２は、本実施形態に係る識別装置１０の物理的構成を示す図である。識別装置１０は、ハードウェアプロセッサに相当するＣＰＵ（Central Processing Unit）１０ａと、メモリに相当するＲＡＭ（Random Access Memory）１０ｂと、メモリに相当するＲＯＭ（Read only Memory）１０ｃと、通信部１０ｄと、入力部１０ｅと、表示部１０ｆとを有する。これら各構成は、バスを介して相互にデータ送受信可能に接続される。なお、本例では識別装置１０が一台のコンピュータで構成される場合について説明するが、識別装置１０は、複数台のコンピュータを用いて実現されてもよい。
【００４２】
ＣＰＵ１０ａは、ＲＡＭ１０ｂ又はＲＯＭ１０ｃに記憶されたプログラムの実行に関する制御やデータの演算、加工を行う制御部である。ＣＰＵ１０ａは、画像に基づいて路面の損傷を識別し、識別器を更新するプログラム（識別プログラム）を実行する演算装置である。ＣＰＵ１０ａは、入力部１０ｅや通信部１０ｄから種々の入力データを受け取り、入力データの演算結果を表示部１０ｆに表示したり、ＲＡＭ１０ｂやＲＯＭ１０ｃに格納したりする。
【００４３】
ＲＡＭ１０ｂは、データの書き換えが可能な記憶部であり、例えば半導体記憶素子で構成される。ＲＡＭ１０ｂは、ＣＰＵ１０ａが実行するアプリケーション等のプログラムやデータを記憶する。
【００４４】
ＲＯＭ１０ｃは、データの読み出しのみが可能な記憶部であり、例えば半導体記憶素子で構成される。ＲＯＭ１０ｃは、例えばファームウェア等のプログラムやデータを記憶する。
【００４５】
通信部１０ｄは、識別装置１０を通信ネットワークに接続するインターフェースであり、例えば、有線又は無線回線のデータ伝送路により構成されたＬＡＮ（Local Area Network）、ＷＡＮ（Wide Area Network）、インターネット等の通信ネットワークＮに接続される。
【００４６】
入力部１０ｅは、ユーザからデータの入力を受け付けるものであり、例えば、キーボード、マウス及びタッチパネルを含む。
【００４７】
表示部１０ｆは、ＣＰＵ１０ａによる演算結果を視覚的に表示するものであり、例えば、ＬＣＤ（Liquid Crystal Display）により構成される。
【００４８】
識別プログラムは、ＲＡＭ１０ｂやＲＯＭ１０ｃ等のコンピュータによって読み取り可能な記憶媒体に記憶されて提供されてもよいし、通信部１０ｄにより接続される通信ネットワークを介して提供されてもよい。識別装置１０では、ＣＰＵ１０ａが識別プログラムを実行することにより、図１を用いて説明した様々な機能が実現される。なお、これらの物理的な構成は例示であって、必ずしも独立した構成でなくてもよい。例えば、識別装置１０は、ＣＰＵ１０ａとＲＡＭ１０ｂやＲＯＭ１０ｃが一体化したＬＳＩ（Large-Scale Integration）を備えていてもよい。
【００４９】
図３は、本実施形態に係る識別装置１０により撮影される画像の例を示す図である。同図では、識別装置１０がスマートフォンで構成され、撮影部１１により撮影された画像がスマートフォンの表示部１０ｆに表示される場合を示している。
【００５０】
本例において、識別器１２ａは、画像が入力された場合に、路面の損傷を囲むバウンディングボックスＢを出力する。バウンディングボックスＢには、「ｄａｍａｇｅｄ  ０．３３」と表示され、損傷が０．３３の信頼度で識別されたことが示されている。このように、識別器１２ａによって損傷を囲むバウンディングボックスを出力することで、路面の損傷の有無のみならず、損傷の位置が識別され、損傷の状態についてより詳細な情報が得られる。また、バウンディングボックスによって損傷の位置が強調され、識別結果の確認が容易となる。
【００５１】
また、本例において、撮影部１１により撮影された画像は、路面が画像全体の３〜４割を占めるように撮影されているが、画像は、路面が画像全体の４割以上を占めるように撮影されてもよい。また、本例では車両の前方の路面が撮影されているが、車両の後方の路面を撮影することとしてもよいし、車両の前方及び後方の路面を撮影することとしてもよい。
【００５２】
図４は、本実施形態に係る管理サーバ２０に表示される第１画面ＤＰ１の例を示す図である。第１画面ＤＰ１は、管理サーバ２０が識別装置１０から路面の画像及び識別結果を受信した場合に表示されてよい。ここで、識別装置１０は、画像が撮影された位置に関する情報を画像に関連付けてよい。画像が撮影された位置に関する情報は、識別装置１０によってＧＰＳ（Global Positioning System）の位置情報に基づいて生成されてよい。
【００５３】
第１画面ＤＰ１は、画像が撮影された位置を示す地図ＤＰ１１、画像が撮影された路面の情報ＤＰ１２、画像を一意に特定するためのデータＩＤＤＰ１３及び画像が撮影された日時を示すタイムスタンプＤＰ１４等を含む。なお、本例では、画像が撮影された路面の情報ＤＰ１２は、交通量（Traffic Volume）、車線数（Number of Lane）、幅員（Road Width）、法定の最高速度（Max Speed）及びタイプ（Road Type）を含むが、これら以外の情報が含まれてもよいし、これらのうちいずれかが含まれなくてもよい。
【００５４】
本例では、地図ＤＰ１１上のマーカーによって画像が撮影された位置が示されている。これにより、どこでどのような損傷が生じているのかが明らかとなり、損傷が生じている場所に応じて適切な管理者へ通知することができる。また、データＩＤＤＰ１３は「１３３８１」であり、タイムスタンプＤＰ１４は「２０１７／０３／１４  １５：２０：２５」、すなわち２０１７年３月１４日午後３時２０分２５秒である。これにより、データを一意に特定した上で、いつどのような損傷が生じているのかを明らかにすることができ、修復を行うタイミング等の判断材料を提供することができる。
【００５５】
第１画面ＤＰ１では、撮影された画像を含む学習用データを生成する日付を「create date」によって設定したり、「damage checked」と示されたラジオボタンにより損傷を確認したことをチェックしたり、次図に示す画像を登録したりすることができる。
【００５６】
図５は、本実施形態に係る管理サーバ２０に表示される第２画面ＤＰ２の例を示す図である。第２画面ＤＰ２は、管理サーバ２０が識別装置１０から路面の画像及び識別結果を受信した場合に表示されてよく、第１画面ＤＰ１と並べて表示されてもよい。管理サーバ２０は、第２画面ＤＰ２を表示して、識別結果が正しいか管理者に確認させ、誤っている場合には管理者から識別結果の訂正を受け付けてよい。また、管理サーバ２０は、訂正された識別結果及び画像を含む学習用データを生成してよい。
【００５７】
第２画面ＤＰ２は、撮影部１１により撮影された画像ＤＰ２１、識別部１２により識別された損傷の種類ＤＰ２２、損傷のレベルＤＰ２３及び対処項目ＤＰ２４等を含む。本例において、画像ＤＰ２１は、図３に示すものと同じであり、識別部１２により識別された損傷を囲むバウンディングボックスＢを含む。
【００５８】
「Damage Type」と示された損傷の種類ＤＰ２２は、本例では「Crack, Linear crack, Longitudinal, Wheel mark part」である。すなわち、識別部１２により識別された損傷の種類は、縦方向に伸びる線状のひび割れであり、車両の車輪が走行する部分（Wheel mark part）に生じた損傷である。識別器１２ａは、損傷の種類を識別してよく、本例に示す損傷の種類ＤＰ２２は、画像ＤＰ２１を識別器１２ａに入力した場合に出力されるものである。このように、路面の損傷の有無のみならず、損傷の種類が識別され、損傷の状態についてより詳細な情報が得られる。
【００５９】
また、「Damage Level」と示された損傷のレベルＤＰ２３は、「Crack Ratio L」（比較的小さな損傷）というラジオボタンと、「Crack Ratio M」（中程度の損傷）というラジオボタンと、「Crack Ratio H」（比較的大きな損傷）というラジオボタンを含み、本例では「Crack Ratio L」が選択されており、比較的小さな損傷であることが示されている。管理サーバ２０は、損傷の種類ＤＰ２２及び損傷のレベルＤＰ２３の訂正を受け付けてよい。また、管理サーバ２０は、バウンディングボックスＢの位置及び大きさの訂正を受け付けてもよい。
【００６０】
「Dealing」と示された対処項目ＤＰ２４は、修復の必要があることを示す「Repair」のラジオボタンと、経過観察を行うことを示す「Observation」のラジオボタンと、修復の必要が無いことを示す「Not repair」のラジオボタンとを含み、本例では、「Not repair」が選択されており、修復の必要が無いと判断されている。このように、管理サーバ２０は、管理者に画像ＤＰ２１を確認させて、修復の要否を受け付けてよい。
【００６１】
管理サーバ２０は、画像ＤＰ２１に対して、バウンディングボックスＢ、損傷の種類ＤＰ２２、損傷のレベルＤＰ２３及び対処項目ＤＰ２４等の情報を関連付けて、学習用データを生成してよい。生成された学習用データは、学習サーバ３０に送信され、識別器の再学習に用いることができる。
【００６２】
図６は、本実施形態に係る識別装置１０により識別される損傷の種類の例を示す図である。同図では、損傷の種類（DAMAGE TYPE）を「Crack（ひび割れ）」と「Other corruption（その他の損傷）」に大別し、「Crack（ひび割れ）」を「Linear crack（線状のひび割れ）」と「Alligator crack（亀甲状クラック）」に分類して、「Linear crack（線状のひび割れ）」を「Longitudinal（縦方向）」と「Lateral（横方向）」に分類している。さらに、損傷の種類の詳細（DETAIL）をそれぞれの種類について記載している。
【００６３】
「Crack（ひび割れ）」のうち「Linear crack（線状のひび割れ）」であり、「Longitudinal（縦方向）」の場合、損傷の種類は、「Wheel mark part（車輪の走行部分）」、「Construction joint part（施工継ぎ目部分）」及び「Construction joint part & BWP（施工継ぎ目部分かつ外側車輪と内側車輪の中間）」に細分化される。また、「Crack（ひび割れ）」のうち「Linear crack（線状のひび割れ）」であり、「Lateral（横方向）」の場合、損傷の種類は、「Equal interval（等間隔）」及び「Construction joint part（施工継ぎ目部分）」に細分化される。さらに、「Crack（ひび割れ）」のうち「Alligator crack（亀甲状クラック）」の場合、損傷の種類は、「Wheel mark part（車輪の走行部分）」、「Overall pavement（舗装全体）」及び「Partial（部分的）」に細分化される。
【００６４】
「Other corruption（その他の損傷）」の場合、損傷の種類は、「Rutting（わだち掘れ）」、「Bump（バンプ）」、「Pothole（ポットホール）」、「Separation（分離）」、「Cross walk blur（横断歩道のかすれ）」及び「lane division line blur（車線境界線のかすれ）」に細分化される。
【００６５】
なお、図６に示した損傷の種類は一例であり、識別部１２は、これら以外の種類の損傷を識別してもよいし、これらのうち一部の種類を識別しなくてもよい。また、識別部１２は、損傷の種類の詳細（DETAIL）について必ずしも識別しなくてもよい。また、これらの損傷の種類のうち一部は、管理者によって管理サーバ２０を用いて付与されてもよい。
【００６６】
図７は、本実施形態に係る識別システム１により実行される処理のフローチャートである。はじめに、車両に搭載された撮影部１１で、所定の時間間隔で路面の画像を撮影する（Ｓ１０）。以下に説明する処理は、所定の時間間隔で撮影された全ての画像について行われてよい。
【００６７】
識別部１２は、画像を学習済みの識別器１２ａに入力する（Ｓ１１）。識別器１２ａは、画像に基づいて、路面に損傷が有るか否かを判定する。識別部１２により路面に損傷が有ると判定された場合（Ｓ１２：ＹＥＳ）、識別器１２ａは、損傷の種類、損傷を囲むバウンディングボックスを出力する（Ｓ１３）。なお、識別器１２ａは、識別の信頼度を併せて出力してもよい。
【００６８】
識別装置１０は、画像が撮影された位置に関する情報を、画像及び識別結果に関連付けて（Ｓ１４）、画像を管理サーバ２０に送信する（Ｓ１５）。管理サーバ２０は、識別結果の訂正を受け付け、学習用データを生成し、学習用データを学習サーバ３０に送信する（Ｓ１６）。なお、管理サーバ２０により実行される処理については、次図を用いてより詳細に説明する。
【００６９】
その後、学習サーバ３０により、学習用データを用いて識別器の再学習処理を実行する（Ｓ１７）。なお、学習サーバ３０は、管理サーバ２０から受信した学習用データのデータ量が所定量に達した場合に、再学習処理を実行してよいし、学習サーバ３０のユーザによる操作に応じて再学習処理を実行してもよい。
【００７０】
その後、学習サーバ３０から、識別器を構成するための構成情報を識別装置１０に送信する（Ｓ１８）。最後に、識別装置１０の更新部１３は、構成情報に基づいて、識別器１２ａを更新する（Ｓ１９）。以上で、識別システム１により実行される処理が終了する。なお、以上の処理のうち、撮影部１１による路面の画像の撮影（Ｓ１０）から管理サーバ２０による学習用データの生成（Ｓ１６）までは、画像が撮影される度に行われてよいが、学習サーバ３０による識別器の再学習処理は、新規な学習用データが蓄積した段階で行われてよく、識別器の更新（Ｓ１９）は、識別器の再学習が実行されて、新たな構成情報を受信した場合に行われてよい。
【００７１】
図８は、本実施形態に係る管理サーバ２０により実行される処理のフローチャートである。管理サーバ２０は、図４及び５に例示したように、損傷が識別された画像、画像が撮影された位置及び識別結果を表示する（Ｓ１６１）。そして、管理者から識別結果の訂正を受け付ける（Ｓ１６２）。また、管理者から補修の要否を受け付ける（Ｓ１６３）。管理サーバ２０は、識別結果が訂正された画像を含む学習用データを生成する。
【００７２】
最後に、管理サーバ２０は、識別結果が訂正された画像を含む学習用データを学習サーバ３０に送信する（Ｓ１６４）。以上で、管理サーバ２０により実行される処理が終了する。このように、管理サーバ２０によって識別結果の訂正を受け付けることで、人の経験知によって学習用データの質を向上させ、識別器の識別精度を継続的に向上させていくことができる。
【００７３】
以上説明した実施形態は、本発明の理解を容易にするためのものであり、本発明を限定して解釈するためのものではない。実施形態が備える各要素並びにその配置、材料、条件、形状及びサイズ等は、例示したものに限定されるわけではなく適宜変更することができる。また、異なる実施形態で示した構成同士を部分的に置換し又は組み合わせることが可能である。
【符号の説明】
【００７４】
１…識別システム、１０…識別装置、１０ａ…ＣＰＵ、１０ｂ…ＲＡＭ、１０ｃ…ＲＯＭ、１０ｄ…通信部、１０ｅ…入力部、１０ｆ…表示部、１１…撮影部、１２…識別部、１２ａ…識別器、１３…更新部、２０…管理サーバ、２１…通信部、２２…訂正部、２３…生成部、３０…学習サーバ、３１…通信部、３２…学習部、３３…学習用データ記憶部、Ｎ…通信ネットワーク
【図１】
2019139316.tif 000003
【図２】
2019139316.tif 000004
【図３】
2019139316.tif 000005
【図４】
2019139316.tif 000006
【図５】
2019139316.tif 000007
【図６】
2019139316.tif 000008
【図７】
2019139316.tif 000009
【図８】
2019139316.tif 000010