(57)【要約】【課題】車両の損傷状態を柔軟性をもって高速かつ精度よく判定する。【解決手段】部品判定部４は、部品学習モデル９を参照して、撮像画像における車両部品を判定する。部品学習モデル９は、深層学習による物体検出アルゴリズムを用いて、車両部品に関するデータを教師データとした教師あり学習によって構築されている。物体検出アルゴリズムは、撮像画像を単一のニューラルネットワーク系に入力することで、回帰問題的なアプローチによって、撮像画像における車両部品の領域抽出を属性の分類付きでまとめて行う。状態判定部５は、状態学習モデル１０を参照して、部品判定部４によって判定された車両部品の損傷状態を判定する。状態学習モデル１０は、車両部品の損傷状態に関するデータを教師データとした教師あり学習によって構築されている。
2020071559.tif 000002
【特許請求の範囲】
【請求項１】
撮像画像から車両の損傷状態を判定する車両状態判定装置において、
深層学習による物体検出アルゴリズムを用いて、車両部品に関するデータを教師データとした教師あり学習によって構築された部品学習モデルを参照して、撮像画像における車両部品を判定する部品判定部と、
車両部品の損傷状態に関するデータを教師データとした教師あり学習によって構築された状態学習モデルを参照して、前記部品判定部によって判定された車両部品毎の損傷状態を判定する状態判定部とを有し、
前記物体検出アルゴリズムは、
前記撮像画像を単一のニューラルネットワーク系に入力することで、回帰問題的なアプローチによって、前記撮像画像における前記車両部品の領域抽出を属性の分類付きでまとめて行うことを特徴とする車両状態判定装置。
【請求項２】
前記物体検出アルゴリズムは、ＹＯＬＯまたはＳＳＤであることを特徴とする請求項１に記載された車両状態判定装置。
【請求項３】
車両の構成面に関するデータを教師データとした教師あり学習によって構築された面学習モデルを参照して、撮像画像における車両の構成面を判定する面判定部をさらに有し、
前記部品判定部は、前記面判定部によって判定された前記構成面に基づいて、前記車両部品をフィルタリングし、当該フィルタリングされた車両部品を判定結果として出力することを特徴とする請求項１に記載された車両状態判定装置。
【請求項４】
前記面判定部は、前記撮像画像中に特定の構成面に固有の車両部品が存在する場合、当該固有の車両部品に対応する構成面を判定結果に含めることを特徴とする請求項３に記載された車両状態判定装置。
【請求項５】
車両部品の損傷状態に対応付けられた修理費用が車両部品毎に保持された見積テーブルを参照することによって、前記状態判定部によって判定された車両部品毎の損傷状態から、車両の修理費用を見積もる見積算出部をさらに有することを特徴とする請求項１から４のいずれかに記載された車両状態判定装置。
【請求項６】
前記面判定部から前記部品判定部への処理の移行、前記部品判定部から前記状態判定部への処理の移行、および、前記状態判定部から前記見積算出部への処理の移行のうちの少なくとも一つは、ユーザによる判定結果の修正を許容した上でユーザの承認が得られたことを条件に行われることを特徴とする請求項１から５のいずれかに記載された車両状態判定装置。
【請求項７】
撮像画像から車両の損傷状態を判定する車両状態判定プログラムにおいて、
深層学習による物体検出アルゴリズムを用いて、車両部品に関するデータを教師データとした教師あり学習によって構築された部品学習モデルを参照して、撮像画像における車両部品を判定する部品判定ステップと、
車両部品の損傷状態に関するデータを教師データとした教師あり学習によって構築された状態学習モデルを参照して、前記部品判定部によって判定された車両部品毎の損傷状態を判定する状態判定ステップとを有する処理をコンピュータに実行させ、
前記物体検出アルゴリズムは、
前記撮像画像を単一のニューラルネットワーク系に入力することで、回帰問題的なアプローチによって、前記撮像画像における前記車両部品の領域抽出を属性の分類付きでまとめて行うことを特徴とする車両状態判定プログラム。
【請求項８】
前記物体検出アルゴリズムは、ＹＯＬＯまたはＳＳＤであることを特徴とする請求項７に記載された車両状態判定プログラム。
【請求項９】
車両の構成面に関するデータを教師データとした教師あり学習によって構築された面学習モデルを参照して、撮像画像における車両の構成面を判定する面判定ステップをさらに有し、
前記部品判定ステップは、前記面判定ステップによって判定された前記構成面に基づいて、前記車両部品をフィルタリングし、当該フィルタリングされた車両部品を判定結果として出力することを特徴とする請求項７に記載された車両状態判定プログラム。
【請求項１０】
前記面判定ステップは、前記撮像画像中に特定の構成面に固有の車両部品が存在する場合、当該固有の車両部品に対応する構成面を判定結果に含めることを特徴とする請求項９に記載された車両状態判定プログラム。
【請求項１１】
車両部品の損傷状態に対応付けられた修理費用が車両部品毎に保持された見積テーブルを参照することによって、前記状態判定ステップによって判定された車両部品毎の損傷状態から、車両の修理費用を見積もる見積算出ステップをさらに有することを特徴とする請求項７から１０のいずれかに記載された車両状態判定プログラム。
【請求項１２】
前記面判定ステップから前記部品判定ステップへの処理の移行、前記部品判定ステップから前記状態判定ステップへの処理の移行、および、前記状態判定ステップから前記見積算出ステップへの処理の移行のうちの少なくとも一つは、ユーザによる判定結果の修正を許容しつつ、ユーザの承認が得られたことを条件に行われることを特徴とする請求項７から１１のいずれかに記載された車両状態判定プログラム。
【請求項１３】
撮像画像から車両の損傷状態を判定する車両状態判定方法において、
深層学習による物体検出アルゴリズムを用いて、車両部品に関するデータを教師データとした教師あり学習によって構築された部品学習モデルを参照して、撮像画像における車両部品を判定する部品判定ステップと、
車両部品の損傷状態に関するデータを教師データとした教師あり学習によって構築された状態学習モデルを参照して、前記部品判定部によって判定された車両部品毎の損傷状態を判定する状態判定ステップとを有し、
前記物体検出アルゴリズムは、
前記撮像画像を単一のニューラルネットワーク系に入力することで、回帰問題的なアプローチによって、前記撮像画像における前記車両部品の領域抽出を属性の分類付きでまとめて行うことを特徴とする車両状態判定方法。
【請求項１４】
前記深層学習による物体検出アルゴリズムは、ＹＯＬＯまたはＳＳＤであることを特徴とする請求項１３に記載された車両状態判定方法。
【請求項１５】
車両の構成面に関するデータを教師データとした教師あり学習によって構築された面学習モデルを参照して、撮像画像における車両の構成面を判定する面判定ステップをさらに有し、
前記部品判定ステップは、前記面判定ステップによって判定された前記構成面に基づいて、前記車両部品をフィルタリングし、当該フィルタリングされた車両部品を判定結果として出力することを特徴とする請求項１３に記載された車両状態判定方法。
【請求項１６】
前記面判定ステップは、前記撮像画像中に特定の構成面に固有の車両部品が存在する場合、当該固有の車両部品に対応する構成面を判定結果に含めることを特徴とする請求項１５に記載された車両状態判定方法。
【請求項１７】
車両部品の損傷状態に対応付けられた修理費用が車両部品毎に保持された見積テーブルを参照することによって、前記状態判定ステップによって判定された車両部品毎の損傷状態から、車両の修理費用を見積もる見積算出ステップをさらに有することを特徴とする請求項１３から１６のいずれかに記載された車両状態判定方法。
【請求項１８】
前記面判定ステップから前記部品判定ステップへの処理の移行、前記部品判定ステップから前記状態判定ステップへの処理の移行、および、前記状態判定ステップから前記見積算出ステップへの処理の移行のうちの少なくとも一つは、ユーザによる判定結果の修正を許容しつつ、ユーザの承認が得られたことを条件に行われることを特徴とする請求項１３から１７のいずれかに記載された車両状態判定方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像画像から車両の損傷状態を判定する車両状態判定装置、その判定プログラムおよび判定方法に関する。
【背景技術】
【０００２】
例えば、特許文献１には、事故車の損傷の評価や修理見積もりを的確かつ迅速に行うことが可能な事故車修理費見積システムが開示されている。この見積システムは、キャプチャー手段と、記憶手段と、入力手段と、表示手段と、リンク手段と、見積手段とを有する。キャプチャー手段は、事故車両の画像データを取り込む。記憶手段は、事故車修理費見積に必要な車両属性データを記憶する。入力手段は、事故車修理費見積に必要な見積データを入力する。表示手段は、事故車両画像データを含む各種データを表示する。リンク手段は、画像データが車両のどの部位の損傷を明瞭に示しているかを決定する。見積手段は、画像データおよび画像データに対応する部位の車両属性データを表示手段に同時に表示する。また、見積手段は、見積データおよび車両属性データに基いて、事故車の修理に要する費用の見積処理を行う。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開平１０−１９７２８５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、特許文献１のシステムでは、事故車両の画像データについて、過去に修理をした車両の画像データとの近似性から損傷の程度を判定するため、適切な過去の画像データが存在しない場合には判定精度が低下する。【０００５】
そこで、本発明の目的は、車両の損傷状態を柔軟性をもって高速かつ精度よく判定することである。
【課題を解決するための手段】
【０００６】
かかる課題を解決すべく、第１の発明は、部品判定部と、状態判定部とを有し、撮像画像から車両の損傷状態を判定する車両状態判定装置を提供する。部品判定部は、部品学習モデルを参照して、撮像画像における車両部品を判定する。部品学習モデルは、深層学習による物体検出アルゴリズムを用いて、車両部品に関するデータを教師データとした教師あり学習によって構築されている。物体検出アルゴリズムは、撮像画像を単一のニューラルネットワーク系に入力することで、回帰問題的なアプローチによって、撮像画像における車両部品の領域抽出を属性の分類付きでまとめて行う。状態判定部は、状態学習モデルを参照して、部品判定部によって判定された車両部品毎の損傷状態を判定する。状態学習モデルは、車両部品の損傷状態に関するデータを教師データとした教師あり学習によって構築されている。【０００７】
ここで、第１の発明において、物体検出アルゴリズムは、ＹＯＬＯまたはＳＳＤであることが好ましい。また、第１の発明において、面判定部をさらに設けてもよい。面判定部は、面学習モデルを参照して、撮像画像における車両の構成面を判定する。面学習モデルは、車両の構成面に関するデータを教師データとした教師あり学習によって構築されている。この場合、部品判定部は、面判定部によって判定された構成面に基づいて、車両部品をフィルタリングし、このフィルタリングされた車両部品を判定結果として出力することが好ましい。また、面判定部は、撮像画像中に特定の構成面に固有の車両部品が存在する場合、この固有の車両部品に対応する構成面を判定結果に含めてもよい。【０００８】
第１の発明において、見積算出部をさらに設けてもよい。見積算出部は、見積テーブルを参照することによって、状態判定部によって判定された車両部品毎の損傷状態から、車両の修理費用を見積もる。見積テーブルは、車両部品の損傷状態に対応付けられた修理費用を車両部品毎に保持する。【０００９】
第１の発明において、面判定部から部品判定部への処理の移行、部品判定部から状態判定部への処理の移行、および、状態判定部から見積算出部への処理の移行のうちの少なくとも一つは、ユーザによる判定結果の修正を許容しつつ、ユーザの承認が得られたことを条件に行われることが好ましい。【００１０】
第２の発明は、部品判定ステップと、状態判定ステップとを有する処理をコンピュータに実行させ、撮像画像から車両の損傷状態を判定する車両状態判定プログラムを提供する。部品判定ステップでは、部品学習モデルを参照して、撮像画像における車両部品を判定する。部品学習モデルは、深層学習による物体検出アルゴリズムを用いて、車両部品に関するデータを教師データとした教師あり学習によって構築されている。物体検出アルゴリズムは、撮像画像を単一のニューラルネットワーク系に入力することで、回帰問題的なアプローチによって、撮像画像における車両部品の領域抽出を属性の分類付きでまとめて行う。状態判定ステップでは、状態学習モデルを参照して、部品判定部によって判定された車両部品毎の損傷状態を判定する。状態学習モデルは、車両部品の損傷状態に関するデータを教師データとした教師あり学習によって構築されている。【００１１】
第３の発明は、部品判定ステップと、状態判定ステップとを有し、撮像画像から車両の損傷状態を判定する車両状態判定方法を提供する。部品判定ステップでは、部品学習モデルを参照して、撮像画像における車両部品を判定する。部品学習モデルは、深層学習による物体検出アルゴリズムを用いて、車両部品に関するデータを教師データとした教師あり学習によって構築されている。物体検出アルゴリズムは、撮像画像を単一のニューラルネットワーク系に入力することで、回帰問題的なアプローチによって、撮像画像における車両部品の領域抽出を属性の分類付きでまとめて行う。状態判定ステップでは、状態学習モデルを参照して、部品判定部によって判定された車両部品毎の損傷状態を判定する。状態学習モデルは、車両部品の損傷状態に関するデータを教師データとした教師あり学習によって構築されている。【００１２】
ここで、第２および第３の発明において、物体検出アルゴリズムは、ＹＯＬＯまたはＳＳＤであることが好ましい。また、第２および第３の発明において、面判定ステップをさらに設けてもよい。面判定ステップでは、面学習モデルを参照して、撮像画像における車両の構成面を判定する。面学習モデルは、車両の構成面に関するデータを教師データとした教師あり学習によって構築されている。この場合、部品判定ステップは、面判定ステップによって判定された構成面に基づいて、車両部品をフィルタリングし、このフィルタリングされた車両部品を判定結果として出力することが好ましい。また、面判定ステップは、撮像画像中に特定の構成面に固有の車両部品が存在する場合、この固有の車両部品に対応する構成面を判定結果に含めてもよい。【００１３】
第２および第３の発明において、見積算出ステップをさらに設けてもよい。見積算出ステップでは、見積テーブルを参照することによって、状態判定ステップによって判定された車両部品毎の損傷状態から車両の修理費用を見積もる。見積テーブルは、車両部品の損傷状態に対応付けられた修理費用を車両部品毎に保持する。【００１４】
第２および第３の発明において、面判定ステップから部品判定ステップへの処理の移行、部品判定ステップから状態判定ステップへの処理の移行、および、状態判定ステップから見積算出ステップへの処理の移行のうちの少なくとも一つは、ユーザによる判定結果の修正を許容しつつ、ユーザの承認が得られたことを条件に行われることが好ましい。
【発明の効果】
【００１５】
本発明によれば、機械学習に基づいて車両の損傷状態を判定することで、未知の車両を含む様々な車両に対して、柔軟な対応が可能になる。その際、部品判定と損傷判定とに処理を分離し、部品判定を行った後に個々の部品の損傷判定を行うことで、全体としての判定精度の向上を図ることができる。また、撮像画像中に多くの車両部品が物体として検出され得る部品判定については、ＹＯＬＯやＳＳＤに代表されるように、撮像画像を単一のニューラルネットワーク系に入力し、回帰問題的なアプローチによって車両部品の領域抽出を属性の分類付きでまとめて行う物体検出アルゴリズムを採用することで、処理の高速化を図ることが可能になる。
【図面の簡単な説明】
【００１６】
【図１】車両状態判定装置のブロック図
【図２】画像受付の画面表示例を示す図
【図３】面判定結果の画面表示例を示す図
【図４】物体検出アルゴリズムの説明図
【図５】ＹＯＬＯのネットワーク構成図
【図６】車両部品判定結果の画面表示例を示す図
【図７】損傷状態の判定結果の画面表示例を示す図
【図８】見積テーブルの概略的な構成図
【図９】見積結果の画面表示例を示す図
【発明を実施するための形態】
【００１７】
図１は、本実施形態に係る車両状態判定装置１のブロック図である。この車両状態判定装置１は、ユーザによって指定された撮像画像から車両の損傷状態を判定し、車両の修理に要する概算費用をユーザに提示する。判定対象となる車両は、本実施形態では自家用の自動車を想定しているが、これは一例であって、トラック、バス、二輪車等を含めて、設計仕様次第で任意の車両を対象とすることができる。なお、車両状態判定装置１は、コンピュータプログラム（帳票レイアウト解析プログラム）をコンピュータにインストールすることによって等価的に実現することも可能である。
【００１８】
車両状態判定装置１は、画像受付部２と、面判定部３と、部品判定部４と、状態判定部５と、見積算出部６と、入出力インターフェース７と、学習モデル８〜１０と、見積テーブル１１とを主体に構成されている。各処理ユニット２〜６は、入出力インターフェース７を介して表示装置１２に接続されており、入出力インターフェース７は、これらと表示装置１２との間の入出力を司る。基本的に、処理ユニット３〜６における各処理は逐次的に行われるが、隣接した処理ユニット間における処理の移行、具体的には、面判定部３から部品判定部４への移行、部品判定部４から状態判定部５への移行、および、状態判定部５から見積算出部６への移行は、ユーザによる判定結果の修正を許容した上で、ユーザの承認が得られたことを条件に行われる。これは、処理過程でユーザの意図を適宜反映することで、全体としての判定精度の向上を図るためである。ただし、処理の移行の一部については、ユーザの承認を条件とすることなく自動的に行ってもよい。なお、表示装置１２がインターネットなどにネットワーク接続されている場合、入出力インターフェース７は、ネットワーク通信を行うために必要な通信機能を備える。
【００１９】
画像受付部２は、表示装置１２から判定対象となる撮像画像、具体的には、損傷した車両の外観をカメラで撮像した画像を受け付ける。車両を撮像する向きは、前方、後方、側方のいずれであってもよく、斜め前方や斜め後方などであってもよい。
【００２０】
判定対象となる撮像画像は、ユーザが画面を見ながら表示装置１２を操作することによって指定され、車両状態判定装置１に出力／アップロードされる。図２は、表示装置１２における画像受付の画面表示例を示す図である。画像受付用の表示画面３０は、画像受付領域３１を有する。画像受付領域３１には、判定対象となる撮像画像のサムネイルが表示される。ユーザは、ファイル参照ボタンを通じて特定の画像ファイルを指定することで、あるいは、画像受付領域３１内に特定の画像ファイルをドロップすることで、判定対象を指定する。画像受付領域３１に複数のブランク枠が存在することからも理解できるように、判定対象は複数指定することもでき、既に指定された判定対象であっても、取り消しボタンを通じて取り消すことができる。ユーザは、判定対象の指定が完了した場合、判定開始ボタンを押す。このアクションによって、判定対象は画像受付部２に出力される。画像受付部２によって受け付けられた撮像画像は、面判定部３に出力される。
【００２１】
判定対象となる撮像画像は、カラー画像であってもよいが、メモリ使用量の低減を図るべく、グレースケール画像を受け付けるようにしてもよい。撮像画像のサイズは、システムのメモリ使用量などを考慮して適宜設定される。
【００２２】
面判定部３は、判定対象となる撮像画像に写し出されている車両の構成面を判定する。ここで、「構成面」とは、立体的な車両を構成する個別の面をいい、車両の前面、背面、側面などが挙げられる。例えば、前方から車両を撮影した撮像画像の場合、判定結果は前面となり、後方から車両を撮影した撮像画像の場合、判定結果は背面となる。ただし、判定結果として得られる構成面の数は一つであるとは限らず、複数の場合もある。例えば、斜め前方から車両を撮影した撮像画像の場合、判定結果が前面および側面となるといった如くである。このような構成面の判定を行う理由は、後処理における判定精度の向上を図るためである。
【００２３】
構成面の判定では、面学習モデル８が参照される。この面学習モデル８は、人の脳神経を模したニューラルネットワーク系を主体に構成されている。ニューラルネットワーク系は、コンピュータの作業領域上に形成され、入力層と、隠れ層と、出力層とを有する。入力層は、隠れ層に入力信号を伝達する際、活性化関数による重み付けが行われる。そして、隠れ層の層数に応じた重み付けを伴う伝達が繰り返され、出力層に伝達された信号が最終的に出力される。入力層のポート数、出力層のポート数、隠れ層の層数などは任意である。出力層は、出力（前面、背面、側面など）の分類確率も出力する。
【００２４】
面学習モデル８の構築は、車両の構成面に関するデータを教師データとした教師あり学習によって行われる。教師データは、車両を撮影した撮像画像と、車両の構成面の分類とを有し、様々な車種、様々な車体色、様々な撮影方向などを含めて、多様かつ大量のデータが用いられる。教師あり学習では、教師データの入力に対する出力の分類確率が検証され、これに基づいて活性化関数（重み付け）の調整を繰り返すことによって、面学習モデル８が所望の状態に設定される。
【００２５】
なお、面学習モデル８としては、ニューラルネットワークの他、サポートベクターマシン、決定木、ベイジアンネットワーク、線形回帰、多変量解析、ロジスティック回帰分析、判定分析等の機械学習手法を用いてもよい。また、畳み込みニューラルネットワークおよびそれを用いたＲ−ＣＣＮ（Regions with CNN features）などを用いてもよい。この点は、後述する状態学習モデル１０についても同様である。
【００２６】
また、構成面の判定では、面学習モデル８の参照に加えて、特定の構成面に存在する固有の車両部品の有無に着目して、構成面を推定してもよい。例えば、フロントライトやフロントグリルなどは、車両の前面に固有であり、他の車両部品とは区別できる特徴的な形状を有することから、フロントライトなどの存在を以て、撮像画像中には少なくとも前面が含まれているとみなせる。このことから、撮像画像中に特定の構成面に固有の車両部品が存在する場合、この固有の車両部品に対応する構成面が判定結果に含められる。
【００２７】
さらに、ＧＰＵ（Graphics Processing Unit）のメモリ使用量を抑制するために、または、学習効率の向上を図るために、面学習モデル８の軽量化を図ってもよい。その一例として、ＶＧＧ−１６などの汎用モデルにおけるＶＧＧブロック（畳み込み→畳み込み→プーリングで１ブロック）の個数を減らすことや、撮像画像のサイズを小さくすることが挙げられる。ＶＧＧ−１６は、既に学習済のモデルをＣＮＮ（畳み込みニューラルネットワーク）に用いる手法、すなわち、転移学習モデルの一つであり、畳み込み層と全結合層との合計１６層を含み、畳み込みフィルタの大きさは全て３×３、全結合層は４０９６ユニット２層、クラス分類用の１０００ユニット１層からなる。
【００２８】
面判定部３の判定結果は、表示装置１２に出力される。図３は、表示装置１２に表示される面判定結果の画面表示例を示す図である。この判定結果の表示画面４０は、画像表示領域４１と、複数の判定結果表示領域４２と、複数のチェックボックス４３とを有する。画像受付領域４１には、判定対象に係る車両の撮像画像が表示される。それぞれの判定結果表示領域４２には、車両の構成面の候補（前面、側面、背面）が分類確率付きで表示される。チェックボックス４３は、それぞれの判定結果表示領域４２に対応して設けられており、所定の条件を満たすものにはチェックマークが付されている。所定の条件としては、構成面の候補の分類確率が所定のしきい値以上であること（この場合は複数にチェックマークが付されることもある。）、構成面の分類確率が最も高いものなどが挙げられる。ユーザは、判定結果が妥当であると判断した場合、判定継続ボタンを押す。また、ユーザは、これが妥当でないと判断した場合、チェックボックス４３のチックマークの変更を含む判定結果の修正を行った上で、判定継続ボタンを押す。このアクションによって、面判定部３の判定結果（ユーザによって修正された判定結果を含む。）は、撮像画像と共に部品判定部４に出力される。
【００２９】
なお、ユーザによって修正された判定結果は、面学習モデル８に反映させてもよい。これにより、構成面の判定における学習深度を深めることができる。
【００３０】
部品判定部４は、撮像画像に写し出された車両部品の抽出処理、具体的には、車両部品が写し出されている部品領域と、車両部品の属性とを個別に抽出する。この部品判定では、部品学習モデル９が参照される。この学習モデル９は、マルチスケール性や動作速度などを考慮して、ＹＯＬＯやＳＳＤなどの深層学習による物体検出アルゴリズムに基づき構築されている。
【００３１】
図４は、物体検出アルゴリズムの説明図である。同図（ａ）に示すように、顔検出などで用いられる従来の検出手法では、入力に対する処理として、領域探索、特徴量抽出、機械学習という３つの段階に別れている。すなわち、まず領域探索が行われ、つぎに検出する物体に合わせて特徴抽出が行われ、最後に適切な機械学習手法が選択される。この検出手法では、物体検出を３つのアルゴリズムに別けて実現される。特徴量についても、基本的に、検出対象に応じた専用設計になるため特定の対象しか検出できない。そこで、かかる制約を解消すべく、同図（ｂ）および（ｃ）に示すような深層学習による物体検出アルゴリズムが提案された。同図（ｂ）に示すように、Ｒ−ＣＮＮなどでは、深層学習を用いることで特徴量抽出が自動で実現される。これによって、ネットワークの設計だけで、色々な物体に対する柔軟な分類が可能になる。しかしながら、領域探索については別処理として依然として残る。そこで、領域探索についても深層学習に含めたものが、ＹＯＬＯ（You Only Look Once）やＳＳＤ（Single Shot MultiBox Detector）に代表される同図（ｃ）の手法である。本手法では、入力（撮像画像）を単一のニューラルネットワークに入力することで、項目領域の抽出と、その属性の分類とがまとめて行われる。本手法の特徴として、第１に、回帰問題的なアプローチであることが挙げられる。回帰（Regression）とは、データの傾向から数値を直接予測するアプローチをいい、領域を決めてからそれが何かを分類するのではなく、物体の座標と大きさが直接予測される。第２に、単一のネットワークで処理が完結することである。データ入力した後は深層学習だけで最後（出力結果）までいってしまうという意味で、「End-to-End」の処理ということもできる。本実施形態の特徴の一つは、撮像画像中に多くの車両部品が物体として検出され得る部品判定について、ＹＯＬＯやＳＳＤに代表される同図（ｃ）の手法を採用していることである。
【００３２】
例えば、ＹＯＬＯの処理は、概ね以下のようになる。まず、入力画像がＳ×Ｓの領域に分割される。つぎに、それぞれの領域内における物体の分類確率が導出される。そして、Ｂ個（ハイパーパラメータ）のバウンディングボックスのパラメータ（ｘ，ｙ，height，width）と信頼度（confidence）とが算出される。バウンディングボックスとは、物体領域の外接四角形であり、信頼度とは、予測と正解のバウンディングボックスの一致度である。物体検出には、物体の分類確率と、各バウンディングボックスの信頼度との積が用いられる。図５は、ＹＯＬＯのネットワーク構成図である。ＹＯＬＯにおいて、帳票画像はＣＮＮ（Convolutional Neural Network）層に入力されると共に、複数段の全結合層を経て結果が出力される。出力は、Ｓ*Ｓ個に分割した画像領域と、信頼度（分類確度）を含むバウンディングボックス（ＢＢ）の５パラメータと、クラス数（項目の属性）とを含む。
【００３３】
部品学習モデル９の構築は、車両の構成面毎の車両部品に関するデータを教師データとした教師あり学習によって行われる。この教師データは、車両部品の部分画像と、この車両部品の属性とを有し、様々な車種、様々な車両部品、様々な撮影方向などを含めて、多様かつ大量のデータが用いられる。大量のデータを確保するために、あるソース画像に画像処理を施したものも用いられる。ただし、右ヘッドランプ、左ヘッドランプ等を区別するために、画像処理の一つである画像の左右反転は行わない。このような部品学習モデル９を用いることで、車両の損傷の有無やその程度に関わりなく、車両の構成面に含まれる車両部品を判定・抽出することができる。
【００３４】
部品判定部４は、面判定部３によって判定された車両の構成面に基づいて、部品学習モデル９に基づき特定された車両部品をフィルタリングし、フィルタリングされた車両部品を判定結果として出力する。例えば、構成面の判定結果が前面および側面の場合、部品判定の結果としてテールランプが抽出されたとしても、これが誤判定であることは明らかである。テールランプは背面に存在し、前面および側面には存在し得ないからである。このような相関性は、側面固有のサイドドア、前面固有のヘッドライト、フロントグリル、フロントウインドウなどについても認められる。よって、部品判定の結果として得られた車両部品のうち、構成面の判定結果として得られた構成面に関するもののみを判定結果に含め、それ以外については除外することで、部品判定精度の向上を図ることができる。
【００３５】
部品判定部４の判定結果は、表示装置１２に出力される。図６は、部品判定結果の画面表示例を示す図である。この判定結果の表示画面５０は、画像表示領域５１と、複数の判定結果表示領域５２と、複数のチェックボックス５３とを有する。画像表示領域５１には、判定対象に係る車両の撮像画像が表示されると共に、部品判定部４によって抽出された個々の車両部品を示す矩形枠が表示される。判定結果表示領域５２には、それぞれの車両部品の候補（右ヘッドライト、左ヘッドライト、フロントウインドウなど）が分類確率付きで表示される。チェックボックス５３は、それぞれの判定結果表示領域５２に対応して設けられており、所定の条件を満たすものにはチェックマークが付されている。所定の条件としては、典型的には、構成面の候補の分類確率が所定のしきい値以上であることが挙げられる。ユーザは、判定結果が妥当であると判断した場合、判定継続ボタンを押す。また、ユーザは、これが妥当でないと判断した場合、チェックボックス５３のチックマークの変更を含む判定結果の修正を行った上で、判定継続ボタンを押す。このアクションによって、部品判定部４の判定結果（ユーザによって修正された判定結果を含む。）は、撮像画像と共に状態判定部５に出力される。
【００３６】
なお、ユーザによって修正された判定結果は、部品学習モデル９に反映させてもよい。これにより、部品判定の学習深度を深めることができる。
【００３７】
状態判定部５は、部品判定部４によって抽出された車両部品毎の損傷状態を判定する。この損傷状態判定は、車両部品の損傷状態に関する教師データを用いた教師あり学習によって構築された状態学習モデル１０を参照することによって行われる。状態学習モデル１０の構成は、基本的に、面学習モデル８のそれに準ずる。
【００３８】
また、状態学習モデル１０の構築は、車両部品の損傷状態に関するデータを教師データとした教師あり学習によって行われる。この教師データは、損傷した車両部品の部分画像と、その損傷状態を分類した属性（例えば、「取替」、「脱着」、損傷程度の「大」、「中」、「小」）とを有し、様々な車種、様々な車両部品、様々な撮影方向などを含めて、多様かつ大量のデータが用いられる。ここで、「取替」は、補修では済まず車両部品自体を交換しなければならない程度の損傷を意味する。「脱着」は、その車両部品自体は損傷を受けていないものの、損傷を受けた他の車両部品の交換・修理のために、車体から一端外されなければならないことを意味する。なお、大量のデータを確保するために、あるソース画像に画像処理を施したものを用いてもよい。このような状態学習モデル１０を用いて損傷状態を車両部品毎に判定することで、損傷状態の判定精度の向上を図ることができる。
【００３９】
本実施形態では、状態判定部５として、上述したＶＧＧ−１６などの汎用モデルをベースとして全結合層のみを取り替えたネットワークを用いている。また、車両部品毎にデータ量のばらつきが大きいことから、少ないデータ量でも学習を行うべく、予めImageNetで学習した重みによるファインチューニングを実施してもよい。ファインチューニングとは、既存のモデルの一部を再利用して、新しいモデルを構築する手法である。さらに、データごとに引き気味の画像と、アップの画像と異なる種類の画像とが混在している場合に対応すべく、アップ画像の選別、対象部位のトリミングによるクレンジングを実施してもよい（トリミングされた画像も一部使用）。
【００４０】
状態判定部５の判定結果は、表示装置１２に出力される。図７は、表示装置１２に表示される損傷状態の判定結果の画面表示例を示す図である。この判定結果の表示画面６０は、画像表示領域６１と、複数の判定結果表示領域６２と、複数のチェックボックス６３とを有する。画像表示領域６１には、判定対象に係る車両の撮像画像が表示されると共に、状態判定部５によって判定された損傷部位を示す丸枠が表示される。判定結果表示領域６２には、損傷状態の候補（取替、脱着、大、中、小）が分類確率付きで表示される。チェックボックス６３は、それぞれの判定結果表示領域６２に対応して設けられており、所定の条件を満たすものにはチェックマークが付されている。所定の条件としては、典型的には、損傷程度の候補の分類確率が所定のしきい値以上であることが挙げられる。ユーザは、判定結果が妥当であると判断した場合、見積開始継続ボタンを押す。また、ユーザは、これが妥当でないと判断した場合、チェックボックス６３のチックマークの変更を含む判定結果の修正を行った上で、見積開始ボタンを押す。このアクションによって、状態判定部５の判定結果（ユーザによって修正された判定結果を含む。）は、撮像画像と共に見積算出部６に出力される。
【００４１】
なお、ユーザによって修正された判定結果は、状態学習モデル１０に反映させてもよい。これにより、損傷状態判定の学習深度を深めることができる。
【００４２】
見積算出部６は、見積テーブル１１を参照することによって、判定対象に係る車両の修理に要する費用を見積もる。図８は、見積テーブル１１の概略的な構成図である。この見積テーブル１１は、車両部品名と、損傷の程度と、工賃を含む費用とが対応付けて保持されている。部品判定部４によって特定された車両部品と、状態判定部５によって判定されたその車両部品の損傷状態とをキーに見積テーブル１１を検索することによって、費用が車両部品別に特定される。車両の修理に要する費用は、車両部品毎の費用を合算した総額となる。例えば、部品判定部４によって「フロントバンパー」および「ヘッドライト」が抽出され、状態判定部５によって前車の損傷程度が「中」、後者の損傷程度が「小」と判定された場合、前者の工賃が「\200,000」、後者の工賃が「\30,000」となり、総額は「\230,000」となる。
【００４３】
なお、撮像画像の解析によって車種が特定されている場合、または、ユーザによって車種が指定されている場合といった如く、車種が既知であることを前提に費用を算出する設計仕様であれば、同図に示したように、見積テーブル１１の項目として車種（例えば「ＡＢＣ」）を含めてもよい。このように、車種別に費用を細かく設定することで、車種に応じた見積金額を的確に算出できる。
【００４４】
見積算出部６の見積結果は、表示装置１２に出力される。図９は、表示装置１２に表示される見積結果の画面表示例を示す図である。この見積結果の表示画面７０は、画像表示領域７１と、見積結果表示領域７２とを有する。画像表示領域７１には、判定対象に係る車両の撮像画像が表示される。見積結果表示領域７２には、損傷した車両部品（パーツ）と、損傷の程度と、費用とが表示される。損傷した車両部品が複数存在する場合、個別の費用と共に総額も表示される。ユーザが終了ボタンを押すことによって、車両状態判定装置１における一連の処理が終了する。
【００４５】
このように、本実施形態によれば、機械学習に基づいて車両の損傷状態を判定することで、未知の車両を含む様々な車両に対して、柔軟な対応が可能になる。その際、部品判定部４と状態判定部５とで処理を分離し、部品判定を行った後に損傷状態を判定を車両部品毎に行うことで、これらを単一の機械学習で処理する場合と比較して、全体としての判定精度の向上を図ることができる。
【００４６】
また、本実施形態によれば、撮像画像中に多くの車両部品が物体として検出され得る部品判定については、ＹＯＬＯやＳＳＤに代表されるように、撮像画像を単一のニューラルネットワーク系に入力し、回帰問題的なアプローチによって車両部品の領域抽出を属性の分類付きでまとめて行う物体検出アルゴリズムを採用する。これにより、部品判定部４における処理の高速化を図ることが可能になる。
【００４７】
また、本実施形態によれば、部品判定部４の処理に先立ち、面判定部２によって撮像画像における車両の構成面を特定し、その上で、撮像画像に対する部品判定を実行する。これにより、部品判定部４の判定結果として得られた車両部品のうち、面判定部２によって特定された構成面上に存在し得ないものについては誤判定として除外できるため、部品判定の精度向上を図ることができる。
【００４８】
さらに、本実施形態によれば、状態判定部５によって判定された車両部品毎の損傷状態から、車両の修理費用を見積もる見積算出部６を設けることで、車両の修理に要する費用をユーザに提示する。これにより、ユーザの利便性を更に高めることができる。
【符号の説明】
【００４９】
１  車両状態判定装置
２  画像受付部
３  面判定部
４  部品判定部
５  状態判定部
６  見積算出部
７  入出力インターフェース
８  面学習モデル
９  部品学習モデル
１０  状態学習モデル
１１  見積テーブル
１２  表示装置
【図１】
2020071559.tif 000003
【図２】
2020071559.tif 000004
【図３】
2020071559.tif 000005
【図４】
2020071559.tif 000006
【図５】
2020071559.tif 000007
【図６】
2020071559.tif 000008
【図７】
2020071559.tif 000009
【図８】
2020071559.tif 000010
【図９】
2020071559.tif 000011
【国際調査報告】
2020071559.tif 000012
2020071559.tif 000013
2020071559.tif 000014
2020071559.tif 000015