(57)【要約】【課題】ガラスの破損箇所と破損状況とを判定すること。【解決手段】破損検出装置は、自車両のガラスと略同形状のガラスの破損に関する破損データを用いて学習モデルを学習する学習部と、自車両のガラスの状態を撮影する撮像部が撮影した画像データを取得する画像データ取得部と、学習モデルを用いて、自車両のガラスの破損状況を判定する判定部と、を備える。【選択図】図２
2020149305.tif 000002
【特許請求の範囲】
【請求項１】
自車両のガラスと略同形状のガラスの破損に関する破損データを用いて学習モデルを学習する学習部と、
前記自車両のガラスの状態を撮影する撮像部が撮影した画像データを取得する画像データ取得部と、
前記学習モデルを用いて、前記自車両のガラスの破損状況を判定する判定部と、
を備える、破損検出装置。
【請求項２】
前記学習部は、前記略同形状のガラスの無傷から破損に至るまでの履歴データを用いて、前記略同形状のガラスの無傷から破損に至るまでの過程を学習する、
請求項１に記載の破損検出装置。
【請求項３】
前記学習部は、前記略同形状のガラスの無傷から破損に至るまでの過程と、前記略同形状のガラスの破損原因情報とを用いて、前記略同形状のガラスの破損過程と、前記略同形状のガラスの破損原因との関係を学習する、
請求項２に記載の破損検出装置。
【請求項４】
前記履歴データと、前記破損原因情報とを通信部を介して外部サーバから取得する通信制御部を備える、
請求項３に記載の破損検出装置。
【請求項５】
前記判定部の判定結果に基づいて、警告を出力する警告部を備える、
請求項１から４のいずれか１項に記載の破損検出装置。
【請求項６】
自車両のガラスと略同形状のガラスの破損に関する破損データを用いて学習モデルを学習する学習ステップと、
前記自車両のガラスの状態を撮影する撮像部が撮影した画像データを取得する画像データ取得ステップと、
前記学習モデルを用いて、前記自車両のガラスの破損状況を判定する判定ステップと、
を含む、破損検出方法。
【請求項７】
自車両のガラスと略同形状のガラスの破損に関する破損データを用いて学習モデルを学習する学習ステップと、
前記自車両のガラスの状態を撮影する撮像部が撮影した画像データを取得する画像データ取得ステップと、
前記学習モデルを用いて、前記自車両のガラスの破損状況を判定する判定ステップと、
を破損検出装置として動作するコンピュータに実行させるための、プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、破損検出装置、破損検出方法、およびプログラムに関する。
【背景技術】
【０００２】
ガラスに導電性のパターンを施すことで、ガラスの破損を検知する技術が知られている。
【０００３】
例えば、特許文献１には、ウインドガラスに形成された導電性パターンと、車両ボディとの間の浮遊容量の変化に基づいて、ウインドガラスの破損を検知する技術が開示されている。例えば、特許文献２には、ウインドガラスに形成された導電パターンに、電極を介して接続された検出回路からの出力信号に基づいて、ウインドガラスの破損を検知する技術が開示されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００３−８５６６０号公報
【特許文献２】特開２００８−２４９５２２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
特許文献１および特許文献２に開示の技術では、ウインドガラスに導電性パターンを形成する必要があるので、工程数が増えてしまう。また、導電性パターンでウインドガラスの破損を検出する方法では、破損の程度や、破損個所を特定することが困難な場合もある。そして、ウインドガラスに導電性パターンを形成することで、視野が制限されるおそれもある。
【０００６】
本発明は、ガラスの破損箇所と破損状況とを判定することのできる破損検出装置、破損検出方法、およびプログラムを提供する。
【課題を解決するための手段】
【０００７】
本発明の破損検出装置は、自車両のガラスと略同形状のガラスの破損に関する破損データを用いて学習モデルを学習する学習部と、前記自車両のガラスの状態を撮影する撮像部が撮影した画像データを取得する画像データ取得部と、前記学習モデルを用いて、前記自車両のガラスの破損状況を判定する判定部と、を備える。
【０００８】
本発明の破損検出方法は、自車両のガラスと略同形状のガラスの破損に関する破損データを用いて学習モデルを学習する学習ステップと、前記自車両のガラスの状態を撮影する撮像部が撮影した画像データを取得する画像データ取得ステップと、前記学習モデルを用いて、前記自車両のガラスの破損状況を判定する判定ステップと、を含む。
【０００９】
本発明のプログラムは、自車両のガラスと略同形状のガラスの破損に関する破損データを用いて学習モデルを学習する学習ステップと、前記自車両のガラスの状態を撮影する撮像部が撮影した画像データを取得する画像データ取得ステップと、前記学習モデルを用いて、前記自車両のガラスの破損状況を判定する判定ステップと、を破損検出装置として動作するコンピュータに実行させる。
【発明の効果】
【００１０】
本発明によれば、ガラスの破損箇所と破損状況とを判定することができる。
【図面の簡単な説明】
【００１１】
【図１】図１は、本実施形態に係る車両の模式図である。
【図２】図２は、本実施形態に係る破損検出装置の構成の一例を示すブロック図である。
【図３】図３は、表示部が表示する表示画像の一例を示す模式図である。
【図４Ａ】図４Ａは、フロントガラスの破損画像の一例を示す模式図である。
【図４Ｂ】図４Ｂは、フロントガラスの破損画像の一例を示す模式図である。
【図４Ｃ】図４Ｃは、フロントガラスの破損画像の一例を示す模式図である。
【図５】図５は、傷が無いフロントガラスの状態を学習する方法の一例を説明するための模式図である。
【図６】図６は、運転者に対して警告する方法の一例を説明するための模式図である。
【図７】図７は、運転者に対して警告する方法の一例を説明するための模式図である。
【図８】図８は、本実施形態に係る破損検出装置の処理の流れの一例を示すフローチャートである。
【図９】図９は、本実施形態に係る学習処理の流れの一例を示すフローチャートである。
【図１０】図１０は、本実施形態に係る学習モデルを更新する処理の流れの一例を示すフローチャートである。
【図１１】図１１は、本実施形態に係る学習モデルを更新する処理の流れの一例を示すフローチャートである。
【発明を実施するための形態】
【００１２】
以下、添付図面を参照して、本発明に係る実施形態を詳細に説明する。なお、この実施形態により本発明が限定されるものではなく、また、実施形態が複数ある場合には、各実施形態を組み合わせて構成するものも含む。
【００１３】
[第一実施形態]
図１は、本実施形態に係る車両の模式図である。図１に示すように、本実施形態に係る破損検出装置１は、車両Ｍに搭載される。破損検出装置１は、撮像部１０は車両ＭのフロントガラスＦＧを常時撮影している。破損検出装置１は、撮像部１０が撮影した画像データに基づいて、フロントガラスＦＧに生じた傷やひびを検出する。以下では、フロントガラスＦＧの傷やひびを含む破損を単に傷ということもある。破損検出装置１は、フロントガラスＦＧに生じた傷の破損状況を判定し、傷が走行に支障がでるほど大きくなる前に、運転者に警告する。以下において、本実施形態では、自車両のガラスの一例として、自車両のフロントガラスＦＧについて適用する場合について説明する。
【００１４】
図２を用いて、本発明の実施形態に係る破損検出装置１の構成について説明する。図２は、本発明の実施形態に係る破損検出装置の構成の一例を示すブロック図である。
【００１５】
破損検出装置１は、撮像部１０と、表示部２０と、音声出力部３０と、操作部４０と、記憶部５０と、通信部６０と、制御部１００とを備える。
【００１６】
撮像部１０は、車内に配置され、少なくともフロントガラスＦＧを撮影している。撮像部１０は、例えば車室のループランプの近傍、または、ルームミラーの近傍に配置され、フロントガラスＦＧを常時撮影している。撮像部１０は、撮影したフロントガラスＦＧの画像データを、制御部１００に入力する。なお画像データは静止画または動画どちらでも良い。
【００１７】
表示部２０は、種々の画像を表示する。表示部２０は、例えば撮像部１０が撮影し制御部１００で処理したフロントガラスＦＧの画像を表示する。表示部２０は、例えば運転者に対する警告を表示する。表示部２０は、特に制限はないが、液晶ディスプレイ（ＬＣＤ：Liquid  Crystal  Display）または有機ＥＬ（Organic  Electro-Luminescence）ディスプレイなどを含むディスプレイまたはナビゲーション装置などの表示装置であってもよい。
【００１８】
図３を用いて、表示部２０が表示する画像について説明する。図３は、表示部２０が表示する表示画像の一例を示す模式図である。
【００１９】
図３に示すように、表示部２０は、表示画像２００を表示する。表示画像２００は、フロントガラスＦＧの画像である。表示画像２００には、ステアリングホイールＳと、ルームミラーＲＭとが含まれている。後述するが、表示部２０は、フロントガラスＦＧの画像とともに、運転者に対する警告を表示する。
【００２０】
再び図２を参照する。音声出力部３０は、種々の音声を出力する。音声出力部３０は、例えば運転者に対する警告を音声で出力する。音声出力部３０は、警告用専用スピーカまたはオーディオ用のスピーカであってもよい。
【００２１】
操作部４０は、破損検出装置１に対する、種々の操作を受け付ける。操作部４０は、受け付けた操作に応じた電気信号を出力する。
【００２２】
記憶部５０は、種々のデータを記憶する。記憶部５０、例えば、制御部１００が各部を制御するためのプログラムを記憶してもよい。記憶部５０は、例えばＨＤＤ（Hard  Disk  Drive）、ＳＳＤ（Solid  State  Drive）などで構成されている。記憶部５０は、その他の半導体メモリなどで構成されてもよい。記憶部５０は、画像データ記憶部５１と、学習モデル記憶部５２とを有する。
【００２３】
画像データ記憶部５１は、種々の画像データを記憶する。画像データ記憶部５１は、例えば制御部１００で処理したフロントガラスＦＧの画像データを記憶している。
【００２４】
学習モデル記憶部５２は、車両用のフロントガラスに関する種々の学習モデルを記憶している。学習モデル記憶部５２は、例えば制御部１００で処理した傷が生じたフロントガラスＦＧの画像データ（破損画像）が入力された場合に、その傷の成長過程に関する情報を出力する学習モデルを記憶している。言い換えると、学習モデル記憶部５２は、撮像部１０によって撮影された傷のあるフロントガラスＦＧの画像データが入力された場合に、フロントガラスＦＧの画像の変化による形状劣化に関する情報を出力する学習モデルを記憶している。学習モデル記憶部５２が記憶する学習モデルは、例えばＣＮＮ（Convolutional  Neural  Network）などのニューラルネットワークに基づくモデルである。
【００２５】
通信部６０は、破損検出装置１と、サーバ装置などの外部装置や、図示しないナビゲーション装置との間の情報通信を行なう。通信部６０は、例えば通信制御部１８０の制御に従って、フロントガラスＦＧと略同形状のフロントガラスの破損画像を外部装置から取得する。通信部６０は、例えば通信制御部１８０の制御に従って、フロントガラスＦＧと略同形状のフロントガラスの無傷の状態から、傷が生じ、傷が走行に支障がでるほど大きくなるまでの履歴に関する履歴データを外部装置から取得する。通信部６０は、例えば通信制御部１８０の制御に従って、フロントガラスＦＧと略同形状のフロントガラスの破損の原因に関する破損原因情報を外部装置から取得する。
【００２６】
破損原因としては、例えば飛び石による衝撃、他車両、建物、動物などとの衝突、悪戯、不整地を走行した際の衝撃や事故をあげることができる。破損原因情報は、これらの破損原因を含む情報である。
【００２７】
制御部１００は、破損検出装置１の各部を制御、並びに画像の処理をする。制御部１００は、例えば操作部４０の操作に基づいた制御並びに画像の処理を実行する。制御部１００は、例えばＣＰＵ（Central  Processing  Unit）、ＲＡＭ（Random  Access  Memory）、ＲＯＭ（Read  Only  Memory）などで構成されている。この場合、ＲＯＭには、ＣＰＵが各部を制御するためのプログラムが格納されている。ＣＰＵは、ＲＯＭに格納されたプログラムを読み出し、ＲＡＭにデータ領域を確保して実行することで制御部１００の各部を制御する。制御部１００は、画像データ取得部１１０と、画像データ処理部１２０と、出力制御部１３０と、記憶制御部１４０と、学習部１５０と、判定部１６０と、警告部１７０と、通信制御部１８０とを備える。
【００２８】
画像データ取得部１１０は、種々の画像データを取得する。画像データ取得部１１０は、例えば撮像部１０が撮影したフロントガラスＦＧの画像データを取得する。画像データ取得部１１０は、例えば撮像部１０が撮影した傷が生じたフロントガラスＦＧの画像データを取得する。
【００２９】
画像データ処理部１２０は、画像データ取得部１１０が取得した画像データに対して、種々の処理を実行する。画像データ処理部１２０は、例えば画像データ取得部１１０が取得した画像データを所定のファイル形式に変換する。
【００３０】
出力制御部１３０は、種々の情報を出力する。出力制御部１３０は、例えば画像データ処理部１２０で処理したフロントガラスＦＧの画像データを表示部２０に出力する。出力制御部１３０は、例えば警告部１７０からの制御に従って、警告表示を表示させるための制御信号を表示部２０に出力する。出力制御部１３０は、例えば警告部１７０からの制御に従って、警告を音声出力するための制御信号を音声出力部３０に出力する。
【００３１】
記憶制御部１４０は、種々のデータを記憶部５０に記憶する。記憶制御部１４０は、例えば画像データ処理部１２０が処理したフロントガラスＦＧの画像データを記憶部５０の画像データ記憶部５１に記憶する。
【００３２】
学習部１５０は、フロントガラスＦＧに関する情報を学習データとして用いて、所定の学習処理を実行し学習モデルを生成したり、更新したりする。学習部１５０は、例えばフロントガラスＦＧの過去に破損した画像や現在の破損している画像を学習データとして用いて、フロントガラスＦＧに発生した傷の特徴量を抽出し、傷の成長過程に関する学習モデルを生成したり、更新したりする。
【００３３】
図４Ａと、図４Ｂと、図４Ｃとを用いて、学習部１５０が学習に使用する学習データについて説明する。図４Ａから図４Ｃは、フロントガラスＦＧの破損画像の一例を示す模式図である。
【００３４】
図４Ａから図４Ｃは、フロントガラスＦＧの画像データである。図４Ａに図示の画像データ３００Ａには、傷３１０Ａが含まれている。図４Ｂに図示の画像データ３００Ｂには、傷３１０Ｂが含まれている。図４Ｃに図示の画像データ３００Ｃには、傷３１０Ｃが含まれている。
【００３５】
学習部１５０は、画像データ３００Ａが入力されると傷３１０Ａを抽出する。学習部１５０は、画像データ３００Ｂが入力されると傷３１０Ｂを抽出する。学習部１５０は、画像データ３００Ｃが入力されると傷３１０Ｃを抽出する。学習部１５０は、画像データのうち、傷の部分を含んだ周辺を抽出して、フロントガラスＦＧの画像データと傷との関係を学習し学習モデルを生成したり、更新したりする。学習部１５０は、予め図４Ａから図４Ｃに図示されているような傷の画像を用いて、学習モデルを生成する。
【００３６】
学習部１５０は、例えばクラウドサーバなどに記憶されたフロントガラスＦＧと略同形状のフロントガラスの傷の画像データを用いて、学習モデルを学習（更新）してもよい。クラウドサーバには、例えば不特定多数の車両に搭載された撮像部が撮影したフロントガラスの傷の画像データが記憶されている。この場合、学習部１５０は、不特定多数のフロントガラスの傷の画像データを用いて、学習モデルを更新してもよい。
【００３７】
学習部１５０は、クラウドサーバなどに記憶された画像データに基づいて学習する場合、例えばフロントガラスＦＧと略同形状のフロントガラスの、無傷から破損に至るまでの履歴データを用いて学習する。この場合、学習部１５０は、フロントガラスＦＧと略同形状のフロントガラスの無傷から破損に至るまでの過程を学習し、学習モデルを更新する。
【００３８】
学習部１５０は、フロントガラスＦＧと略同形状のフロントガラスの無傷から破損に至るまでの過程を学習した場合、例えばそのフロントガラスの破損原因情報を用いて学習する。この場合、学習部１５０は、フロントガラスＦＧと略同形状のフロントガラスの破損過程と、そのフロントガラスの破損原因との関係を学習し、学習モデルを更新する。
【００３９】
学習部１５０は、例えばクラウドサーバーを通じてフロントガラスＦＧやフロントガラスＦＧと略同形状のフロントガラスの修理を行なう事業者が提供する破損したフロントガラスの画像データと、修理後のフロントガラスの画像データとを用いて、学習を行なってもよい。
【００４０】
学習部１５０は、フロントガラスの傷に加えて、フロントガラスに傷がない状態を学習してもよい。
【００４１】
図５を用いて、傷が無い状態のフロントガラスを学習する方法の一例について説明する。図５は、傷が無い状態のフロントガラスを学習する方法の一例を示す模式図である。
【００４２】
図５に示すように、表示部２０には、フロントガラスＦＧの表示画像２００が表示されている。出力制御部１３０は、例えば破損検出装置１の起動時や、運転前などに、表示画像２００の上部領域２１０に「フロントガラスに破損箇所がないか確認してください。確認後ＯＫを押してください。」と表示する。すなわち、出力制御部１３０は、運転者にフロントガラスＦＧの確認を促すメッセージを表示する。運転者は、フロントガラスＦＧを確認し、破損が無ければＯＫボタン２２０を押下する。学習部１５０は、この時のフロントガラスを破損のないフロントガラスとして学習するようにしても良い。
【００４３】
判定部１６０は、画像データ記憶部５１で記憶したフロントガラスＦＧの画像データと、学習モデル記憶部５２が記憶する学習モデルとに基づいて、フロントガラスＦＧに傷があるか否かを判定する。判定部１６０は、例えば画像データ記憶部５１が記憶したフロントガラスＦＧの画像データと、学習モデル記憶部５２が記憶する学習モデルとに基づいて、フロントガラスＦＧに傷があるか否かを常時判定する。判定部１６０は、画像データ記憶部５１で記憶したフロントガラスＦＧの画像データを学習モデルと比較することで、フロントガラスＦＧに傷があるか否かを判定する。判定部１６０は、画像データを学習モデルと比較した結果、フロントガラスＦＧの傷を認識できない場合には、フロントガラスＦＧは正常であると判定する。判定部１６０が、例えばフロントガラスＦＧに傷が無いにも関わらず、傷があると判定した場合には、学習部１５０は、その画像データには傷が無いことを強制的に学習するようにしてもよい。
【００４４】
判定部１６０は、画像データ記憶部５１が記憶したフロントガラスＦＧの画像データと、学習モデル記憶部５２が記憶する学習モデルとに基づいて、フロントガラスＦＧの破損状況を判定する。判定部１６０は、例えばフロントガラスＦＧから傷を検出した場合に、学習モデル記憶部５２に記憶している学習データに基づいて、その傷が走行に支障がでるほど大きく破損するまでの時間を特定してもよい。判定部１６０は、例えばフロントガラスＦＧの傷を検出した場合に、その傷の形状変化を判定する。判定部１６０は、例えばフロントガラスＦＧの画像データと、学習モデル記憶部５２が記憶する学習モデルとに基づいて、フロントガラスＦＧの傷が修理可能か否かを判定する。
【００４５】
判定部１６０は、フロントガラスＦＧから所定以上の大きさの傷を検出した場合には、警告部１７０に対して、運転者に警告させるための制御信号を出力する。所定以上の大きさの傷とは、例えば運転者の視野を妨げるおそれのある大きさの傷のことを意味する。具体的には、所定以上の大きさの傷とは、例えば２から３ｃｍ以上である。
【００４６】
判定部１６０は、例えばフロントガラスＦＧから目視では気付き難い傷を検出し、その傷が走行に支障が出るほど大きくなるか否かを判定する。判定部１６０は、フロントガラスＦＧの傷が走行に支障がでるほど大きくなると判定した場合には、警告部１７０に対して、運転者に警告させるための制御信号を出力する。
【００４７】
判定部１６０は、フロントガラスＦＧに傷を検出した場合に、その傷の画像データを画像データ記憶部５１に記憶する。判定部１６０は、フロントガラスＦＧの傷を常時判定している場合、フロントガラスＦＧに傷が生じたと判定された瞬間の画像データを画像データ記憶部５１に記憶する。
【００４８】
すなわち、判定部１６０は、フロントガラスＦＧの傷が生じた箇所または傷の状況から車両の走行が可能か否かを判定する。そして、判定部１６０は、例えばフロントガラスＦＧの傷が生じた箇所または傷の状況から一定の期間の経過後に車両の走行が不可となるか否かを判定する。
【００４９】
警告部１７０は、判定部１６０からの制御信号に従って、例えば運転者に対し警告を行なう。警告部１７０は、判定部１６０からの制御信号に従って、例えば運転者に対し走行の継続にリスクがあること、そしてフロントガラスＦＧを修理するよう促す。
【００５０】
図６を用いて、運転者に対して警告する方法の一例について説明する。図６は、運転者に対して警告する方法の一例を説明するための模式図である。
【００５１】
図６に示すように、警告部１７０は、表示部２０にメッセージを表示することで、運転者に対して警告する。警告部１７０は、例えば表示画像２００の上部領域２１０に「！警告！フロントガラスに異常が見つかりました」といったメッセージを表示する。この場合、警告部１７０は、音声出力部３０からアラームなどの警告音を出力することで警告する。警告部１７０は、表示画像２００において、フロントガラスＦＧの傷が発生した箇所に検出マーク２３０を表示する。検出マーク２３０は、例えばフロントガラスＦＧに発生した傷を囲うように表示する○印である。警告部１７０は、上部領域２１０のメッセージの表示と、警告音の出力と、検出マーク２３０との表示の少なくとも１つを実行してもよいし、組み合わせて実行してもよい。
【００５２】
警告部１７０は、判定部１６０によってフロントガラスＦＧの修理が可能と判定された場合には、例えば表示画像２００の上部領域２１０に「フロントガラスに異常が見つかりましたので、修理をしてください。」といった修理を促すメッセージを表示してもよい。警告部１７０は、例えばフロントガラスＦＧの破損が原因で事故につながるおそれのある場合には、「運転を中止してください。」といった運転の中止を促すメッセージを表示してもよい。
【００５３】
警告部１７０は、運転者に対し、フロントガラスＦＧの傷を確認させるための警告を表示してもよい。この場合、判定部１６０は、警告部１７０による警告後、運転者がフロントガラスＦＧの傷を確認したか否かを判定する。
【００５４】
図７を用いて、運転者に対してフロントガラスの傷を確認させる方法の一例について説明する。図７は、運転者に対してフロントガラスの傷を確認させる方法の一例を説明するための模式図である。
【００５５】
図７に示すように、警告部１７０は、例えば表示画像２００の上部領域２１０に「フロントガラスの該当部を指差しで確認してください」といったメッセージを表示する。ここで、該当部は、例えば検出マーク２３０で示されたフロントガラスＦＧの傷である。この場合、撮像部１０は、フロントガラスＦＧにおいて、運転者がフロントガラスＦＧの傷を指差しで確認している様子を撮影する。判定部１６０は、画像データ記憶部５１が記憶したフロントガラスＦＧの画像データに基づいて、運転者がフロントガラスＦＧの傷を指差しているか否かを判定する。この場合、判定部１６０は、例えば画像データにフロントガラスＦＧの傷を指差している指が含まれているか否かを検出することによって、運転者がフロントガラスＦＧの傷を指差しているか否かを判定する。そして、判定部１６０は、フロントガラスＦＧの傷を指差している指を検出した場合に、運転者がフロントガラスＦＧの傷を認識したと判定する。警告部１７０は、例えば判定部１６０が、運転者がフロントガラスＦＧの傷を認識したと判定した場合には、警告を解除してもよい。なお、判定部１６０は、差し棒、ペンによる特定の傷を検出することで、運転者がフロントガラスＦＧの傷を認識していることを判定してもよい。
【００５６】
再び図２を参照する。通信制御部１８０は、通信部６０を制御して、外部の情報通信装置と情報通信を行なう。
【００５７】
通信制御部１８０は、通信部６０を制御して、例えば画像データ記憶部５１が記憶しているフロントガラスＦＧのガラスの破損に関する画像データを外部のクラウドサーバなどに送信する。通信制御部１８０は、通信部６０を制御して、例えばフロントガラスＦＧの破損原因、フロントガラスＦＧが破損した際の道路状況、画像データから傷がついてから走行に支障がでるほど傷が大きくなるまでの時間に関する情報を含む時間情報などをクラウドサーバに送信してもよい。例えば、通信制御部１８０がクラウドサーバに送信する情報には、画像データ、そして破損原因と、その破損原因によってフロントガラスＦＧが破損した際の道路状況に関する情報が含まれる、また、通信制御部１８０がクラウドサーバに送信する情報には、破損の原因ごとに、傷がついてから走行に支障がでるほど傷が大きくなるまでの時間に関する情報を含む時間情報を送信してもよい。通信制御部１８０は、通信部６０を制御して、その他のフロントガラスＦＧの破損に関する情報をクラウドサーバなどに送信してもよい。
【００５８】
通信制御部１８０は、通信部６０を制御して、フロントガラスＦＧが破損した際の、道路状況に関する情報をナビゲーション装置の履歴から取得する。例えば、通信制御部１８０は、判定部１６０によってフロントガラスＦＧの破損原因が特定された際に、走行していた道路状況に関する情報をナビゲーション装置の履歴から取得する。通信制御部１８０は、通信部６０を制御して、例えば外部のクラウドサーバなどに記憶されたフロントガラスの破損に関する画像データを取得する。通信制御部１８０は、通信部６０を制御して、例えば外部のクラウドサーバなどからフロントガラスＦＧと略同形状のフロントガラスに破損に関する画像データを取得する。通信制御部１８０は、通信部６０を制御して、外部のクラウドサーバなどからフロントガラスＦＧと略同形状のフロントガラスの破損に関する画像データに対応する破損原因情報を取得する。
【００５９】
なお、通信制御部１８０が、クラウドサーバに送信する自車両のフロントガラスＦＧの破損原因情報と、クラウドサーバから取得するフロントガラスＦＧと略同形状のフロントガラスの破損原因情報とは、同一内容の破損原因を含む。
【００６０】
通信制御部１８０は、通信部６０を制御して、例えばフロントガラスの修理を行なう事業者が提供する破損したフロントガラスＦＧと略同形状のフロントガラスの画像データと、修理後のフロントガラスの画像データとを取得してもよい。
【００６１】
[破損検出装置の処理]
図８を用いて、本実施形態に係る破損検出装置１の制御部１００の処理について説明する。図８は、本実施形態に係る破損検出装置１の制御部１００の処理の流れの一例を示すフローチャートである。
【００６２】
撮像部１０からフロントガラスＦＧを撮影した画像データを画像データ取得部１１０で取得し、取得した画像データを画像データ処理部１２０で処理後、画像データ記憶部５１に記憶する。（ステップＳ１０１）。そして、ステップＳ１０２に進む。
【００６３】
判定部１６０は、画像データ記憶部５１が記憶したフロントガラスＦＧの画像データに基づいて、フロントガラスＦＧに破損があるか否かを判定する（ステップＳ１０２）。具体的には、判定部１６０は、学習モデル記憶部５２が記憶する学習モデルに基づいて、フロントガラスＦＧに破損があるか否かを判定する。フロントガラスＦＧから破損が検出されなかった場合（ステップＳ１０２のＮｏ）、制御部１００は、図８の処理を終了する。一方、フロントガラスＦＧから破損が検出された場合（ステップＳ１０２のＹｅｓ）、ステップＳ１０３に進む。
【００６４】
ステップＳ１０３において、判定部１６０は、破損状況を判定する（ステップＳ１０３）。具体的には、判定部１６０は、学習モデル記憶部５２が記憶する学習モデルに基づいて、フロントガラスＦＧの破損の大きさ、その後走行に支障がでるほど大きく破損するか否かなどを判定する。そして、ステップＳ１０４に進む。
【００６５】
判定部１６０は、フロントガラスＦＧの破損状況の判定結果に基づいて、警告が必要であるか否かを判定する（ステップＳ１０４）。警告が必要でないと判定された場合（ステップＳ１０４のＮｏ）、制御部１００は、図８の処理を終了する。一方、警告が必要であると判定された場合（ステップＳ１０４のＹｅｓ）、ステップＳ１０５に進む。
【００６６】
判定部１６０は、ステップＳ１０４で警告が必要であると判定された場合、運転者に対して警告部１７０を通じて警告処理を実行する（ステップＳ１０５）。そして、図８の処理を終了する。
【００６７】
［学習処理］
図９を用いて、本実施形態に係る学習処理について説明する。図９は、本実施形態に係る学習部の学習処理の流れの一例を示すフローチャートである。
【００６８】
学習部１５０には、学習モデルを生成するために教師データとしてフロントガラスの破損に関する画像データが入力される（ステップＳ２０１）。具体的には、学習部１５０には、例えば画像データ記憶部５１が記憶したフロントガラスＦＧの画像データが入力される。また、学習部１５０には、通信制御部１８０が外部から取得したフロントガラスＦＧと略同形状のフロントガラスの画像データが入力される。そして、ステップＳ２０２に進む。
【００６９】
学習部１５０は、入力された各種の教師データを用いて機械学習を実行する（ステップＳ２０２）。具体的には、学習部１５０は、上述したＣＮＮを含むニューラルネットワーク、サポートベクターマシンなどのアルゴリズムに従って学習を実行する。学習部１５０は、画像データ記憶部５１に記憶したフロントガラスＦＧの画像データが入力された場合には、フロントガラスＦＧの画像データに基づいて、フロントガラスＦＧの破損原因情報を抽出する。また、通信制御部１８０が外部から取得したフロントガラスＦＧと略同形状のフロントガラスの画像データが入力された場合には、フロントガラスＦＧと略同形状のフロントガラスＦＧの破損原因情報を抽出する。フロントガラスＦＧと略同形状のフロントガラスの破損原因情報を得ることができる。そして、ステップＳ２０３に進む。
【００７０】
学習部１５０は、画像データと、破損原因情報とに基づいて、学習モデルを生成する（ステップＳ２０３）。具体的には、学習部１５０は、フロントガラスＦＧの画像データと、その画像データから抽出された破損原因情報とに基づいて、学習モデルを生成する。また、学習部１５０は、フロントガラスＦＧと略同形状のフロントガラスの画像データと、その画像データから抽出された破損原因情報とに基づいて、学習モデルを生成する。そして、ステップＳ２０４に進む。
【００７１】
学習部１５０は、ステップＳ２０３で生成した学習モデルを学習モデル記憶部５２に格納する（ステップＳ２０４）。そして、図９の処理を終了する。
【００７２】
［学習モデルの更新処理］
図１０を用いて、学習モデルの更新処理について説明する。図１０は、学習モデルの更新処理の流れの一例を示すフローチャートである。
【００７３】
学習部１５０は画像データ記憶部５１からフロントガラスＦＧの画像データを取得する（ステップＳ３０１）。そして、ステップＳ３０２に進む。
【００７４】
学習部１５０は、ステップＳ３０１で取得した画像データを学習モデルに入力する（ステップＳ３０２）。ステップＳ３０２では、学習部１５０は、例えば自車両において、過去にフロントガラスＦＧが破損したときの破損原因に関する情報、破損が発生したときの道路状況に関する情報などを学習モデルに入力する。学習部１５０は、例えば自車両において、フロントガラスＦＧに小さな傷がついた状態からその傷が走行に支障がでるほど大きく破損するまでの時間に関する情報を学習モデルに入力する。なお、学習部１５０が、学習モデルに入力する自車両に関する情報はこれらの情報に制限されるものではない。そして、ステップＳ３０３に進む。
【００７５】
学習部１５０は、ステップＳ３０２で入力された情報に従って、学習モデルを更新する（ステップＳ３０３）。そして、図１０の処理を終了する。
【００７６】
図１１を用いて、学習モデルの図１０とは異なる更新処理について説明する。図１１は、学習モデルの図１０とは異なる更新処理の流れの一例を示すフローチャートである。図１１の処理は、学習モデルを更新するために用いるデータを外部から取得する点で、図１０の処理とは異なっている。
【００７７】
通信制御部１８０は、フロントガラスＦＧと略同形状のフロントガラスの破損に関する画像データや破損原因意関する情報を外部から取得する（ステップＳ４０１）。具体的には、通信制御部１８０は、例えばフロントガラスＦＧと略同形状のフロントガラスの画像データや破損原因に関する情報を外部のクラウドサーバなどから取得する。そして、ステップＳ４０２に進む。
【００７８】
学習部１５０には、ステップＳ４０１で取得した画像データを学習モデルが入力される。（ステップＳ４０２）。ステップＳ４０２では、学習部１５０は、例えば他車両において、過去にフロントガラスが破損したときの破損原因に関する情報、を学習モデルに入力する。学習部１５０は、例えば他車両において、フロントガラスに小さな傷がついた状態からその傷が走行に支障がでるほど大きく破損するまでにかかった時間に関する情報を学習モデルに入力する。これにより、学習部１５０は、フロントガラスＦＧと略同形状のフロントガラスの無傷から破損に至るまでの過程を学習する。また、学習部１５０は、フロントガラスＦＧと略同形状のフロントガラスの破損過程と、そのフロントガラスの破損原因との関係を学習する。なお、学習部１５０が、学習モデルに入力する他車両に関する情報はこれらの情報に制限されるものではない。そして、ステップＳ４０３に進む。
【００７９】
学習部１５０は、ステップＳ４０２で入力された情報に従って、学習モデルを更新する（ステップＳ４０３）。そして、図１１の処理を終了する。
【００８０】
上述のとおり、本実施形態は、学習モデルに基づいて、フロントガラスＦＧの傷の状況を検出して判定し、運転者に対して破損状況に応じた適切な警告を行なうことができる。その結果、本実施形態は、安全性を向上させることができる。
【００８１】
また、本実施形態は、運転者が気付き難い小さな傷を検出することができる。そして、本実施形態は、検出した小さな傷が運転に支障がでるほどの大きな傷に成長するか否かを判定し、判定に基づいて運転者に対して警告することができる。その結果、本実施形態は、より安全性を向上させることができる。
【００８２】
また、本実施形態は、フロントガラスＦＧの画像データまたは他の車両のフロントガラスの画像データを用いて、学習モデルを更新することができる。その結果、本実施形態は、フロントガラスの破損状況の判定精度を向上させることができる。その結果、本実施形態は、安全性をより向上させることができる。
【００８３】
なお、本実施形態は、フロントガラスＦＧの傷を検出することを例に説明したが、これは例示であり、本発明を限定するものではない。本発明は、自車両のその他のガラスを撮影し、傷を検出する場合にも適用することができる。
【００８４】
以上、本発明の実施形態を説明したが、これら実施形態の内容により実施形態が限定されるものではない。また、前述した構成要素には、当業者が容易に想定できるもの、実質的に同一のもの、いわゆる均等の範囲のものが含まれる。さらに、前述した構成要素は適宜組み合わせることが可能である。さらに、前述した実施形態の要旨を逸脱しない範囲で構成要素の種々の省略、置換又は変更を行なうことができる。
【符号の説明】
【００８５】
１  破損検出装置
１０  撮像部
２０  表示部
３０  音声出力部
４０  操作部
５０  記憶部
５１  画像データ記憶部
５２  学習モデル記憶部
６０  通信部
１００  制御部
１１０  画像データ取得部
１２０  画像データ処理部
１３０  出力制御部
１４０  記憶制御部
１５０  学習部
１６０  判定部
１７０  警告部
１８０  通信制御部
【図１】
2020149305.tif 000003
【図２】
2020149305.tif 000004
【図３】
2020149305.tif 000005
【図４Ａ】
2020149305.tif 000006
【図４Ｂ】
2020149305.tif 000007
【図４Ｃ】
2020149305.tif 000008
【図５】
2020149305.tif 000009
【図６】
2020149305.tif 000010
【図７】
2020149305.tif 000011
【図８】
2020149305.tif 000012
【図９】
2020149305.tif 000013
【図１０】
2020149305.tif 000014
【図１１】
2020149305.tif 000015