(57)【要約】  本発明は、カメラの設置状況の影響を受けずに判定対象の撮影データが欠陥のある撮影データであるか否かを判定することを目的とする。  汚れ検知装置２は、撮影データの特徴量を抽出する特徴量抽出部２３と、レンズに汚れが付着している状態で撮影された欠陥有り撮影データと、撮影範囲全体が正常に撮影されている欠陥無し撮影データとが判別されている撮影データの特徴量に基づき学習することで撮影データに欠陥の有無を識別する識別モデルを生成するモデル生成部２５と、判定対象の撮影データの特徴量を識別モデルと照合することで、判定対象の撮影データの欠陥の有無を判定する判定部２６と、欠陥有りと判定されたことをカメラ５の清掃を行う監視員に通知する通知部２７と、を有する。
2019146097.tif 000002
【特許請求の範囲】
【請求項１】
撮影データの特徴量を抽出する特徴量抽出手段と、
撮影データとして欠陥のない欠陥無し撮影データ又は欠陥のある欠陥有り撮影データであることが判別されている各撮影データに対して、前記特徴量抽出手段により抽出された特徴量に基づいて、欠陥有り撮影データを検知するための識別モデルを生成するモデル生成手段と、
前記特徴量抽出手段により抽出された判定対象の撮影データの特徴量を前記識別モデルに入力して当該撮影データにおける欠陥の有無を判定する判定手段と、
を有することを特徴とする欠陥のある撮影データの検知装置。
【請求項２】
前記特徴量抽出手段は、撮影データの色特性に基づき撮影データの特徴量を抽出することを特徴とする請求項１に記載の検知装置。
【請求項３】
前記特徴量抽出手段は、色収差に関するデータを撮影データの特徴量として抽出することを特徴とする請求項１に記載の検知装置。
【請求項４】
前記特徴量抽出手段は、撮影データを所定数に分割し、分割した画像毎に特徴量を抽出することを特徴とする請求項１に記載の検知装置。
【請求項５】
前記モデル生成手段は、複数の環境下で撮影された複数の欠陥有り撮影データ及び複数の欠陥無し撮影データそれぞれから前記特徴量抽出手段により抽出された特徴量に基づき学習させることによって前記識別モデルを生成することを特徴とする請求項１に記載の検知装置。
【請求項６】
前記モデル生成手段は、前記判定手段が誤判定した撮影データ及び当該撮影データの正答データに基づき前記識別モデルに再学習させることを特徴とする請求項５に記載の検知装置。
【請求項７】
前記判定手段は、時系列順に並んでいる複数の撮影データを判定対象の撮影データとして前記識別モデルに連続して入力する場合、前記複数の撮影データの１つに欠陥有りと判定してから所定数の撮影データを連続して欠陥有りと判定してはじめて判定対象の撮影データに欠陥有りと判定することを特徴とする請求項１に記載の検知装置。
【請求項８】
施設の監視システムが有する複数の監視カメラにより撮影された撮影データであって、撮影データとして欠陥のない欠陥無し撮影データと、そうでない欠陥有り撮影データと、が判別されている撮影データを取得する取得手段と、
撮影データの特徴量を抽出する特徴量抽出手段と、
前記特徴量抽出手段により抽出された欠陥有り撮影データの特徴量及び欠陥無し撮影データの特徴量それぞれに基づいて、欠陥有り撮影データを検知するための識別モデルを生成するモデル生成手段と、
前記特徴量抽出手段により抽出された判定対象の撮影データの特徴量を前記識別モデルに入力して当該撮影データにおける欠陥の有無を判定する判定手段と、
前記判定手段により欠陥有りと判定された場合、欠陥有り撮影データの検知を通知する通知手段と、
を有することを特徴とする欠陥のある撮影データの検知システム。
【請求項９】
前記取得手段により取得された欠陥有り撮影データ及び欠陥無し撮影データの中から特徴量の抽出が困難と推測される撮影データを除外してから前記特徴量抽出手段に送る前処理手段を有することを特徴とする請求項８に記載の汚れ検知システム。
【請求項１０】
前記欠陥有り撮影データは、前記監視カメラのレンズへの付着物が撮影されている撮影データであることを特徴とする請求項８に記載の検知システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、欠陥のある撮影データの検知装置及び検知システム、特に撮影データとして欠陥のある撮影データの検知に関する。
【背景技術】
【０００２】
防犯等の目的で監視を行うために数多くのカメラがビルなどの施設に設置される。ビル監視システムにおける監視員は、カメラによる撮影データを視聴することになるが、カメラのレンズが汚れていたり、曇っていたりすると、所定の撮影範囲全体を監視することができなくなる。このような監視目的上、撮影データとして欠陥のある撮影データを継続して撮り続けることになる状態を極力早く解消したい。【０００３】
そこで、特許文献１では、固定されている撮影範囲内の被写体の経時的変化量から汚れ度を算出することによって、汚れの付着の有無や汚れの程度を判定する技術を提案している。また、特許文献２では、ニューラルネットワークの学習により、正常時の画像との差分から汚れを識別する技術を提案している。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特許第５４０２１３１号明細書
【特許文献２】特開平１１−００７５３６号公報
【特許文献３】特開２００３−１７４６４４号公報
【特許文献４】特開２０１４−１３４４９号公報
【特許文献５】特開２００７−３１８３５５号公報
【特許文献６】特開２００９−１４１９０６号公報
【特許文献７】特開平１１−２３４５４３号公報
【特許文献８】特許第３７５７８７９１号明細書
【特許文献９】特開２００６−１００８７６号公報
【特許文献１０】特開２００７−３１８３５５号公報
【特許文献１１】特許第４６４４２８３号明細書
【特許文献１２】特開２００１−１１９６１４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、特許文献１では、カメラにおける撮影範囲を固定している場合のみに適用可能である。また、特許文献２においても正常時の画像との差分を得るためには撮影範囲を固定しておかなければならない。また、各カメラにおける正常時の画像を事前に撮影しておかなければならないので、カメラの台数が膨大な場合、正常時の画像の準備に要する負荷及び多大な記憶容量が必要になってくる。【０００６】
本発明は、撮影データを生成する撮影手段の設置状況の影響を受けずに判定対象の撮影データが欠陥のある撮影データであるか否かを判定することを目的とする。
【課題を解決するための手段】
【０００７】
本発明に係る欠陥のある撮影データの検知装置は、撮影データの特徴量を抽出する特徴量抽出手段と、影データとして欠陥のない欠陥無し撮影データ又は欠陥のある欠陥有り撮影データであることが判別されている各撮影データに対して、前記特徴量抽出手段により抽出された特徴量に基づいて、欠陥有り撮影データを検知するための識別モデルを生成するモデル生成手段と、前記特徴量抽出手段により抽出された判定対象の撮影データの特徴量を前記識別モデルに入力して当該撮影データにおける欠陥の有無を判定する判定手段と、を有するものである。【０００８】
また、前記特徴量抽出手段は、撮影データの色特性に基づき撮影データの特徴量を抽出するものである。【０００９】
また、前記特徴量抽出手段は、色収差に関するデータを撮影データの特徴量として抽出するものである。【００１０】
また、前記特徴量抽出手段は、撮影データを所定数に分割し、分割した画像毎に特徴量を抽出するものである。【００１１】
また、前記モデル生成手段は、複数の環境下で撮影された複数の欠陥有り撮影データ及び複数の欠陥無し撮影データそれぞれから前記特徴量抽出手段により抽出された特徴量に基づき学習させることによって前記識別モデルを生成するものである。【００１２】
また、前記モデル生成手段は、前記判定手段が誤判定した撮影データ及び当該撮影データの正答データに基づき前記識別モデルに再学習させるものである。【００１３】
また、前記判定手段は、時系列順に並んでいる複数の撮影データを判定対象の撮影データとして前記識別モデルに連続して入力する場合、前記複数の撮影データの１つに欠陥有りと判定してから所定数の撮影データを連続して欠陥有りと判定してはじめて判定対象の撮影データに欠陥有りと判定するものである。【００１４】
本発明に係る欠陥のある撮影データの検知システムは、施設の監視システムが有する複数の監視カメラにより撮影された撮影データであって、撮影データとして欠陥のない欠陥無し撮影データと、そうでない欠陥有り撮影データと、が判別されている撮影データを取得する取得手段と、撮影データの特徴量を抽出する特徴量抽出手段と、前記特徴量抽出手段により抽出された欠陥有り撮影データの特徴量及び欠陥無し撮影データの特徴量それぞれに基づいて、欠陥有り撮影データを検知するための識別モデルを生成するモデル生成手段と、前記特徴量抽出手段により抽出された判定対象の撮影データの特徴量を前記識別モデルに入力して当該撮影データにおける欠陥の有無を判定する判定手段と、前記判定手段により欠陥有りと判定された場合、欠陥有り撮影データの検知を通知する通知手段と、を有するものである。【００１５】
また、前記取得手段により取得された欠陥有り撮影データ及び欠陥無し撮影データの中から特徴量の抽出が困難と推測される撮影データを除外してから前記特徴量抽出手段に送る前処理手段を有するものである。【００１６】
また、前記欠陥有り撮影データは、前記監視カメラのレンズへの付着物が撮影されている撮影データである。
【発明の効果】
【００１７】
本発明によれば、撮影データを生成する撮影手段の設置状況の影響を受けずに判定対象の撮影データが欠陥のある撮影データであるか否かを判定する
【図面の簡単な説明】
【００１８】
【図１】本実施の形態における汚れ検知システムの全体構成図である。
【図２】本実施の形態における汚れ検知装置を形成するコンピュータのハードウェア構成図である。
【図３】本実施の形態における識別モデル生成処理を示すフローチャートである。
【図４】本実施の形態における判定処理を示すフローチャートである。
【発明を実施するための形態】
【００１９】
以下、図面に基づいて、本発明の好適な実施の形態について説明する。
【００２０】
図１は、本実施の形態における汚れ検知システムの全体構成図である。図１には、監視システム１、汚れ検知装置２及び管理端末３がＬＡＮ等のネットワーク４に接続された構成が示されている。
【００２１】
監視システム１は、施設の監視を行うためのシステムである。施設には、複数台のカメラ５が散在配置されている。監視システム１は、カメラ５と同じ施設に設置されることを想定しているが、施設外に設置してもよい。汚れ検知装置２は、カメラ５による撮影により生成された撮影データを解析することで、撮影データが撮影データとして欠陥のある撮影データである否かを判定する。管理端末３は、監視システム１の監視員等によって使用される端末装置である。カメラ５の汚れは、作業員によって取り除かれるので、管理端末３は、作業員によって使用されてもよい。
【００２２】
ここで、「撮影データとして欠陥のある撮影データ」について説明する。撮影データは、何らかの目的で利用されるために撮影され生成されることになる。本実施の形態の場合、撮影データは、施設の監視の目的でカメラ５が所定の範囲を撮影することで生成される。従って、目的のために利用できない撮影データは、撮影データとして欠陥のある撮影データということができる。「撮影データとして欠陥のある撮影データ」は、撮影データが生成されなかったことに等しいと解釈すべきでなく、目的に利用できない撮影データと解釈すべきである。
【００２３】
本実施の形態では、撮影データとして欠陥のある撮影データを「欠陥有り撮影データ」と称することにする。なお、欠陥有り撮影データでない撮影データ、すなわち、撮影データとして欠陥のない撮影データを「欠陥無し撮影データ」と称することにする。撮影データは、欠陥有り撮影データと欠陥無し撮影データのいずれかに分類可能である。
【００２４】
「欠陥有り撮影データ」は、例えばカメラ５の撮影範囲全体が正常に撮影されていない撮影データと言うことができる。例えば、カメラ５のレンズに汚れが付着した場合、あるいは、カメラ５のレンズが曇ったり、水滴が付いたりする場合などである。レンズが曇っていても撮影範囲全体が撮影されるかもしれないが、それは、監視の目的に利用できなければ正常に撮影されているとは言えない。汚れには、レンズに付着したら取り除かなければ付着したままの汚れと、何らかの要因により剥がれる汚れもある。また、飛翔物、例えばレジ袋等がカメラ５に絡まったり、虫等がレンズに止まったりしてレンズを塞いでしまい、これにより正常に撮影できていない状態で撮影された場合も欠陥有り撮影データが生成される。
【００２５】
また、カメラ５の撮影範囲全体が正常に撮影されていない要因（欠陥有り撮影データが生成される要因）として、カメラ５のレンズに汚れ等が直接付着した場合には限らない。例えば、カメラ５が箱内に装着され、箱の前面（レンズと対向する面）の透明板（ガラス）が汚れたり、曇ったりする場合も欠陥有り撮影データが生成されることになる。
【００２６】
なお、本実施の形態では、特に断らない限り、欠陥有り撮影データが生成される状況としてレンズに汚れが付着している場合を想定して説明する。換言すると、「汚れの付着」には、レンズの曇りや水滴の付着、更に飛翔物の絡まりなど欠陥有り撮影データの生成の要因となる全てが含まれるものと想定してもよい。本実施の形態における汚れ検知装置２は、欠陥有り撮影データを検知する装置であり、厳密にはカメラ５のレンズに付着した汚れのみを検知する装置ではない。
【００２７】
図２は、本実施の形態における汚れ検知装置２を形成するコンピュータのハードウェア構成図である。本実施の形態において汚れ検知装置２を形成するコンピュータは、パーソナルコンピュータ（ＰＣ）等従前から存在する汎用的なハードウェア構成で実現できる。すなわち、コンピュータは、図２に示したようにＣＰＵ３１、ＲＯＭ３２、ＲＡＭ３３、記憶手段としてのハードディスクドライブ（ＨＤＤ）３４、入力手段として設けられたマウス３５とキーボード３６、及び表示手段として設けられたディスプレイ３７をそれぞれ接続する入出力コントローラ３８、通信手段として設けられたネットワークインタフェース（ＩＦ）３９を内部バス４０に接続して構成される。
【００２８】
管理端末３も汚れ検知装置２と同様に、ＰＣ等汎用的なコンピュータで構成してよい。監視システム１も同様であるが、施設の規模等によって複数のコンピュータで構築してもよい。
【００２９】
図１に戻り、監視システム１は、データ収集部１１及び撮影データ記憶部１２を有している。監視システム１は、既存のシステムでよい。本実施の形態の説明に用いない構成要素に関しては図から省略している。データ収集部１１は、カメラ５からの撮影データを収集する。撮影データ記憶部１２には、データ収集部１１により収集された撮影データが蓄積される。１台のカメラ５は、通常、連続して撮影を行うため、撮影データ記憶部１２には、膨大な記憶容量が必要になってくる。ただ、一般的には、カメラ５毎に利用可能な記憶領域が割り当てられており、撮影データが撮影データ記憶部１２に記録される際には、古いデータを上書きして保存することになる。
【００３０】
汚れ検知装置２は、撮影データ取得部２１、前処理部２２、特徴量抽出部２３、正規化部２４、モデル生成部２５、判定部２６、通知部２７及び識別モデル記憶部２８を有している。本実施の形態の説明に用いない構成要素に関しては図から省略している。撮影データ取得部２１は、監視システム１から撮影データを取得する。特徴量抽出部２３は、撮影データ取得部２１により取得された撮影データの特徴量を抽出するが、前処理部２２は、特徴量抽出部２３が処理対象とする撮影データを選定するための前処理を行う。具体的には、撮影データ取得部２１により取得された欠陥有り撮影データ及び欠陥無し撮影データの中から、特徴量抽出部２３における特徴量の抽出が困難と推測される撮影データを除外してから特徴量抽出部２３に送る。モデル生成部２５は、欠陥無し撮影データ又は欠陥有り撮影データであることが判別されている各撮影データに対して、特徴量抽出部２３により抽出された特徴量に基づいて、欠陥有り撮影データを検知するための識別モデルを生成する。判定部２６は、特徴量抽出部２３により抽出された判定対象の撮影データの特徴量を識別モデルに入力して当該撮影データにおける欠陥の有無を判定する。つまり、判定対象の撮影データが欠陥有り撮影データに該当するかどうかを判定する。通知部２７は、判定部２６により欠陥有りと判定された場合、欠陥有り撮影データの検知を管理端末３に通知する。識別モデル記憶部２８には、モデル生成部２５により生成された恣意別モデルが記憶される。
【００３１】
汚れ検知装置２における各構成要素２１〜２７は、汚れ検知装置２を形成するコンピュータと、コンピュータに搭載されたＣＰＵ３１で動作するプログラムとの協調動作により実現される。また、識別モデル記憶部２８は、汚れ検知装置２に搭載されたＨＤＤ３４にて実現される。あるいは、ＲＡＭ３３又は外部にある記憶手段をネットワーク経由で利用してもよい。
【００３２】
また、本実施の形態で用いるプログラムは、通信手段により提供することはもちろん、ＣＤ−ＲＯＭやＵＳＢメモリ等のコンピュータ読み取り可能な記録媒体に格納して提供することも可能である。通信手段や記録媒体から提供されたプログラムはコンピュータにインストールされ、コンピュータのＣＰＵがプログラムを順次実行することで各種処理が実現される。
【００３３】
次に、本実施の形態における動作について説明する。
【００３４】
本実施の形態における汚れ検知装置２は、カメラ５による撮影により生成される撮影データが欠陥有り撮影データであるかどうかを判定することによってカメラ５のレンズの汚れを検知する。カメラ５は、仕様に従い、例えば１秒間に３０フレーム画像を生成する。連続して生成されたフレーム画像は、連続して再生されることで動画像として再生される。本実施の形態における撮影データは、フレーム画像に相当する。カメラ５は、所定の撮影範囲を常時撮影している。監視システム１は、カメラ５の撮影範囲を変更するかもしれないが、本実施の形態における汚れ検知装置２は、カメラ５の撮影範囲の変更の影響を受けることなくレンズの汚れを検知できる。また、各カメラ５に正常時の画像を事前に撮影させておく必要がない。
【００３５】
但し、本実施の形態では、欠陥有り撮影データの識別モデルを事前に生成しておく必要がある。以下、本実施の形態における識別モデルの生成処理について図３に示すフローチャートを用いて説明する。
【００３６】
本実施の形態では、欠陥有り撮影データであること又は欠陥無し撮影データであることが判別されている撮影データを用意する必要がある。欠陥有り撮影データ及び欠陥無し有り撮影データは、比較しやすくするために、理想的には同じカメラ５によって同じ撮影範囲を撮影させて生成するのが都合良い。但し、このような条件の下で生成しなければならないと言うことではなく、撮影データが欠陥有り撮影データであるか、あるいは欠陥無し撮影データであるかが判明していればよい。また、欠陥有り撮影データ及び欠陥無し有り撮影データは、監視システム１におけるカメラ５により撮影されたデータに限定する必要はない。ただ、本実施の形態では、便宜的に監視システム１におけるカメラ５により撮影された撮影データを利用するものとして説明する。
【００３７】
すなわち、汚れ検知装置２における撮影データ取得部２１は、監視システム１から欠陥有り撮影データ又は欠陥無し撮影データと判別されている撮影データを学習データとして取得する（ステップ１０１）。学習により生成する識別モデルの精度向上のために、学習データのデータ数は多いほど好ましい。また、様々な環境下で収集された撮影データを取得するのが好ましい。例えば、屋内と屋外、人と有無等相反する状況、また様々な撮影時刻や撮影場所等多様な撮影条件を学習するほど対応範囲は広くなる。その一方、対応範囲が広くなると、識別モデルを用いた判定精度は低下しやすくなる傾向にあるため、判定精度の維持向上のためには、識別方式の複雑化や類似環境での撮影データの収集が要求される。識別モデル生成処理において撮影データ取得部２１が取得する撮影データは、識別モデルの生成用に生成されてもよいし、監視中に撮影されている撮影データの中から欠陥有り撮影データ又は欠陥無し撮影データと判別されている撮影データを抽出されてもよい。
【００３８】
ところで、監視中にカメラ５により撮影された撮影データは、後者の場合は特に夜間、また昼間であっても消灯により輝度が所定の閾値に達してないことから、撮影データの特徴量の抽出に適していない場合がある。従って、前処理部２２は、撮影データの特徴量を抽出する処理の前処理として、撮影データ取得部２１が取得した撮影データの中から特徴量の抽出が困難と推測される撮影データを除外する（ステップ１０２）。除外する対象としては、前述したように所定の輝度に達していない場合、その他にも画素値のばらつきが所定値以上の場合などがあるが、本実施の形態においては、このような除外対象とする条件を予め設定しておき、前処理部２２は、この除外対象とする条件に従って撮影データを調査する。
【００３９】
続いて、特徴量抽出部２３は、前処理部２２から送られてきた撮影データの特徴量を抽出する（ステップ１０３）。本実施の形態では、特に撮影データの色特性に基づき撮影データの特徴量を抽出する。例えば、撮影データがカラー画像の場合、１画素毎に色の特性データを持っている。具体的には、彩度、明度、色相等がある。また、撮影データ全体としては、配色、ばらつき、構造等がある。もちろん、色の特性を示す情報としてこれに限定する必要はない。これらの色の特性を組み合わせることで欠陥有り撮影データと欠陥無し撮影データとで差が現れる特徴量を抽出する。欠陥有り撮影データでは、レンズに付着している汚れの画像（汚れ部分の撮影領域）は黒色、つまり明るさが低下すると推測される。従って、汚れが付着していない場合と比較すると特徴量が大きく異なってくると考えられる。このように、欠陥有り撮影データに特化した特徴量を抽出するようにする。
【００４０】
本実施の形態では、撮影データの色特性に基づき特徴量を抽出するが、このうち色収差に着目して特徴量を抽出してもよい。「色収差」とは、レンズ類で像をつくるときに、レンズ材料の分散が原因で発生する収差のことをいい、像の色のにじみやずれとして表れる。汚れがカメラ５のレンズに直接付着した場合、撮影する物体と汚れとは距離が異なってくる。つまり、屈折率が異なってくるという特徴が表れるため、色収差を取り扱うのは好適である。色収差に基づく特徴量は、欠陥有り撮影データから、色収差が発生しやすいエッジ部分を抽出し、そのエッジ部分の特徴量の平均を算出する。
【００４１】
色収差には、結像位置が色によって前後にずれる軸上色収差と、斜めに入射した光の場合に像の倍率の違いとなって表れる倍率色収差と、があるが、本実施の形態では、双方を利用可能である。
【００４２】
なお、本実施の形態においては、汚れに特化した特徴量を抽出するために画像全体若しくは分割画像の特徴量の平均値を算出するようにしたが、エントロピー等他の値を算出するようにしてもよい。
【００４３】
特徴量抽出部２３は、画像（欠陥有り撮影データ）全体の特徴量の平均を算出してもよいが、識別モデルにおける識別精度の向上のために、画像分割し、分割した画像毎に特徴量の平均を算出してもよい。例えば、エッジ部分の特徴量と分割画像内の特徴量の比を、分割画像の特徴量として抽出する。例えば、画像を２４分割すると、一欠陥有り撮影データにつき２４の特徴量を抽出し、２４の特徴量を１セットとして取り扱う。欠陥有り撮影データを分割画像しないと、汚れ部分の画像の特徴が画像全体に引き延ばされて特徴が出にくくなる。一方、画像を分割すると汚れ部分の画像の特徴が分割画像内（狭い範囲）に留まり、特徴が出やすくなる。このように、部分的な汚れの特徴量を効果的に抽出するには、画像を分割して処理するのが好適であり、これにより、学習により正しい回答が得られやすくなる。
【００４４】
続いて、正規化部２４は、前述したように特徴量抽出部２３により抽出された撮影データ（欠陥有り撮影データ及び欠陥無し撮影データ）の特徴量を正規化する（ステップ１０４）。その後、モデル生成部２５は、正規化した撮影データに基づき学習させることによって、欠陥有り撮影データを検知するための識別モデルを生成する（ステップ１０５）。本実施の形態では、教師あり学習を用いるパターン認識モデルの一つであるＳＶＭ（Ｓｕｐｐｏｒｔ  Ｖｅｃｔｏｒ  Ｍａｃｈｉｎｅ）に正規化した撮影データを入力することで識別モデルを生成する。ＳＶＭは、処理負荷が相対的に低く、高精度なパターン認識モデルである。もちろん、その他のパターン認識モデルを利用してもよい。モデル生成部２５により生成された識別モデルは、識別モデル記憶部２８に記憶される。
【００４５】
なお、識別モデルは、いったん生成された後も、前述した識別モデル生成処理を繰り返し実行することで識別モデルにおける識別精度を向上させるようにしてもよい。
【００４６】
以上のようにして識別モデルが生成された後、その識別モデルを利用して判定対象の撮影データが欠陥有り撮影データであるか、あるいは欠陥無し撮影データであるかを判定することになるが、この撮影データの判定処理について図４に示すフローチャートを用いて説明する。
【００４７】
汚れ検知装置２における撮影データ取得部２１は、監視システム１から判定対象の撮影データを取得する（ステップ１２１）。判定対象の撮影データには、当該撮影データを生成したカメラ５を特定する識別情報、例えばカメラＩＤを付加されている。続いて、前処理部２２は、識別モデル生成処理の場合と同様に撮影データ取得部２１が取得した撮影データが特徴量の抽出が困難と推測される場合にはその撮影データを除外する前処理を行う（ステップ１２２）。なお、１つの撮影データを判定対象としている場合、前処理部２２で除外された場合には、ここで処理は終了するが、ここでは、除外されないものとして説明を続ける。
【００４８】
続いて、特徴量抽出部２３は、前処理部２２から送られてきた撮影データの特徴量を抽出する（ステップ１２３）。特徴量の抽出は、識別モデル生成処理で説明した手法をそのまま利用する。そして、正規化部２４は、特徴量抽出部２３により抽出された撮影データの特徴量を正規化する（ステップ１２４）。なお、ここまで処理は、識別モデル生成処理と同様に処理すればよい。
【００４９】
続いて、判定部２６は、正規化された撮影データを識別モデルと照合することによって撮影データが欠陥有り撮影データであるかどうかを判定する（ステップ１２５）。つまり、判定部２６は、撮影データを識別モデルに入力することで撮影データが欠陥有り撮影データかどうかを判別させる。ここで、撮影データが欠陥有り撮影データと判定された場合（ステップ１２６でＹ）、通知部２７は、その判定結果を、カメラ５のカメラＩＤを付加して管理端末３に通知する（ステップ１２７）。
【００５０】
なお、撮影データが欠陥有り撮影データでない判定された場合（ステップ１２６でＮ）、通知部２７は、その旨を管理端末３に通知する必要はしないが、通知するようにしてもよい。
【００５１】
管理端末３のユーザ（例えば、監視員）は、この通知により、カメラ５のレンズが汚れていることを認識する。そして、監視員は、通知に含まれているカメラ５の識別情報（カメラＩＤ）を参照してカメラ５を特定し、その特定したカメラ５のレンズに付着した汚れを取り除くように清掃する。
【００５２】
本実施の形態によれば、以上のようにして判定対象の撮影データが欠陥有り撮影データであるかないかを判定し、欠陥有り撮影データである場合には監視員に通知することによってカメラ５のレンズの汚れを直ちに取り除かせることが可能となる。
【００５３】
ところで、本実施の形態では、カメラ５のレンズが汚れた場合を例にして説明したが、前述したようにカメラ５による撮影が妨害される要因（欠陥有り撮影データが生成される要因）として、飛翔物が原因となる場合がある。また、移動体からの反射光がレンズに入射される場合も想定しうる。この場合、レンズに汚れが付着した場合と異なり、ある程度の時間が経過すると、飛翔物がレンズの前からいなくなって正常な状態、すなわち欠陥無し撮影データが生成される状態に戻る場合がある。
【００５４】
そこで、本実施の形態では、判定処理において、時系列順に並んでいる複数の撮影データを判定対象の撮影データとして取得し、取得した各撮影データに対して前処理、特徴量の抽出、正規化を行う。そして、判定部２６は、時系列的に並んでいる順番に撮影データを連続して識別モデルに入力する。そして、判定部２６は、いずれかの撮影データに欠陥有りと判定した場合でも即座に欠陥有りと判定せずに、その撮影データから所定数の撮影データを連続して欠陥有りと判定してはじめて判定対象の撮影データに欠陥有りと判定するようにした。つまり、撮影データに欠陥有りと判定した場合でも、飛翔物がレンズから外れた後は、欠陥有りと判定された撮影データに続く撮影データは、欠陥無しと判定されることになる。例えば、判定部２６が一の撮影データに欠陥有りと判定してから、所定時間、例えば５秒間継続して欠陥有りと判定した場合に、欠陥有りと判定して通知部２７に通知させるとする。カメラ５が、例えば１秒間に３０フレーム画像（撮影データ）を生成する場合、判定部２６は、例えば５秒間であれば、５×３０＝１５０の数の撮影データが連続して欠陥有りと判定してはじめて判定対象の撮影データに欠陥有りと判定する。
【００５５】
なお、時系列順に並んでいる複数の撮影データは、必ずしも連続して撮影された撮影データである必要はない。例えば、連続した撮影データの中からｎ（ｎは自然数）枚おきに抽出してもよい。ｎ枚おきに抽出しても、抽出された撮影データは、時系列順に並んでいることになる。
【００５６】
また、識別モデルに対する学習が不十分である場合、判定部２６が誤判定する場合も想定しうる。この場合を考慮して、テストデータを用いて判定部２６の判定精度を検証するようにしてもよい。例えば、判定処理において、撮影データ取得部２１が取得する撮影データをテストデータとし、上記のように、判定部２６に撮影データの欠陥の有無を判定させる。ここで、テストデータが欠陥有り撮影データか欠陥無し撮影データかは事前に判別されているものとする。つまり、判定部２６における判定結果は、誤判定かどうかがわかる。ここで、判定部２６が誤判定した場合、モデル生成部２５は、判定部２６が誤判定した撮影データ及び当該撮影データの正答データに基づき識別モデルに再学習させる。このようにして、識別モデルの識別精度（判定部２６による判定精度）を向上させるようにしてもよい。
【００５７】
なお、本実施の形態では、汚れ検知装置２を設けて、上記のように撮影データの欠陥を検知するようにしたが、汚れ検知装置２が有する機能全体を監視システム１など他の装置に搭載したり、複数の装置に分散して搭載したりしてもよい。
【００５８】
また、本実施の形態では、監視システムにおけるカメラの撮影データを対象として汚れを検知するようにしたが、他の目的で収集される撮影データを汚れ検知の対象としてよい。
【００５９】
また、本実施の形態では、カメラ５のレンズに汚れが付着した場合を代表させて説明したが、レンズを有していない撮影手段によって撮影された撮影データを判定対象としてもよい。
【００６０】
また、本実施の形態におけるカメラ５は、空気を媒質とした環境において撮影された撮影データを想定しているが、空気に限らず、水等他の媒質の環境下で撮影された撮影データを判定対象としてもよい。
【符号の説明】
【００６１】
１  監視システム、２  汚れ検知装置、３  管理端末、４  ネットワーク、５  カメラ、１１  データ収集部、１２  撮影データ記憶部、２１  撮影データ取得部、２２  前処理部、２３  特徴量抽出部、２４  正規化部、２５  モデル生成部、２６  判定部、２７  通知部、２８  識別モデル記憶部、３１  ＣＰＵ、３２  ＲＯＭ、３３  ＲＡＭ、３４  ハードディスクドライブ（ＨＤＤ）、３５  マウス、３６  キーボード、３７  ディスプレイ、３８  入出力コントローラ、４０  内部バス。
【図１】
2019146097.tif 000003
【図２】
2019146097.tif 000004
【図３】
2019146097.tif 000005
【図４】
2019146097.tif 000006
【手続補正書】
【提出日】平成30年7月27日(2018.7.27)
【手続補正１】
【補正対象書類名】明細書
【補正対象項目名】０００４
【補正方法】変更
【補正の内容】
【０００４】
【特許文献１】特許第５４０２１３１号明細書
【特許文献２】特開平１１−００７５３６号公報
【特許文献３】特開２００３−１７４６４４号公報
【特許文献４】特開２０１４−１３４４９号公報
【特許文献５】特開２００７−３１８３５５号公報
【特許文献６】特開２００９−１４１９０６号公報
【特許文献７】特開平１１−２３４５４３号公報
【特許文献８】特許第３７５７８９１号明細書
【特許文献９】特開２００６−１００８７６号公報
【特許文献１０】特開２００７−３１８３５５号公報
【特許文献１１】特許第４６４４２８３号明細書
【特許文献１２】特開２００１−１１９６１４号公報
【手続補正書】
【提出日】平成30年11月30日(2018.11.30)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
撮影データの特徴量を抽出する特徴量抽出手段と、
撮影データとして欠陥のない欠陥無し撮影データ又は欠陥のある欠陥有り撮影データであることが判別されている各撮影データに対して、前記特徴量抽出手段により抽出された特徴量に基づいて、欠陥有り撮影データを検知するための識別モデルを生成するモデル生成手段と、
前記特徴量抽出手段により抽出された判定対象の撮影データの特徴量を前記識別モデルに入力して当該撮影データにおける欠陥の有無を判定する判定手段と、
を有し、
前記モデル生成手段は、複数の環境下で撮影された複数の欠陥有り撮影データ及び複数の欠陥無し撮影データそれぞれから前記特徴量抽出手段により抽出された特徴量に基づき学習させることによって前記識別モデルを生成することを特徴とする検知装置。
【請求項２】
前記特徴量抽出手段は、撮影データの色特性に基づき撮影データの特徴量を抽出することを特徴とする請求項１に記載の検知装置。
【請求項３】
撮影データの特徴量を抽出する特徴量抽出手段と、
撮影データとして欠陥のない欠陥無し撮影データ又は欠陥のある欠陥有り撮影データであることが判別されている各撮影データに対して、前記特徴量抽出手段により抽出された特徴量に基づいて、欠陥有り撮影データを検知するための識別モデルを生成するモデル生成手段と、
前記特徴量抽出手段により抽出された判定対象の撮影データの特徴量を前記識別モデルに入力して当該撮影データにおける欠陥の有無を判定する判定手段と、
を有し、
前記特徴量抽出手段は、色収差に関するデータを撮影データの特徴量として抽出することを特徴とする欠陥のある撮影データの検知装置。
【請求項４】
前記特徴量抽出手段は、撮影データを所定数に分割し、分割した画像毎に特徴量を抽出することを特徴とする請求項１に記載の検知装置。
【請求項５】
撮影データとして欠陥のない欠陥無し撮影データと、そうでない欠陥有り撮影データと、が判別されている撮影データを取得する取得手段と、
前記取得手段により取得された欠陥有り撮影データ及び欠陥無し撮影データの中から特徴量の抽出が困難と推測される撮影データを除外する前処理手段と、
を有し、
前記特徴量抽出手段は、前記取得手段により取得された欠陥有り撮影データ及び欠陥無し撮影データの中から前記前処理手段により除外されていない撮影データの特徴量を抽出することを特徴とする請求項１に記載の検知装置。
【請求項６】
前記モデル生成手段は、前記判定手段が誤判定した撮影データ及び当該撮影データの正答データに基づき前記識別モデルに再学習させることを特徴とする請求項１に記載の検知装置。
【請求項７】
撮影データの特徴量を抽出する特徴量抽出手段と、
撮影データとして欠陥のない欠陥無し撮影データ又は欠陥のある欠陥有り撮影データであることが判別されている各撮影データに対して、前記特徴量抽出手段により抽出された特徴量に基づいて、欠陥有り撮影データを検知するための識別モデルを生成するモデル生成手段と、
前記特徴量抽出手段により抽出された判定対象の撮影データの特徴量を前記識別モデルに入力して当該撮影データにおける欠陥の有無を判定する判定手段と、
を有し、
前記判定手段は、時系列順に並んでいる複数の撮影データを判定対象の撮影データとして前記識別モデルに連続して入力する場合、前記複数の撮影データの１つに欠陥有りと判定してから所定数の撮影データを連続して欠陥有りと判定してはじめて判定対象の撮影データに欠陥有りと判定することを特徴とする欠陥のある撮影データの検知装置。
【請求項８】
施設の監視システムが有する複数の監視カメラにより撮影された撮影データであって、撮影データとして欠陥のない欠陥無し撮影データと、そうでない欠陥有り撮影データと、が判別されている撮影データを取得する取得手段と、
撮影データの特徴量を抽出する特徴量抽出手段と、
前記特徴量抽出手段により抽出された欠陥有り撮影データの特徴量及び欠陥無し撮影データの特徴量それぞれに基づいて、欠陥有り撮影データを検知するための識別モデルを生成するモデル生成手段と、
前記特徴量抽出手段により抽出された判定対象の撮影データの特徴量を前記識別モデルに入力して当該撮影データにおける欠陥の有無を判定する判定手段と、
前記判定手段により欠陥有りと判定された場合、欠陥有り撮影データの検知を通知する通知手段と、
を有し、
前記モデル生成手段は、複数の環境下で撮影された複数の欠陥有り撮影データ及び複数の欠陥無し撮影データそれぞれから前記特徴量抽出手段により抽出された特徴量に基づき学習させることによって前記識別モデルを生成することを特徴とする欠陥のある撮影データの検知システム。
【請求項９】
施設の監視システムが有する複数の監視カメラにより撮影された撮影データであって、撮影データとして欠陥のない欠陥無し撮影データと、そうでない欠陥有り撮影データと、が判別されている撮影データを取得する取得手段と、
前記取得手段により取得された欠陥有り撮影データ及び欠陥無し撮影データの中から特徴量の抽出が困難と推測される撮影データを除外してから前記特徴量抽出手段に送る前処理手段と、
前記取得手段により取得された欠陥有り撮影データ及び欠陥無し撮影データの中から前記前処理手段により除外されていない撮影データの特徴量を抽出する特徴量抽出手段と、
前記特徴量抽出手段により抽出された欠陥有り撮影データの特徴量及び欠陥無し撮影データの特徴量それぞれに基づいて、欠陥有り撮影データを検知するための識別モデルを生成するモデル生成手段と、
前記特徴量抽出手段により抽出された判定対象の撮影データの特徴量を前記識別モデルに入力して当該撮影データにおける欠陥の有無を判定する判定手段と、
前記判定手段により欠陥有りと判定された場合、欠陥有り撮影データの検知を通知する通知手段と、
を有することを特徴とする欠陥のある撮影データの汚れ検知システム。
【請求項１０】
前記欠陥有り撮影データは、前記監視カメラのレンズへの付着物が撮影されている撮影データであることを特徴とする請求項８又は９に記載の検知システム。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】０００７
【補正方法】変更
【補正の内容】
【０００７】
本発明に係る欠陥のある撮影データの検知装置は、撮影データの特徴量を抽出する特徴量抽出手段と、影データとして欠陥のない欠陥無し撮影データ又は欠陥のある欠陥有り撮影データであることが判別されている各撮影データに対して、前記特徴量抽出手段により抽出された特徴量に基づいて、欠陥有り撮影データを検知するための識別モデルを生成するモデル生成手段と、前記特徴量抽出手段により抽出された判定対象の撮影データの特徴量を前記識別モデルに入力して当該撮影データにおける欠陥の有無を判定する判定手段と、を有し、前記モデル生成手段は、複数の環境下で撮影された複数の欠陥有り撮影データ及び複数の欠陥無し撮影データそれぞれから前記特徴量抽出手段により抽出された特徴量に基づき学習させることによって前記識別モデルを生成するものである。
【手続補正３】
【補正対象書類名】明細書
【補正対象項目名】０００９
【補正方法】変更
【補正の内容】
【０００９】
本発明に係る欠陥のある撮影データの検知装置は、撮影データの特徴量を抽出する特徴量抽出手段と、撮影データとして欠陥のない欠陥無し撮影データ又は欠陥のある欠陥有り撮影データであることが判別されている各撮影データに対して、前記特徴量抽出手段により抽出された特徴量に基づいて、欠陥有り撮影データを検知するための識別モデルを生成するモデル生成手段と、前記特徴量抽出手段により抽出された判定対象の撮影データの特徴量を前記識別モデルに入力して当該撮影データにおける欠陥の有無を判定する判定手段と、を有し、前記特徴量抽出手段は、色収差に関するデータを撮影データの特徴量として抽出するものである。
【手続補正４】
【補正対象書類名】明細書
【補正対象項目名】００１１
【補正方法】変更
【補正の内容】
【００１１】
また、撮影データとして欠陥のない欠陥無し撮影データと、そうでない欠陥有り撮影データと、が判別されている撮影データを取得する取得手段と、前記取得手段により取得された欠陥有り撮影データ及び欠陥無し撮影データの中から特徴量の抽出が困難と推測される撮影データを除外する前処理手段と、を有し、前記特徴量抽出手段は、前記取得手段により取得された欠陥有り撮影データ及び欠陥無し撮影データの中から前記前処理手段により除外されていない撮影データの特徴量を抽出するものである。
【手続補正５】
【補正対象書類名】明細書
【補正対象項目名】００１３
【補正方法】変更
【補正の内容】
【００１３】
本発明に係る欠陥のある撮影データの検知装置は、撮影データの特徴量を抽出する特徴量抽出手段と、撮影データとして欠陥のない欠陥無し撮影データ又は欠陥のある欠陥有り撮影データであることが判別されている各撮影データに対して、前記特徴量抽出手段により抽出された特徴量に基づいて、欠陥有り撮影データを検知するための識別モデルを生成するモデル生成手段と、前記特徴量抽出手段により抽出された判定対象の撮影データの特徴量を前記識別モデルに入力して当該撮影データにおける欠陥の有無を判定する判定手段と、を有し、前記判定手段は、時系列順に並んでいる複数の撮影データを判定対象の撮影データとして前記識別モデルに連続して入力する場合、前記複数の撮影データの１つに欠陥有りと判定してから所定数の撮影データを連続して欠陥有りと判定してはじめて判定対象の撮影データに欠陥有りと判定するものである。
【手続補正６】
【補正対象書類名】明細書
【補正対象項目名】００１４
【補正方法】変更
【補正の内容】
【００１４】
本発明に係る欠陥のある撮影データの検知システムは、施設の監視システムが有する複数の監視カメラにより撮影された撮影データであって、撮影データとして欠陥のない欠陥無し撮影データと、そうでない欠陥有り撮影データと、が判別されている撮影データを取得する取得手段と、撮影データの特徴量を抽出する特徴量抽出手段と、前記特徴量抽出手段により抽出された欠陥有り撮影データの特徴量及び欠陥無し撮影データの特徴量それぞれに基づいて、欠陥有り撮影データを検知するための識別モデルを生成するモデル生成手段と、前記特徴量抽出手段により抽出された判定対象の撮影データの特徴量を前記識別モデルに入力して当該撮影データにおける欠陥の有無を判定する判定手段と、前記判定手段により欠陥有りと判定された場合、欠陥有り撮影データの検知を通知する通知手段と、を有し、前記モデル生成手段は、複数の環境下で撮影された複数の欠陥有り撮影データ及び複数の欠陥無し撮影データそれぞれから前記特徴量抽出手段により抽出された特徴量に基づき学習させることによって前記識別モデルを生成するものである。
【手続補正７】
【補正対象書類名】明細書
【補正対象項目名】００１５
【補正方法】変更
【補正の内容】
【００１５】
本発明に係る欠陥のある撮影データの検知システムは、施設の監視システムが有する複数の監視カメラにより撮影された撮影データであって、撮影データとして欠陥のない欠陥無し撮影データと、そうでない欠陥有り撮影データと、が判別されている撮影データを取得する取得手段と、前記取得手段により取得された欠陥有り撮影データ及び欠陥無し撮影データの中から特徴量の抽出が困難と推測される撮影データを除外してから前記特徴量抽出手段に送る前処理手段と、前記取得手段により取得された欠陥有り撮影データ及び欠陥無し撮影データの中から前記前処理手段により除外されていない撮影データの特徴量を抽出する特徴量抽出手段と、前記特徴量抽出手段により抽出された欠陥有り撮影データの特徴量及び欠陥無し撮影データの特徴量それぞれに基づいて、欠陥有り撮影データを検知するための識別モデルを生成するモデル生成手段と、前記特徴量抽出手段により抽出された判定対象の撮影データの特徴量を前記識別モデルに入力して当該撮影データにおける欠陥の有無を判定する判定手段と、前記判定手段により欠陥有りと判定された場合、欠陥有り撮影データの検知を通知する通知手段と、を有するものである。
【手続補正書】
【提出日】令和1年6月19日(2019.6.19)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
撮影データの特徴量を抽出する特徴量抽出手段と、
撮影データとして欠陥のない欠陥無し撮影データ又は欠陥のある欠陥有り撮影データであることが判別されている各撮影データに対して、前記特徴量抽出手段により抽出された特徴量に基づいて、欠陥有り撮影データを検知するための識別モデルを生成するモデル生成手段と、
前記特徴量抽出手段により抽出された判定対象の撮影データの特徴量を前記識別モデルに入力して当該撮影データにおける欠陥の有無を判定する判定手段と、
を有し、
前記特徴量抽出手段は、色収差に関するデータを撮影データの特徴量として抽出することを特徴とする欠陥のある撮影データの検知装置。
【請求項２】
撮影データとして欠陥のない欠陥無し撮影データと、そうでない欠陥有り撮影データと、が判別されている撮影データを取得する取得手段と、
前記取得手段により取得された欠陥有り撮影データ及び欠陥無し撮影データの中から特徴量の抽出が困難と推測される撮影データを除外する前処理手段と、
前記取得手段により取得された欠陥有り撮影データ及び欠陥無し撮影データの中から前記前処理手段により除外されていない撮影データの特徴量を抽出する特徴量抽出手段と、
撮影データとして欠陥のない欠陥無し撮影データ又は欠陥のある欠陥有り撮影データであることが判別されている各撮影データに対して、前記特徴量抽出手段により抽出された特徴量に基づいて、欠陥有り撮影データを検知するための識別モデルを生成するモデル生成手段と、
前記特徴量抽出手段により抽出された判定対象の撮影データの特徴量を前記識別モデルに入力して当該撮影データにおける欠陥の有無を判定する判定手段と、
を有し、
前記モデル生成手段は、複数の環境下で撮影された複数の欠陥有り撮影データ及び複数の欠陥無し撮影データそれぞれから前記特徴量抽出手段により抽出された特徴量に基づき学習させることによって前記識別モデルを生成することを特徴とする欠陥のある撮影データの検知装置。
【請求項３】
撮影データの特徴量を抽出する特徴量抽出手段と、
撮影データとして欠陥のない欠陥無し撮影データ又は欠陥のある欠陥有り撮影データであることが判別されている各撮影データに対して、前記特徴量抽出手段により抽出された特徴量に基づいて、欠陥有り撮影データを検知するための識別モデルを生成するモデル生成手段と、
前記特徴量抽出手段により抽出された判定対象の撮影データの特徴量を前記識別モデルに入力して当該撮影データにおける欠陥の有無を判定する判定手段と、
を有し、
前記モデル生成手段は、複数の環境下で撮影された複数の欠陥有り撮影データ及び複数の欠陥無し撮影データそれぞれから前記特徴量抽出手段により抽出された特徴量に基づき学習させることによって前記識別モデルを生成し、前記判定手段が誤判定した撮影データ及び当該撮影データの正答データに基づき前記識別モデルに再学習させることを特徴とする欠陥のある撮影データの検知装置。
【請求項４】
撮影データの特徴量を抽出する特徴量抽出手段と、
撮影データとして欠陥のない欠陥無し撮影データ又は欠陥のある欠陥有り撮影データであることが判別されている各撮影データに対して、前記特徴量抽出手段により抽出された特徴量に基づいて、欠陥有り撮影データを検知するための識別モデルを生成するモデル生成手段と、
前記特徴量抽出手段により抽出された判定対象の撮影データの特徴量を前記識別モデルに入力して当該撮影データにおける欠陥の有無を判定する判定手段と、
を有し、
前記判定手段は、時系列順に並んでいる複数の撮影データを判定対象の撮影データとして前記識別モデルに連続して入力する場合、前記複数の撮影データの１つに欠陥有りと判定してから所定数の撮影データを連続して欠陥有りと判定してはじめて判定対象の撮影データに欠陥有りと判定することを特徴とする欠陥のある撮影データの検知装置。
【請求項５】
前記特徴量抽出手段は、撮影データの色特性に基づき撮影データの特徴量を抽出することを特徴とする請求項１乃至４のいずれか１項に記載の欠陥のある撮影データの検知装置。
【請求項６】
前記特徴量抽出手段は、撮影データを所定数に分割し、分割した画像毎に特徴量を抽出することを特徴とする請求項１乃至４のいずれか１項に記載の欠陥のある撮影データの検知装置。
【請求項７】
施設の監視システムが有する複数の監視カメラにより撮影された撮影データであって、撮影データとして欠陥のない欠陥無し撮影データと、そうでない欠陥有り撮影データと、が判別されている撮影データを取得する取得手段と、
前記取得手段により取得された欠陥有り撮影データ及び欠陥無し撮影データの中から特徴量の抽出が困難と推測される撮影データを除外してから前記特徴量抽出手段に送る前処理手段と、
前記取得手段により取得された欠陥有り撮影データ及び欠陥無し撮影データの中から前記前処理手段により除外されていない撮影データの特徴量を抽出する特徴量抽出手段と、
前記特徴量抽出手段により抽出された欠陥有り撮影データの特徴量及び欠陥無し撮影データの特徴量それぞれに基づいて、欠陥有り撮影データを検知するための識別モデルを生成するモデル生成手段と、
前記特徴量抽出手段により抽出された判定対象の撮影データの特徴量を前記識別モデルに入力して当該撮影データにおける欠陥の有無を判定する判定手段と、
前記判定手段により欠陥有りと判定された場合、欠陥有り撮影データの検知を通知する通知手段と、
を有することを特徴とする欠陥のある撮影データの汚れ検知システム。
【請求項８】
前記欠陥有り撮影データは、前記監視カメラのレンズへの付着物が撮影されている撮影データであることを特徴とする請求項７に記載の欠陥のある撮影データの検知システム。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】０００７
【補正方法】削除
【補正の内容】
【手続補正３】
【補正対象書類名】明細書
【補正対象項目名】０００８
【補正方法】削除
【補正の内容】
【手続補正４】
【補正対象書類名】明細書
【補正対象項目名】００１０
【補正方法】削除
【補正の内容】
【手続補正５】
【補正対象書類名】明細書
【補正対象項目名】００１１
【補正方法】変更
【補正の内容】
【００１１】
本発明に係る欠陥のある撮影データの検知装置は、撮影データとして欠陥のない欠陥無し撮影データと、そうでない欠陥有り撮影データと、が判別されている撮影データを取得する取得手段と、前記取得手段により取得された欠陥有り撮影データ及び欠陥無し撮影データの中から特徴量の抽出が困難と推測される撮影データを除外する前処理手段と、前記取得手段により取得された欠陥有り撮影データ及び欠陥無し撮影データの中から前記前処理手段により除外されていない撮影データの特徴量を抽出する特徴量抽出手段と、撮影データとして欠陥のない欠陥無し撮影データ又は欠陥のある欠陥有り撮影データであることが判別されている各撮影データに対して、前記特徴量抽出手段により抽出された特徴量に基づいて、欠陥有り撮影データを検知するための識別モデルを生成するモデル生成手段と、前記特徴量抽出手段により抽出された判定対象の撮影データの特徴量を前記識別モデルに入力して当該撮影データにおける欠陥の有無を判定する判定手段と、を有し、前記モデル生成手段は、複数の環境下で撮影された複数の欠陥有り撮影データ及び複数の欠陥無し撮影データそれぞれから前記特徴量抽出手段により抽出された特徴量に基づき学習させることによって前記識別モデルを生成するものである。
【手続補正６】
【補正対象書類名】明細書
【補正対象項目名】００１２
【補正方法】変更
【補正の内容】
【００１２】
本発明に係る欠陥のある撮影データの検知装置は、撮影データの特徴量を抽出する特徴量抽出手段と、撮影データとして欠陥のない欠陥無し撮影データ又は欠陥のある欠陥有り撮影データであることが判別されている各撮影データに対して、前記特徴量抽出手段により抽出された特徴量に基づいて、欠陥有り撮影データを検知するための識別モデルを生成するモデル生成手段と、前記特徴量抽出手段により抽出された判定対象の撮影データの特徴量を前記識別モデルに入力して当該撮影データにおける欠陥の有無を判定する判定手段と、を有し、前記モデル生成手段は、複数の環境下で撮影された複数の欠陥有り撮影データ及び複数の欠陥無し撮影データそれぞれから前記特徴量抽出手段により抽出された特徴量に基づき学習させることによって前記識別モデルを生成し、前記判定手段が誤判定した撮影データ及び当該撮影データの正答データに基づき前記識別モデルに再学習させるものである。
【手続補正７】
【補正対象書類名】明細書
【補正対象項目名】００１４
【補正方法】変更
【補正の内容】
【００１４】
また、前記特徴量抽出手段は、撮影データの色特性に基づき撮影データの特徴量を抽出するものである。
また、前記特徴量抽出手段は、撮影データを所定数に分割し、分割した画像毎に特徴量を抽出するものである。
【手続補正書】
【提出日】令和1年10月23日(2019.10.23)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
撮影データの特徴量を抽出する特徴量抽出手段と、
撮影データとして欠陥のない欠陥無し撮影データ又は欠陥のある欠陥有り撮影データであることが判別されている各撮影データに対して、前記特徴量抽出手段により抽出された特徴量に基づいて、欠陥有り撮影データを検知するための識別モデルを生成するモデル生成手段と、
前記特徴量抽出手段により抽出された判定対象の撮影データの特徴量を前記識別モデルに入力して当該撮影データにおける欠陥の有無を判定する判定手段と、
を有し、
前記特徴量抽出手段は、色収差に関するデータを撮影データの特徴量として抽出することを特徴とする欠陥のある撮影データの検知装置。
【請求項２】
撮影データとして欠陥のない欠陥無し撮影データと、そうでない欠陥有り撮影データと、が判別されている撮影データを取得する取得手段と、
前記取得手段により取得された欠陥有り撮影データ及び欠陥無し撮影データの中から特徴量の抽出が困難と推測される撮影データを除外する前処理手段と、
前記取得手段により取得された欠陥有り撮影データ及び欠陥無し撮影データの中から前記前処理手段により除外されていない撮影データの特徴量を抽出する特徴量抽出手段と、
撮影データとして欠陥のない欠陥無し撮影データ又は欠陥のある欠陥有り撮影データであることが判別されている各撮影データに対して、前記特徴量抽出手段により抽出された特徴量に基づいて、欠陥有り撮影データを検知するための識別モデルを生成するモデル生成手段と、
前記特徴量抽出手段により抽出された判定対象の撮影データの特徴量を前記識別モデルに入力して当該撮影データにおける欠陥の有無を判定する判定手段と、
を有し、
前記モデル生成手段は、複数の環境下で撮影された複数の欠陥有り撮影データ及び複数の欠陥無し撮影データそれぞれから前記特徴量抽出手段により抽出された特徴量に基づき学習させることによって前記識別モデルを生成することを特徴とする欠陥のある撮影データの検知装置。
【請求項３】
撮影データの特徴量を抽出する特徴量抽出手段と、
撮影データとして欠陥のない欠陥無し撮影データ又は欠陥のある欠陥有り撮影データであることが判別されている各撮影データに対して、前記特徴量抽出手段により抽出された特徴量に基づいて、欠陥有り撮影データを検知するための識別モデルを生成するモデル生成手段と、
前記特徴量抽出手段により抽出された判定対象の撮影データの特徴量を前記識別モデルに入力して当該撮影データにおける欠陥の有無を判定する判定手段と、
を有し、
前記モデル生成手段は、複数の環境下で撮影された複数の欠陥有り撮影データ及び複数の欠陥無し撮影データそれぞれから前記特徴量抽出手段により抽出された特徴量に基づき学習させることによって前記識別モデルを生成し、前記判定手段が誤判定した撮影データ及び当該撮影データの正答データに基づき前記識別モデルに再学習させることを特徴とする欠陥のある撮影データの検知装置。
【請求項４】
撮影データの特徴量を抽出する特徴量抽出手段と、
撮影データとして欠陥のない欠陥無し撮影データ又は欠陥のある欠陥有り撮影データであることが判別されている各撮影データに対して、前記特徴量抽出手段により抽出された特徴量に基づいて、欠陥有り撮影データを検知するための識別モデルを生成するモデル生成手段と、
前記特徴量抽出手段により抽出された判定対象の撮影データの特徴量を前記識別モデルに入力して当該撮影データにおける欠陥の有無を判定する判定手段と、
を有し、
前記判定手段は、時系列順に並んでいる複数の撮影データを判定対象の撮影データとして前記識別モデルに連続して入力する場合、前記複数の撮影データの１つに欠陥有りと判定してから所定数の撮影データを連続して欠陥有りと判定してはじめて判定対象の撮影データに欠陥有りと判定することを特徴とする欠陥のある撮影データの検知装置。
【請求項５】
前記特徴量抽出手段は、撮影データの色特性に基づき撮影データの特徴量を抽出することを特徴とする請求項１乃至４のいずれか１項に記載の欠陥のある撮影データの検知装置。
【請求項６】
前記特徴量抽出手段は、撮影データを所定数に分割し、分割した画像毎に特徴量を抽出することを特徴とする請求項１乃至４のいずれか１項に記載の欠陥のある撮影データの検知装置。
【請求項７】
施設の監視システムが有する複数の監視カメラにより撮影された撮影データであって、撮影データとして欠陥のない欠陥無し撮影データと、そうでない欠陥有り撮影データと、が判別されている撮影データを取得する取得手段と、
前記取得手段により取得された欠陥有り撮影データ及び欠陥無し撮影データの中から特徴量の抽出が困難と推測される撮影データを除外してから特徴量抽出手段に送る前処理手段と、
前記取得手段により取得された欠陥有り撮影データ及び欠陥無し撮影データの中から前記前処理手段により除外されていない撮影データの特徴量を抽出する前記特徴量抽出手段と、
前記特徴量抽出手段により抽出された欠陥有り撮影データの特徴量及び欠陥無し撮影データの特徴量それぞれに基づいて、欠陥有り撮影データを検知するための識別モデルを生成するモデル生成手段と、
前記特徴量抽出手段により抽出された判定対象の撮影データの特徴量を前記識別モデルに入力して当該撮影データにおける欠陥の有無を判定する判定手段と、
前記判定手段により欠陥有りと判定された場合、欠陥有り撮影データの検知を通知する通知手段と、
を有することを特徴とする欠陥のある撮影データの汚れ検知システム。
【請求項８】
前記欠陥有り撮影データは、前記監視カメラのレンズへの付着物が撮影されている撮影データであることを特徴とする請求項７に記載の欠陥のある撮影データの検知システム。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】００１５
【補正方法】変更
【補正の内容】
【００１５】
本発明に係る欠陥のある撮影データの検知システムは、施設の監視システムが有する複数の監視カメラにより撮影された撮影データであって、撮影データとして欠陥のない欠陥無し撮影データと、そうでない欠陥有り撮影データと、が判別されている撮影データを取得する取得手段と、前記取得手段により取得された欠陥有り撮影データ及び欠陥無し撮影データの中から特徴量の抽出が困難と推測される撮影データを除外してから特徴量抽出手段に送る前処理手段と、前記取得手段により取得された欠陥有り撮影データ及び欠陥無し撮影データの中から前記前処理手段により除外されていない撮影データの特徴量を抽出する前記特徴量抽出手段と、前記特徴量抽出手段により抽出された欠陥有り撮影データの特徴量及び欠陥無し撮影データの特徴量それぞれに基づいて、欠陥有り撮影データを検知するための識別モデルを生成するモデル生成手段と、前記特徴量抽出手段により抽出された判定対象の撮影データの特徴量を前記識別モデルに入力して当該撮影データにおける欠陥の有無を判定する判定手段と、前記判定手段により欠陥有りと判定された場合、欠陥有り撮影データの検知を通知する通知手段と、を有するものである。
【国際調査報告】
2019146097.tif 000007
2019146097.tif 000008