(57)【要約】      （修正有）【課題】画像全体に占める火災による特徴部分が狭い範囲に限られても、多層式のニューラルネットワークを効率良く学習させて火災の検出精度を向上可能とする火災監視システムを提供する。【解決手段】監視カメラ１６により撮像された監視領域の監視画像を複数のブロック画像に分割し、ブロック画像を多層式ニューラルネットワーク３０によって構成される火災検出器２４に入力して火災を検出する。学習画像生成装置１２は、監視領域の火災が撮像された学習画像を複数のブロック画像に分割すると共に、各ブロック画像の炎や煙の有無及び炎や煙の占める割合に応じて火災学習ブロック画像、正常学習ブロック画像又は非学習ブロック画像に分類して記憶させる。学習制御部２６は、学習画像生成装置１２に記憶された火災学習ブロック画像及び正常学習ブロック画像を火災検出器２４に入力して多層式ニューラルネットワーク３０をディープラーニングにより学習させる。【選択図】図２
2018101416.tif 000002
【特許請求の範囲】
【請求項１】
撮像部により撮像された監視領域の監視画像を複数のブロック画像に分割し、前記ブロック画像を多層式ニューラルネットワークによって構成される火災検出器に入力して火災を検出することを特徴とする火災監視システム。
【請求項２】
請求項１記載の火災監視システムに於いて、更に、
入力画像を学習画像として複数のブロック画像に分割すると共に、火災学習ブロック画像、正常学習ブロック画像、又は非学習ブロック画像に分類して学習画像記憶部に記憶させる学習画像生成部と、
前記学習画像記憶部に記憶された前記火災学習ブロック画像及び前記正常学習ブロック画像を前記火災検出器に入力して前記多層式ニューラルネットワークを学習させる学習制御部と、
が設けられたことを特徴とする火災監視システム。
【請求項３】
請求項２記載の火災監視システムに於いて、前記火災学習ブロック画像は、火災による炎が占める割合が所定割合以上の炎学習ブロック画像と、火災による煙が占める割合が所定割合以上の煙学習ブロック画像を含むことを特徴とする火災監視システム。
【請求項４】
請求項２又は３記載の火災監視システムに於いて、
前記多層式ニューラルネットワークに前記分割されたブロック画像を入力し、ブロック画像の種類を判定させ、当該判定結果を用いてブロック画像を分類して前記学習画像記憶部に記憶させることを特徴とする火災監視システム。
【請求項５】
請求項１記載の火災監視システムに於いて、
前記火災検出器は、火災が検出されたブロック画像の分布が時間の経過に伴い上方に移動及び又は拡大した場合に火災と判定することを特徴とする火災監視システム。
【請求項６】
請求項１記載の火災監視システムに於いて、
前記火災検出器は、火災が検出されたブロック画像の集合の状態に基づき火災を検出することを特徴とする火災監視システム。
【請求項７】
請求項１記載の火災監視システムに於いて、
前記火災検出器は、火災が検出されたブロック画像の分布をモニタ部に画面表示させることを特徴とする火災監視システム。
【請求項８】
請求項１記載の火災監視システムに於いて、
前記火災検出器は、前記ブロック画像を入力して火災の炎を検出する第１の多層式ニューラルネットワークと、前記ブロック画像を入力して火災の煙を検出する第２の多層式ニューラルネットワークを備え、更に、
入力画像を学習画像として複数のブロック画像に分割すると共に、各ブロック画像に炎や煙の有無及び炎や煙の占める割合に応じて炎学習ブロック画像、煙学習ブロック画像、正常学習ブロック画像、又は非学習ブロック画像に分類して学習画像記憶部に記憶させる学習画像生成部と、
学習画像記憶部に記憶された前記災学習ブロック画像及び前記正常学習ブロック画像を前記第１の多層式ニューラルネットワークに入力して学習させ、前記学習画像記憶部に記憶された前記煙学習ブロック画像及び前記正常学習ブロック画像を前記第２の多層式ニューラルネットワークに入力して学習させる学習制御部と、
が設けられたことを特徴とする火災監視システム。
【請求項９】
請求項８記載の火災監視システムに於いて、
前記火災検出器は、炎と煙が検出されたブロック画像の分布をモニタ部に画面表示させることを特徴とする火災監視システム。
【請求項１０】
監視領域から放射される所定の赤外波長帯域の監視画像を撮像する撮像部と、
前記撮像部により撮像された前記監視画像から所定の赤外線強度以上の赤外線監視画像を抽出して複数のブロック画像に分割し、前記ブロック画像を多層式ニューラルネットワークによって構成される火災検出器に入力して火災を検出することを特徴とする火災監視システム。
【請求項１１】
請求項１０記載の火災監視システムに於いて、更に、
入力画像を学習画像として複数のブロック画像に分割すると共に、火災学習ブロック画像、正常学習ブロック画像、又は非学習ブロック画像に分類して学習画像記憶部に記憶させる学習画像生成部と、
前記学習画像記憶部に記憶された前記火災学習ブロック画像及び前記正常学習ブロック画像を前記火災検出器に入力して前記多層式ニューラルネットワークを学習させる学習制御部と、
が設けられ、
前記火災学習ブロック画像は、赤外線の炎画像が占める割合が所定割合以上の炎学習ブロック画像と、前記赤外線の熱気流画像が占める割合が所定割合以上の熱気流学習ブロック画像を含むことを特徴とする火災監視システム。
【請求項１２】
監視領域から放射される所定の紫外波長帯域の監視画像を撮像する撮像部と、
前記撮像部により撮像された前記監視画像から所定の紫外線強度以上の紫外線監視画像を抽出して複数のブロック画像に分割し、前記ブロック画像を多層式ニューラルネットワークによって構成される火災検出器に入力して火災を検出することを特徴とする火災監視システム。
【請求項１３】
請求項１２記載の火災監視システムに於いて、更に、
入力画像を学習画像として複数のブロック画像に分割すると共に、火災学習ブロック画像、正常学習ブロック画像、又は非学習ブロック画像に分類して学習画像記憶部に記憶させる学習画像生成部と、
前記学習画像記憶部に記憶された前記火災学習ブロック画像及び前記正常学習ブロック画像を前記火災検出器に入力して前記多層式ニューラルネットワークを学習させる学習制御部と、
が設けられ、
前記火災学習ブロック画像は、紫外線の炎画像が占める割合が所定割合以上の炎学習ブロック画像と、前記紫外線の炎周辺画像が占める割合が所定割合以上の炎周辺学習ブロック画像を含むことを特徴とする火災監視システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、監視カメラで撮像した監視領域の画像からニューラルネットワークにより火災を判断して警報させる火災監視システムに関する。
【背景技術】
【０００２】
従来、煙感知器や熱感知器など、特定の物理量を監視するセンサを用いて、火災を検出するシステムが実用化されている。
【０００３】
一方、従来、監視カメラで撮像した監視領域の画像に対し画像処理を施すことにより、火災を検知するようにした様々な装置やシステムが提案されている。
【０００４】
このような火災監視システムにあっては、火災発生に対する初期消火や避難誘導の観点から火災の早期発見が重要である。
【０００５】
このため従来装置（特許文献１）にあっては、画像から火災に伴う煙により起きる現象として、透過率又はコントラストの低下、輝度値の特定値への収束、輝度分布範囲が狭まって輝度の分散の低下、煙による輝度の平均値の変化、エッジの総和量の低下、低周波帯域の強度増加を導出し、これらを総合的に判断して煙の検出を可能としている。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２００８−０４６９１６号公報
【特許文献２】特開平７−２４５７５７号公報
【特許文献３】特開２０１０−２３８０２８号公報
【特許文献４】特開平６−３２５２７０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
しかしながら、特定の物理量を監視するセンサを用いた火災検出システムは、火災でない事象により監視基準が満たされた場合でも火災とみなし、正しく火災を検出できない問題があった。
【０００８】
また、従来の火災に伴う煙の画像から火災を検知する火災監視システムにあっては、煙の画像における透過率、コントラスト、エッジ等の煙の特徴量を予め定め、監視カメラで撮像した画像を処理することで煙による特徴を生成しなければならず、火災による煙の発生状況は多種多様であり、その中に煙としてどのような特徴があるかを見出すことは極めて困難であり、決め手となる特徴がなかなか見いだせないため、監視画像から火災による煙を精度良く判断して火災警報を出力する火災監視システムは実用化の途上にある。
【０００９】
一方、近年にあっては、例えば多数の猫と犬の画像にラベル付けをし、それを畳み込みニューラルネットワークを備えた多層式のニューラルネットワークに学習させ、所謂ディープラーニングを行い、新たな画像を学習済みの多層式のニューラルネットワークに提示し、それが猫なのか犬なのかを判定する技術が開示されている。
【００１０】
また、ディープラーニングは画像解析のみにとどまらず、自然言語処理や行動解析等に用いることが検討されている。
【００１１】
このような多層式のニューラルネットワークを、監視カメラで撮像した監視領域の画像を入力して火災を判断する判定装置に設け、学習時においては多数の火災時及び非火災時の画像を準備して多層式のニューラルネットワークに学習させ、監視時においては監視カメラで撮像した監視領域の画像を学習済みの多層式のニューラルネットワークに入力すれば、その出力から火災か否かを高い精度で推定して警報を出力させる火災監視システムが構築可能となる。
【００１２】
この場合、火災監視システムの製造段階で予め準備された多数の火災時及び非火災時の画像を教師ありの学習画像として多層式のニューラルネットワークの学習を行い、学習の済んだ多層式のニューラルネットワークを備えた判定装置を、監視する施設に設置し、監視領域に設置している監視カメラで撮像した画像を判定装置に入力して火災を監視することになる。
【００１３】
しかしながら、監視カメラで撮像された監視領域の画像の中で火災による炎や煙といった火災による特徴的な部分は狭い範囲に限られ、画像全体で多層式のニューラルネットワークを学習し、学習後に監視領域の画像を入力しても火災による特徴部分が狭い範囲に限られるため、火災の判定精度が低下する問題がある。
【００１４】
本発明は、画像全体に占める火災による特徴部分が狭い範囲に限られても、多層式のニューラルネットワークを効率良く学習させて火災の検出精度を向上可能とする火災監視システム及び火災監視方法を提供することを目的とする。
【課題を解決するための手段】
【００１５】
（火災監視システム）
本発明は、火災監視システムに於いて、撮像部により撮像された監視領域の監視画像を複数のブロック画像に分割し、ブロック画像を多層式ニューラルネットワークによって構成される火災検出器に入力して火災を検出することを特徴とする。
【００１６】
（ブロック画像による学習）
火災監視システムは、更に、
入力画像を学習画像として複数のブロック画像に分割すると共に、火災学習ブロック画像、正常学習ブロック画像、又は非学習ブロック画像に分類して学習画像記憶部に記憶させる学習画像生成部と、
学習画像記憶部に記憶された火災学習ブロック画像及び正常学習ブロック画像を火災検出器に入力して多層式ニューラルネットワークを学習させる学習制御部と、
が設けられる。
【００１７】
（ブロック画像の推定による学習）
多層式ニューラルネットワークに分割されたブロック画像を入力し、ブロック画像の種類を判定させ、当該判定結果を用いてブロック画像を分類して学習画像記憶部に記憶させる。
【００１８】
（火災検出ブロックの時系列変化による火災判定）
火災検出器は、火災が検出されたブロック画像の分布が時間の経過に伴い上方に移動及び又は拡大した場合に火災と判定する。
【００１９】
（火災検出ブロックの塊による火災判定）
火災検出器は、火災が検出されたブロック画像の集合の状態に基づき火災を判定する。
【００２０】
（火災が検出されたブロック画像の分布表示）
火災検出器は、火災が検出されたブロック画像の分布をモニタ部に画面表示させる。
【００２１】
（煙ブロックと炎ブロックの検出）
火災検出器は、ブロック画像を入力して火災の炎を検出する第１の多層式ニューラルネットワークと、ブロック画像を入力して火災の煙を検出する第２の多層式ニューラルネットワークを備え、更に、入力画像を学習画像として複数のブロック画像に分割すると共に、各ブロック画像に炎や煙の有無及び炎や煙の占める割合に応じて炎学習ブロック画像、煙学習ブロック画像、正常学習ブロック画像、又は非学習ブロック画像に分類して学習画像記憶部に記憶させる学習画像生成部と、学習画像記憶部に記憶された災学習ブロック画像及び正常学習ブロック画像を第１の多層式ニューラルネットワークに入力して学習させ、学習画像記憶部に記憶された煙学習ブロック画像及び正常学習ブロック画像を第２の多層式ニューラルネットワークに入力して学習させる学習制御部と、が設けられる。
【００２２】
（炎と煙が検出されたブロック画像の分布表示）
火災検出器は、炎と煙が検出されたブロック画像の分布をモニタ部に画面表示させる。
【００２３】
（赤外線画像による火災検出）
本発明の他の形態にあっては、火災監視システムに於いて、
監視領域から放射される所定の赤外線波長帯域の監視画像を撮像する撮像部と、
撮像部により撮像された監視画像から所定の赤外線強度以上の赤外線監視画像を抽出して複数のブロック画像に分割し、ブロック画像を多層式ニューラルネットワークによって構成される火災検出器に入力して火災を検出することを特徴とする。
【００２４】
（赤外線ブロック画像による学習）
火災監視システムに於いて、更に、
入力画像を学習画像として複数のブロック画像に分割すると共に、火災学習ブロック画像、正常学習ブロック画像、又は非学習ブロック画像に分類して学習画像記憶部に記憶させる学習画像生成部と、
学習画像記憶部に記憶された火災学習ブロック画像及び正常学習ブロック画像を火災検出器に入力して多層式ニューラルネットワークを学習させる学習制御部と、
が設けられ、
火災学習ブロック画像は、赤外線の炎画像が占める割合が所定割合以上の炎学習ブロック画像と、赤外線の熱気流画像が占める割合が所定割合以上の熱気流学習ブロック画像を含む。
【００２５】
（紫外線画像による火災検出）
本発明の別の形態にあっては、火災監視システムに於いて、
監視領域から放射される所定の紫外線波長帯域の監視画像を撮像する撮像部と、
撮像部により撮像された監視画像から所定の紫外線強度以上の紫外線監視画像を抽出して複数のブロック画像に分割し、ブロック画像を多層式ニューラルネットワークによって構成される火災検出器に入力して火災を検出することを特徴とする。
【００２６】
（紫外線ブロック画像による学習）
火災監視システムに於いて、更に、
入力画像を学習画像として複数のブロック画像に分割すると共に、火災学習ブロック画像、正常学習ブロック画像、又は非学習ブロック画像に分類して学習画像記憶部に記憶させる学習画像生成部と、
学習画像記憶部に記憶された火災学習ブロック画像及び正常学習ブロック画像を火災検出器に入力して多層式ニューラルネットワークを学習させる学習制御部と、
が設けられ、
火災学習ブロック画像は、紫外線の炎画像が占める割合が所定割合以上の炎学習ブロック画像と、紫外線の炎周辺画像が占める割合が所定割合以上の炎周辺学習ブロック画像を含む。
【発明の効果】
【００２７】
（基本的な効果）
本発明は、火災監視システムに於いて、撮像部により撮像された監視領域の監視画像を複数のブロック画像に分割し、前記ブロック画像を多層式ニューラルネットワークによって構成される火災検出器に入力して火災を検出するようにしたため、監視領域の画像全体に占める火災による炎や煙等の特徴的な部分が狭い範囲に限られても、監視画像を複数のブロック画像に分割することで、ブロック画像の画像全体に占める火災による特徴部分が広い範囲となり、ブロック画像を多層式ニューラルネットワークに入力した場合に、ブロック画像から高い精度で火災を推定して警報可能とする。
【００２８】
（ブロック画像による学習による効果）
火災監視システムは、更に、入力画像を学習画像として複数のブロック画像に分割すると共に、各ブロック画像に炎や煙の有無及び炎や煙の占める割合に応じて火災学習ブロック画像、正常学習ブロック画像、又は非学習ブロック画像に分類して学習画像記憶部に記憶させる学習画像生成部と、学習画像記憶部に記憶された火災学習ブロック画像及び正常学習ブロック画像を火災検出器に入力して多層式ニューラルネットワークを学習させる学習制御部とが設けられたため、例えば火災実験等により監視カメラで撮像された火災時の画像を学習画像として複数のブロック画像に分割し、炎や煙が全くないブロック画像は正常ブロック画像とし、炎や煙が目視されて大半を占めるブロック画像は火災ブロック画像とし、目視が難しい煙や炎があるが全体的には正常なブロック画像は非学習ブロック画像とする分類を行って記憶し、記憶された火災ブロック画像及び正常ブロック画像を火災検出器の多層式ニューラルネットワークに入力して学習させることで、学習ブロック画像の全体に占める火災による特徴部分を広い範囲とすることができ、監視領域の画像をブロック画像に分割して入力した場合に、高い精度で火災を検出可能とし、また、非火災要因に対する誤検出を防止し、結果的に火災の検出精度を向上させることを可能とする。
【００２９】
（炎学習ブロック画像と煙学習ブロック画像による効果）
また、火災学習ブロック画像は、火災による炎が占める割合が所定割合以上の炎学習ブロック画像と、火災による煙が占める割合が所定割合以上の煙学習ブロック画像を含むようにしたため、火災学習画像から分割されたブロック画像につき、火災の特徴的部分となる炎や煙が確実に目視されるブロック画像を火災学習画像に分類することができ、火災の特徴的部分をもつブロック画像により多層式ニューラルネットワークの火災の推定精度を高める学習を可能とする。
【００３０】
（ブロック画像の推定による学習の効果）
また、多層式ニューラルネットワークに分割されたブロック画像を入力し、ブロック画像の種類を判定させ、当該判定結果を用いてブロック画像を分類して学習画像記憶部に記憶させるようにしたため、例えば分割されたブロック画像ごとに手動でブロック画像の種類を設定するような場合に設定者は確認行為を行うだけで設定可能となる。
【００３１】
また、ブロック分布が入力画像と重ね合わされて出力され、設定者は非学習のブロックの設定や、ブロック画像の検出結果の修正を行うだけでブロック画像の種類を設定することが可能となり、作業性を向上させることができる。また、現時点における多層ニューラルネットワークの判定精度を確認することが可能となる。また、多層ニューラルネットワークの判定精度の向上に従い作業性は向上する。
【００３２】
（火災検出ブロックの時系列変化による火災判定による効果）
また、火災検出器は、火災が検出されたブロック画像の分布が時間の経過に伴い上方に移動及び又は拡大した場合に火災と判定するようにしたため、多層式ニューラルネットワークによるブロック画像の火災判定に加え、火災が検出されたブロック画像の時系列的な分布の変化から火災に特有な炎や煙の時間的な動きを捉えることで、火災の判定精度を更に向上可能とする。また、多層式ニューラルネットワークによりブロック画像の火災が判定されても、これが調理に伴う炎や煙等の非火災要因による場合は、時間が経過しても火災が検出されたブロック画像の分布が大きく拡大することなく、ある範囲にとどまっており、非火災要因による誤報を確実に防止可能とする。
【００３３】
（火災検出ブロックの時系列変化による火災判定）
火災が検出されたブロック画像の時系列的な分布の変化から火災に特有な炎や煙の時間的な動きを捉えることで、火災の判定精度を更に向上可能とする。また、多層式ニューラルネットワークによりブロック画像の火災が判定されても、これが調理に伴う炎や煙等の非火災要因による場合は、時間が経過しても火災が検出されたブロック画像の分布が大きく拡大することなく、ある範囲にとどまっており、非火災要因による誤報を確実に防止可能とする。
【００３４】
（火災検出ブロックの塊による火災判定）
火災検出器は、火災が検出されたブロック画像の集合の状態に基づき火災を判定するようにしたため、多層式ニューラルネットワークによるブロック画像の火災判定に加え、火災に特有な炎や煙の成長状態を捉えることで、火災の判定精度を更に向上可能とする。
【００３５】
また、多層式ニューラルネットワークによりブロック画像の火災が判定されても、これが照明等による誤検出の場合は、時間が経過しても火災が検出されたブロック画像の塊が大きく拡大することなく、ある範囲にとどまっており、非火災要因による誤報を確実に防止可能とする。
【００３６】
（火災が検出されたブロック画像の分布表示による効果）
また、火災検出器は、火災が検出されたブロック画像の分布をモニタ部に画面表示させるようにしたため、監視画像を分割したブロック画像につき、火災と正常のブロック画像の分布が例えば防災センターのモニタ画面に表示されることで、監視画像と連携した火災による炎や煙の状況を目視により確認可能とし、初期消火や避難誘導等の適切な対処を可能とする。
【００３７】
また、火災と正常のブロック分布が例えば防災センターのモニタ画面に表示された監視画像に重ねて表示させることで、監視画像と連携した火災状況の目視による確認を更に行い易くできる。
【００３８】
特に、監視領域の火点が物陰に隠れているような場合、ブロック画像の分布表示を行わないと煙だけしか確認するものがなく、煙を見落とすことにより誤報と勘違いしてしまう可能性がある。ブロック画像の分布表示を行うことで、煙の状況を確実に確認することができ、さらにブロックを辿ることで煙が物陰から発生していることを想起でき、火災状況を認識しやすくなる。
【００３９】
（煙ブロックと炎ブロックの検出による効果）
また、火災検出器は、ブロック画像を入力して火災の炎を検出する第１の多層式ニューラルネットワークと、ブロック画像を入力して火災の煙を検出する第２の多層式ニューラルネットワークを備え、更に、入力画像を学習画像として複数のブロック画像に分割すると共に、各ブロック画像に炎や煙の有無及び炎や煙の占める割合に応じて炎学習ブロック画像、煙学習ブロック画像、正常学習ブロック画像、又は非学習ブロック画像に分類して学習画像記憶部に記憶させる学習画像生成部と、学習画像記憶部に記憶された災学習ブロック画像及び正常学習ブロック画像を第１の多層式ニューラルネットワークに入力して学習させ、学習画像記憶部に記憶された煙学習ブロック画像及び正常学習ブロック画像を第２の多層式ニューラルネットワークに入力して学習させる学習制御部が設けられたため、炎の学習ブロック画像と煙の学習ブロック画像を生成して、それぞれ異なる第１と第２の多層式ニューラルネットワークに入力して学習させることで、監視画像を分割したブロック画像の入力に対し第１のニューラルネットワークはブロック画像の炎の有無を高い精度で検出し、第２の多層式ニューラルネットワークはブロック画像の煙を高い精度で検出し、両者を組み合わせることで、より精度の高い火災判定を可能とする。
【００４０】
（炎と煙が検出されたブロック画像の分布表示の効果）
また、火災検出器は、災と煙が検出されたブロック画像の分布をモニタ部に画面表示させるようにしたため、炎、煙及び正常のブロック分布が例えば防災センターのモニタ画面に表示された監視画像に重ねて表示されることで、監視画像と連携した火災による炎や煙の状況の目視による確認を更に行い易くできる。
【００４１】
（赤外線画像による火災検出の効果）
本発明の別の形態にあっては、火災監視システムに於いて、監視領域から放射される所定の赤外線波長帯域の監視画像を撮像する撮像部と、撮像部により撮像された監視画像から所定の赤外線強度以上の赤外線監視画像を抽出して複数のブロック画像に分割し、ブロック画像を多層式ニューラルネットワークによって構成される火災検出器に入力して火災を検出するようにしたため、撮像部により撮像された例えば７〜１４μｍの赤外線波長帯域の監視画像として、監視領域の温度に対応した輝度の赤外線画像が得られ、可視光画像では炎や煙が見えづらい燻燃火災やコンセントや配線の異常加熱等の火災の前兆現象等を捉えて早期に火災を検出することを可能とする。
【００４２】
また、監視領域の画像全体に占める火災や火災原因となる高温部分が狭い範囲に限られても、赤外線波長帯域の監視画像を複数のブロック画像に分割することで、ブロック画像の画像全体に占める火災や火災原因による特徴部分が広い範囲となり、ブロック画像を多層式ニューラルネットワークに入力した場合に、ブロック画像から高い精度で火災を推定して警報可能とする。
【００４３】
（赤外線ブロック画像による学習の効果）
また、火災監視システムに於いて、更に、入力画像を学習画像として複数のブロック画像に分割すると共に、火災学習ブロック画像、正常学習ブロック画像、又は非学習ブロック画像に分類して学習画像記憶部に記憶させる学習画像生成部と、学習画像記憶部に記憶された火災学習ブロック画像及び正常学習ブロック画像を火災検出器に入力して多層式ニューラルネットワークを学習させる学習制御部とが設けられ、火災学習ブロック画像は、赤外線の炎画像が占める割合が所定割合以上の炎学習ブロック画像と、赤外線の熱気流画像が占める割合が所定割合以上の熱気流学習ブロック画像を含むようにしたため、例えば火災実験等により監視カメラで撮像された赤外線画像（温度分布画像）を学習画像として複数のブロック画像に分割し、火災又は火災の原因となる高温領域の全くないブロック画像は正常ブロック画像とし、炎や熱気流による高温領域が大半を占めるブロック画像は火災ブロック画像とし、赤外線画像は僅かにあるが全体的には正常なブロック画像は非学習ブロック画像とする分類を行って記憶し、記憶された火災ブロック画像及び正常ブロック画像を火災検出器の多層式ニューラルネットワークに入力して学習させることで、学習ブロック画像の全体に占める火災による赤外線画像の特徴部分を広い範囲とすることができ、監視領域の画像をブロック画像に分割して入力した場合に、高い精度で火災を検出可能とし、また、非火災要因に対する誤検出を防止し、結果的に火災の検出精度を向上させることを可能とする。
【００４４】
（紫外線画像による火災検出）
本発明の別の形態にあっては、火災監視システムに於いて、撮像部により撮像された所定の紫外光波長帯域の監視画像を複数のブロック画像に分割し、ブロック画像を多層式ニューラルネットワークによって構成される火災検出器に入力して火災を検出するようにしたため、撮像部により撮像された例えば水素ガスの燃焼による炎に特有なＯＨ基の共鳴放射帯である２８０ｎｍ〜３０９ｎｍを含む例えば２００〜４０００μｍとなる紫外線波長帯域の監視画像として、監視領域の紫外線強度に対応した赤外線画像が得られ、可視光画像では極めて見えづらい水素ガスの燃焼による火災を確実に検出することを可能とする。
【００４５】
また、監視領域の画像全体に占める水素ガスの炎部分が狭い範囲に限られても、紫外線波長帯域の監視画像を複数のブロック画像に分割することで、ブロック画像の画像全体に占める水素ガスの燃焼炎による特徴部分が広い範囲となり、ブロック画像を多層式ニューラルネットワークに入力した場合に、ブロック画像から高い精度で水素ガスの燃焼による火災を推定して警報可能とする。
【００４６】
（紫外線ブロック画像による学習）
また、火災監視システムは、更に、入力画像を学習画像として複数のブロック画像に分割すると共に、火災学習ブロック画像、正常学習ブロック画像、又は非学習ブロック画像に分類して学習画像記憶部に記憶させる学習画像生成部と、学習画像記憶部に記憶された火災学習ブロック画像及び正常学習ブロック画像を火災検出器に入力して多層式ニューラルネットワークを学習させる学習制御部とが設けられ、火災学習ブロック画像は、紫外線の炎画像が占める割合が所定割合以上の炎学習ブロック画像と、紫外線の炎周辺画像が占める割合が所定割合以上の炎周辺学習ブロック画像を含むようにしたため、例えば火災実験等により監視カメラで撮像された所定紫外線強度を超える水素ガス燃焼時の紫外線画像を学習画像として複数のブロック画像に分割し、紫外線画像の全くないブロック画像は正常ブロック画像とし、炎及び炎周辺の紫外線画像が大半を占めるブロック画像は火災ブロック画像とし、紫外線画像が僅かにあるが全体的には正常なブロック画像は非学習ブロック画像とする分類を行って記憶し、記憶された火災ブロック画像及び正常ブロック画像を火災検出器の多層式ニューラルネットワークに入力して学習させることで、学習ブロック画像の全体に占める水素ガスの燃焼による火災画像の特徴部分を広い範囲とすることができ、監視領域の画像をブロック画像に分割して入力した場合に、高い精度で水素ガスの燃焼による火災を検出可能とし、また、非火災要因に対する誤検出を防止し、結果的に水素ガスの燃焼による火災の検出精度を向上させることを可能とする。
【図面の簡単な説明】
【００４７】
【図１】監視カメラにより火災を監視する火災監視システムの概略を示した説明図
【図２】監視カメラで撮像した火災時の画像から学習ブロック画像を生成する学習画像生成装置と監視領域のブロック画像から火災を推定する多層式ニューラルネットワークを用いた判定装置の機能構成を示した説明図
【図３】図２に示した多層式ニューラルネットワークの機能構成を示した説明図
【図４】監視領域の火災実験により撮像された学習画像のブロック分割とブロック画像の炎、煙、正常、非学習の分類を示した説明図
【図５】図４に対し時間が経過した後の監視領域の火災実験により撮像された学習画像のブロック分割とブロック画像の炎、煙、正常、非学習の分類を示した説明図
【図６】図２の学習画像生成装置による学習画像生成制御を示したフローチャート
【図７】図２の判定装置による火災検出制御を示したフローチャート
【図８】監視画像に重ねて火災検出ブロックの分布を表示させたモニタ画面の一例を示した説明図
【図９】炎検出用と煙検出用の多層式ニューラルネットワークを設けた判定装置の機能構成を学習画像生成装置と共に示したブロック図
【図１０】サーモ監視カメラにより赤外線画像を撮像して火災を監視する火災監視システムの概略を示した説明図
【図１１】サーモ監視カメラで撮像した火災時の赤外線画像から学習ブロック画像を生成する学習画像生成装置と監視領域のブロック画像から火災を推定する多層式ニューラルネットワークを用いた判定装置の機能構成を示した説明図
【図１２】監視領域の火災実験により撮像された赤外線学習画像のブロック分割とブロック画像の炎、熱気流、正常、非学習の分類を示した説明図
【図１３】図１２に対し時間が経過した後の監視領域の火災実験により撮像された赤外線学習画像のブロック分割とブロック画像の炎、熱気流、正常、非学習の分類を示した説明図
【図１４】紫外線監視カメラにより紫外線画像を撮像して火災を監視する火災監視システムの概略を示した説明図
【図１５】紫外線監視カメラで撮像した火災時の紫外線画像から学習ブロック画像を生成する学習画像生成装置と監視領域のブロック画像から火災を推定する多層式ニューラルネットワークを用いた判定装置の機能構成を示した説明図
【発明を実施するための形態】
【００４８】
［火災監視システムの概要］
図１は監視カメラにより火災を監視する火災監視システムの概略を示した説明図である。
【００４９】
図１に示すように、ビル等の施設の監視領域１５−１、１５−２にはそれぞれ撮像手段として機能する監視カメラ１６−１、１６−２が設置され、監視領域１５−１を監視カメラ１６−１により動画撮影し、監視領域１５−２を監視カメラ１６−２により動画撮像している。
【００５０】
監視領域１５−１、１５−２は特に区別の必要がないときは監視領域１５として、監視カメラ１６−１、１６−２は特に区別の必要がないときは監視カメラ１６として記述する。
【００５１】
監視カメラ１６はＲＧＢのカラー画像を例えば３０フレーム／秒で撮像して動画として出力する。また、１フレームは例えば縦横３８４０×２１６０ピクセルの画素配置となる。
【００５２】
また、監視領域１５−１、１５−２にはそれぞれオンオフ型の火災感知器１８−１、１８−２が設置されており、火災による温度又は煙濃度を検出し、所定の閾値レベルを超えた場合に発報し、火災発報信号を出力するようにしている。火災感知器１８−１、１８−２は特に区別の必要がないときは火災感知器１８として記述する。
【００５３】
監視領域１５−１，１５−２に対し施設の防災監視センターや管理人室等には、監視カメラ１６−１，１６−２に対応して判定装置１０−１，１０−２と学習画像生成装置１２−１，１２−２が設置され、更に、火災報知設備の火災受信機１４が設置されている。
【００５４】
判定装置１０−１、１０−２は特に区別の必要がないときは判定装置１０として、学習画像生成装置１２−１，１２−２は特に区別の必要がないときは学習画像生成装置１２として記述する。
【００５５】
判定装置１０−１には監視領域１５−１に設置された監視カメラ１６−１が信号ケーブル２０−１により接続され、判定装置１０−２には監視領域１５−２に設置された監視カメラ１６−２が信号ケーブル２０−２により接続され、それぞれ監視カメラ１６−１，１６−２で撮像された動画画像を入力している。
【００５６】
火災受信機１４からは監視領域１５−１,１５−２に感知器回線２２が引き出され、感知器回線２２単位に火災感知器１８−１，１８−２が接続され、火災感知器１８−１，１８−２からの火災発報信号を感知器回線２２単位に受信して火災警報を出力している。
【００５７】
判定装置１０は多層式ニューラルネットワークを備え、監視カメラ１６から送られてきた動画画像をフレーム単位に入力し、入力したフレーム画像となる監視画像を例えば縦横９×１５の１３５ブロックのブロック画像に分割し、各ブロック画像を多層式ニューラルネットワークに入力してブロック画像単位に火災ブロック画像か正常ブロック画像かを検出し、火災検出ブロック画像の時系列的な分布変化に基づき火災の有無を判定し、火災を判定した場合は火災判定信号を火災受信機１４に出力し、例えば、火災予兆を示す火災予兆警報等を出力させる。
【００５８】
学習画像生成装置１２は、監視領域１５の火災時の画像を学習画像として入力して例えば縦横９×１５の１３５ブロックのブロック画像に分割し、各ブロック画像を、炎や煙の有無及び炎や煙の占める割合に応じて炎学習ブロック画像、煙学習ブロック画像、正常学習ブロック画像、又は非学習ブロック画像に分類して記憶させる。ここで、炎学習ブロック画像と煙学習ブロック画像は、火災学習ブロック画像に含まれる。
【００５９】
学習画像生成装置１２に記憶された炎学習ブロック画像、煙学習ブロック画像及び正常学習ブロック画像は、判定装置１０に設けられた学習制御部により読み出され、判定装置１０の多層式ニューラルネットワークに入力してディープラーニングより学習させる。
【００６０】
［判定装置及び学習画像生成装置］
図２は監視カメラで撮像した火災時の画像から学習ブロック画像を生成する学習画像生成装置と火災を推定する多層式ニューラルネットワークを用いた判定装置の機能構成を示した説明図である。
【００６１】
（判定装置の機能構成）
図２に示すように、判定装置１０は、火災検出器２４と学習制御部２６を備え、火災検出器２４は画像入力部２８、多層式ニューラルネットワーク３０および判定部３２で構成される。ここで、火災検出器２４及び学習制御部２６の機能は、ニューラルネットワークの処理に対応したコンピュータ回路のＣＰＵによるプログラムの実行により実現される。
【００６２】
火災検出器２４は監視カメラ１６により撮像された監視領域の動画画像を、フレーム単位に監視画像として画像入力部２８に入力し、画像入力部２８で例えば縦横９×１５の１３５ブロックのブロック画像に分割し、各ブロック画像を多層式ニューラルネットワーク３０に順次入力し、炎ブロック推定値ｙ１、煙ブロック推定値ｙ２及び正常ブロック推定値ｙ３を出力する。
【００６３】
判定部３２は多層式ニューラルネットワーク３０から出力されたブロック画像の推定値ｙ１〜ｙ３を所定の閾値と比較して炎ブロックか、煙ブロックか、正常ブロックかを判定し、入力された監視画像単位に炎ブロックと煙ブロックを含む火災検出ブロックの分布を求めて記憶し、所定時間分の火災検出ブロックの分布の時系列的な変化から火災に特有な変化、例えば、火災検出ブロックの分布が時間の経過に伴い上方に移動及び又は拡大した場合に火災と判定し、火災判定信号を火災受信機１４に出力して例えば火災予兆警報を出力させる。
【００６４】
学習制御部２６は、システム立上げ時等に、学習画像生成装置１２で予め生成されて記憶されている炎学習ブロック画像、煙学習ブロック画像及び正常学習ブロック画像を順次読み出し、画像入力部２８を介して多層式ニューラルネットワーク３０に教師ありのブロック画像として入力し、例えばバックプロパゲーション法（誤差逆伝播法）等の学習法により多層式ニューラルネットワーク３０の重みとバイアスを学習させる。
【００６５】
この教師ありのブロック画像を用いて学習の済んだ多層式ニューラルネットワーク３０に、監視カメラ１６で撮像された監視領域の画像を分割したブロック画像を入力すると、炎、煙、正常のクラス（種別）を示す推定値ｙ１，ｙ２，ｙ３が出力される。
【００６６】
ここで、炎ブロック推定値ｙ１、煙ブロック推定値ｙ２及び正常ブロック推定値ｙ３は、理想的には次のようになる。
炎ブロックの場合は（ｙ１，ｙ２，ｙ３）  ＝（１，０，０）
煙ブロックの場合は（ｙ１，ｙ２，ｙ３）  ＝（０，１，０）
正常ブロックの場合は（ｙ１，ｙ２，ｙ３）＝（０，０，１）
【００６７】
実際のブロック画像を多層式ニューラルネットワーク３０に入力した場合は、推定値ｙ１〜ｙ３の総和は１で、それぞれは０〜１の間の値をとることから、推定値ｙ１〜ｙ３を判定部３２に入力して所定の閾値、例えば０．５と比較し、閾値以上となる炎ブロック、煙ブロック又は正常ブロックを判定結果し、前述したように、炎ブロックと煙ブロックを含む火災検出ブロックの分布を所定時間に亘り求め、火災に固有な火災検出ブロックの時系列的な変化を検出した場合に火災を判定して火災判定信号を火災受信機１４に出力し、火災受信機１４から例えば火災予兆警報を出力させる。
【００６８】
なお、判定装置１０にモニタ装置を設け、火災を判定した場合に監視カメラ１６により撮像している火災が判定された監視領域の画像を画面表示し、併せて、火災検出ブロックの分布を監視領域の画像に重ね合わせて表示させ、火災受信機１４からの火災予兆警報を知った管理責任者や防災担当者による火災確認ができるようにしても良い。この場合、判定装置１０の操作部に火災断定スイッチを設け、モニタ画像から火災を確認した場合に火災断定スイッチを操作すると、火災受信機１４に発信機を操作した場合と同様に、火災通報信号を出力し、火災受信機１４から火災警報を出力させるようにしても良い。
【００６９】
［多層式ニューラルネットワーク］
図３は図２に示した多層式ニューラルネットワークの機能構成を示した説明図であり、図３（Ａ）に概略を示し、図３（Ｂ）に詳細を模式的に示している。
【００７０】
図３（Ａ）に示すように、本実施形態の多層式ニューラルネットワーク３０は、特徴抽出部５８と認識部６０で構成される。特徴抽出部５８は畳み込みニューラルネットワークであり、認識部６０は全結合ニューラルネットワークである。
【００７１】
多層式ニューラルネットワーク３０は、深層学習（ディープラーニング）を行うニューラルネットワークであり、中間層を複数つなぎ合わせた深い階層をもつニューラルネットワークであり、特徴抽出となる表現学習を行う。
【００７２】
通常のニューラルネットワークは、画像から火災を推定するための特徴抽出には、人為的な試行錯誤による作業を必要とするが、多層式ニューラルネットワーク３０では、特徴抽出部５８として畳み込みニューラルネットワークを用いることで、画像の画素値を入力とし、学習により最適な特徴を抽出し、認識部６０の全結合ニューラルネットワークに入力して火災か非火災かを推定する。
【００７３】
認識部６０の全結合ニューラルネットワークは、図３（Ｂ）に模式的に示すように、入力層６６、全結合６８、中間層７０と全結合６８の繰り返し、及び出力層７２で構成されている。
【００７４】
ここで、認識部６０の全結合ニューラルネットワークは、ブロック画像を炎、煙、及び正常の３クラスに分類する多クラス分類を行うことから、最後の出力層７２には、目的とする３クラスと同じ３ユニットを配置し、これらのユニットへの入力を、ソフトマックス関数を用いて、総和が１の出力ｙ１，ｙ２，ｙ３となるようにしており、各ユニットの出力ｙ１，ｙ２，ｙ３はそのクラスに属する確率を示すことになる。
【００７５】
（畳み込みニューラルネットワーク）
図３（Ｂ）は特徴抽出部５８を構成する畳み込みニューラルネットワークの構造を模式的に示している。
【００７６】
畳み込みニューラルネットワークは、通常のニューラルネットワークとは少し特徴が異なり、視覚野から生物学的な構造を取り入れている。視覚野には、視野の小区域に対し敏感な小さな細胞の集まりとなる受容野が含まれており、受容野の挙動は、行列の形で重み付けを学習することで模倣できる。この行列は重みフィルタ（カーネル）呼ばれ、生物学的に受容野が果たす役割と同様に、ある画像の類似した小区域に対して敏感になる。
【００７７】
畳み込みニューラルネットワークは、畳み込み演算により、重みフィルタと小区域との間の類似性を表すことでき、この演算を通して、画像の適切な特徴を抽出することができる。
【００７８】
畳み込みニューラルネットワークは、図３（Ｂ）に示すように、まず、ブロック画像として入力される入力画像６２に対し重みフィルタ６３により畳み込み処理を行う。例えば、重みフィルタ６３は縦横３×３の所定の重み付けがなされた行列フィルタであり、入力画像６２の各画素にフィルタ中心を位置合わせしながら畳み込み演算を行うことで、入力画像６２の９画素を小区域となる特長マップ６４ａの１画素に畳み込み、複数の特徴マップ６４ａが生成される。
【００７９】
続いて、畳み込み演算により得られた特徴マップ６４ａに対しプーリングの演算を行う。プーリングの演算は、識別に不必要な特徴量を除去し、識別に必要な特徴量を抽出する処理である。
【００８０】
続いて、重みフィルタ６５ａ，６５ｂを使用した畳み込み演算とプーリングの演算を多段に繰り返して特徴マップ６４ｂ，６４ｃが得られ、最後の層の特徴マップ６４ｃを認識部６０に入力し、通常の全結合ニューラルネットワークを用いた認識部６０により火災か非火災かを推定する。
【００８１】
なお、畳み込みニューラルネットワークにおけるプーリングの演算は、火災か非火災かの推定に不必要な特徴量が必ずしも明確でなく、必要な特徴量を削除する可能性があることから、プーリングの演算は行わないようにしても良い。
【００８２】
［多層式ニューラルネットワークの学習］
（バックプロパゲーション）
入力層、複数の中間層及び出力層で構成されるニューラルネットワークは、各層に複数のユニットを設けて他の層の複数のユニットと結合し、各ユニットには重みとバイアス値が選択され、複数の入力値と重みとのベクトル積を求めてバイアス値を加算して総和を求め、これを所定の活性化関数に通して次の層のユニットに出力するようにしており、最終層に到達するまで値が伝播するフォワードプロパゲーションが行われる。
【００８３】
このようなニューラルネットワークの重み（ウェイト）やバイアスを変更するには、バックプロパゲーションとして知られている学習アルゴリズムを使用する。バックプロパゲーションでは、入力値ｘと期待される出力値（期待値）ｙというデータセットをネットワークに与えた場合の教師ありの学習と、入力値ｘのみをネットワークに与えた場合の教師なしの学習があり、本実施形態は、教師ありの学習を行う。
【００８４】
教師ありの学習でバックプロパゲーションを行う場合は、ネットワークを通ってきたフォワードプロパゲーションの結果である推定値ｙ＊と期待値yの値を比較する誤差として、例えば、平均二乗誤差の関数を使用する。
【００８５】
バックプロパゲーションでは、推定値ｙ＊と期待値ｙの誤差の大きさを使い、ネットワークの後方から前方まで重みとバイアスを補正しながら値を伝播させる。各重みとバイアスについて補正した量は、誤差への寄与として扱われ、最急降下法で計算され、重みとバイアスの値を変更することにより、誤差関数の値を最小化する。
【００８６】
ニューラルネットワークに対するバックプロパゲーションによる学習の手順は次にようになる。
（１）  入力値ｘをニューラルネットワークに入力して、フォワードプロパゲーションを行い推定値ｙ＊を求める。
（２）  推定値ｙ＊と期待値ｙに基づき誤差関数で誤差を計算する。
（３）  重みとバイアスを更新しながら、ネットワークにて、バックプロパゲーションを行う。
【００８７】
この手順は、ニューラルネットワークの重みとバイアスの誤差が可能な限り最小になるまで、異なる入力値ｘと期待値ｙの組み合わせを使って繰り返し、誤差関数の値を最小化する。
【００８８】
図３（Ｂ）に示す多層式ニューラルネットワーク３０の教師ありの学習制御では、炎学習ブロック画像の期待値（ｙ１，ｙ２，ｙ３）  ＝（１，０，０）
煙学習ブロック画像の期待値（ｙ１，ｙ２，ｙ３）  ＝（０，１，０）
正常学習ブロック画像の期待値（ｙ１，ｙ２，ｙ３）＝（０，０，１）
を使用し、前述したバックプロパゲーションを行う。
【００８９】
なお、教師なしの学習でバックプロパゲーションを行う場合は、推定値ｙ＊と入力値ｘの誤差の大きさを使い、ネットワークの後方から前方まで重みとバイアスを補正しながら値を伝播させる。この場合にも各重みとバイアスについて補正した量は、誤差への寄与として扱われ、最急降下法で計算され、重みとバイアスの値を変更することにより、誤差関数の値を最小化する。
【００９０】
［学習画像生成装置の機能構成］
図２に示すように、学習画像生成装置１２は、学習画像生成制御部３４、録画部３６、火災画像記憶部３８、ブロック画像記憶部４０、学習画像記憶部４２、操作部４４及びモニタ部４６で構成され、学習画像生成制御部３４の機能はコンピュータ回路のＣＰＵによるプログラムの実行により実現される。また、録画部３６、火災画像記憶部３８、ブロック画像記憶部４０、学習画像記憶部４２は機能毎に分けているが、ハードウェアとしては単一の記憶部を使用している。
【００９１】
録画部３６には、監視領域１５で行った火災実験を監視カメラ１６で撮像した火災動画が録画される。監視カメラ１６はＲＧＢのカラー画像を例えば３０フレーム／秒で撮像して動画として出力し、これが火災動画として録画部３６に録画される。また、録画部３６に録画された火災動画の１フレームは例えば４Ｋ画像の場合、縦横２１６０×３８４０ピクセルの画素配置となる。
【００９２】
学習画像生成制御部３４は、操作部４４による所定の学習画像生成操作が行われると、録画部３６からフレーム単位に火災画像を学習画像として読出し、例えば４Ｋ画像の場合、縦横９×１５の１３５ブロックのブロック画像に分割し、ブロック画像記憶部４０に記憶させると共にモニタ部４６に画面表示させる。
【００９３】
図４は監視領域の火災実験等により撮像された学習画像のブロック分割とブロック画像の炎、煙、正常、非学習の分類を示した説明図である。
【００９４】
図４（Ａ）に示すように、モニタ部４６には、録画部３６から読み込まれてブロック分割された火災画像４８−１が表示される。本実施形態では、図面の簡略化のため、火災画像４８−１は縦横６×７の４２ブロックのブロック画像に分割されている。
【００９５】
火災画像４８−１は、燃焼物５０に例えば角材を積み上げて燃焼物として着火し、着火後に炎５２が少し上がり、その上に煙５４が上がっている火災初期段階の画像である。
【００９６】
このようなブロック分割された火災画像４８−１に対し、正常学習ブロック画像Ｎ、煙学習ブロック画像Ｓ、炎学習ブロック画像Ｆ、又は非学習ブロック画像ＮＧとするブロック画像の分類を、操作者の目視判断により行う。
【００９７】
この際、多層式ニューラルネットワークに分割されたブロック画像を入力し、その結果に応じて、火災検出ブロックを火災学習ブロック画像として、炎検出ブロックを炎学習ブロック画像として、煙検出ブロックを煙学習ブロックとして、火災を検出しないブロックを正常学習ブロックとして、モニタ部４６にそれぞれの分類に応じてブロックの枠色を変化させて画像に重ね合わせて表示されるようにし、この結果を手動で編集するようにしても良い。このようにすることで、ブロック画像の分類の手間を削減することが出来、同時に現在の火災検出器の精度を確認することができる。
【００９８】
ここで、正常学習ブロック画像Ｎは炎や煙が全くないブロックであり、煙学習ブロック画像Ｓは煙が目視でき大半を占めるブロックであり、炎学習ブロック画像Ｆは炎が大半を占めるブロックであり、また、非学習ブロック画像ＮＧは目視が難しい煙や炎があるがほとんど正常なブロックである。
【００９９】
図４（Ｂ）は、図４（Ａ）の火災画像４８−１におけるブロック分類画像５６−１であり、燃焼物５０のあるブロックが炎学習ブロック画像Ｆとなり、その直上及び斜め右上方向の７つのブロックが煙学習ブロック画像Ｓとなり、右上隅の３つのブロックが非学習ブロック画像ＮＧとなり、それ以外のブロックが正常学習ブロック画像Ｎとなっている。
【０１００】
なお、図４（Ｂ）に示すブロック分類画像５６−１は、例えば左上隅を初期位置とした行番号１〜６と列番号１〜７で特定されるブロックアドレス（二元アドレス）Ａ１１〜Ａ６７に対応して正常学習ブロック画像Ｎ、煙学習ブロック画像Ｓ、炎学習ブロック画像Ｆ、又は非学習ブロック画像ＮＧを示す識別情報を格納したデータ形式で記憶される。
【０１０１】
図５は図４に対し時間が経過した後の監視領域の火災実験により撮像された学習画像のブロック分割とブロック画像の炎、煙、正常、非学習の分類を示した説明図である。
【０１０２】
図５（Ａ）に示すブロック分割された火災画像４８−２にあっては、図４（Ａ）に対し時間の経過に伴い火災が拡大し、燃焼物５０からの炎５２は大きく立ち上がっており、炎５２の上の煙５４はその量が減った状態となっている。
【０１０３】
図５（Ｂ）は、図５（Ａ）の火災画像４８−２におけるブロック分類画像５６−２であり、燃焼物５０のある２つのブロックが炎学習ブロック画像Ｆとなり、その直上の２つのブロックが煙学習ブロック画像Ｓとなり、その上の１つのブロックが非学習ブロック画像ＮＧとなり、それ以外のブロックが正常学習ブロック画像Ｎとなっている。
【０１０４】
なお、図４（Ａ）及び図５（Ａ）は火災画像の一例であり、実際には、燃焼物の着火から図４（Ａ）を経て図５（Ａ）のように炎が燃え上がるように拡大して行く火災動画が録画されていることから、例えば着火から５分間の録画をフレーム単位に読み出すと、９０００枚の火災画像が得られ、それぞれ縦横６×７の４２ブロックのブロック画像に分割して分類することで、正常ブロック画像Ｎ、炎学習ブロック画像Ｆ及び煙学習ブロック画像Ｓが最大で３７８，０００枚生成できる。
【０１０５】
実際には、一部に非学習ブロック画像ＮＧが例えば１０パーセント以下の割合で存在することが想定され、それでも３４０，０００枚程度の正常ブロック画像Ｎ、炎学習ブロック画像Ｆ及び煙学習ブロック画像Ｓを含む学習ブロック画像が生成され、火災検出器２４の多層式ニューラルネットワーク３０の学習に十分な数の学習ブロック画像が生成される。
【０１０６】
また、火災により発生する煙は、燃焼する燃焼物の材質により異なる。例えば燃焼物の材質が木材、布、紙等の場合は白い煙となり、また、燃焼物の材質が合成樹脂や油の場合は黒い煙となることが多い。このため火災学習データの生成にあっては、燃焼物の材質を変えた火災実験を監視カメラ１６により撮像して録画し、この録画画像を読み出してブロック分割して正常学習ブロック画像Ｎ、煙学習ブロック画像Ｓ、炎学習ブロック画像Ｆ、又は非学習ブロック画像ＮＧとするブロック画像の分類を行い、正常学習ブロック画像Ｎ、煙学習ブロック画像Ｓ、炎学習ブロック画像Ｆを、燃焼物の材質により異なる煙毎に生成して、火災検出器２４の多層式ニューラルネットワーク３０を学習にさせる。
【０１０７】
なお、火災画像を分割したブロック画像の分類は、操作者の目視による手動操作による分類以外に、例えばブロック単位に画素の輝度の総和を求めて自動的に判定して分類するようにしても良い。
【０１０８】
また、火災実験による火災画像の撮像は、監視領域１５では行えない場合もあることから、この場合には、システム製造側の火災実験施設を使用して行った火災実験を撮像して録画した動画を利用する。このように監視領域１５以外の場所で撮像した火災の動画は、背景が監視領域１５と相違することから、ブロック画像の中の炎学習ブロック画像と煙学習ブロック画像は、学習ブロック画像として使用するが、正常学習ブロック画像は学習対象から除外し、これに代えて、監視領域１５の通常監視状態で監視カメラ１６により撮像した画像のブロック分割で生成された正常学習ブロック画像を使用すれば良い。
【０１０９】
［学習画像生成制御］
図６は図２の学習画像生成装置による学習画像生成制御を示したフローチャートであり、図２に示した学習画像生成制御部３４による制御となる。
【０１１０】
図６に示すように、所定の操作により学習画像生成制御が開始されると、学習画像生成制御部３４は、ステップＳ１で監視カメラ１６により撮像されて録画部３６に記憶されている火災動画をフレーム単位に火災画像として読出し、ステップＳ２で所定サイズのブロック画像に分割し、ステップＳ３で例えば図４（Ａ）に示すようにモニタ部４６に画面表示させる。
【０１１１】
続いて、ステップＳ４に進み、学習画像生成制御部３４は、モニタ部４６に画面表示されたブロック画像の操作者による目視による操作に基づき、ブロック画像を炎学習ブロック画像、煙学習ブロック画像、正常学習ブロック画像又は非学習ブロック画像に分類し、この内の炎学習ブロック画像、煙学習ブロック画像、正常学習ブロック画像をステップＳ５で学習画像記憶部４２に記憶させる。
【０１１２】
続いて、学習画像生成制御部３４は、ステップＳ６で全ての火災画像を処理したか否か判別し、全ての火災画像を処理していない場合はステップＳ１からの処理を繰り返し、全ての火災画像を処理したことを判別すると一連の処理を終了し、判定装置１０の学習制御部２６に学習画像の生成完了を通知して多層式ニューラルネットワーク３０の学習を行わせる。
【０１１３】
［火災検出制御］
図７は図２の判定装置による火災検出制御を示したフローチャートであり、図２に示した火災検出器２４による制御となる。
【０１１４】
図７に示すように、火災検出器２４はステップＳ１１で監視カメラ１６からの監視画像を画像入力部２８に読み込み、ステップＳ１２で所定サイズのブロック画像に分割して、ステップＳ１３で先頭のブロック画像から順番に多層式ニューラルネットワーク３０に入力させ、多層式ニューラルネットワーク３０から出力された推定値ｙ１，ｙ２，ｙ３に対し判定部３２で所定の閾値との比較により、推定値ｙ１が閾値以上であれば炎ブロックと判定し、推定値ｙ２が閾値以上であれば煙ブロックと判定し、更に、推定値ｙ３が閾値以上であれば正常ブロックと判定し、炎ブロック又は煙ブロックを判定した場合に火災検出ブロックであることを判定し、ステップＳ１４で判定結果を記憶させる。
【０１１５】
続いて、ステップＳ１５で、火災検出器２４は全てのブロック画像を入力したか否か判別し、未入力を判別した場合はステップＳ１３からの処理を繰り返し、全てのブロック画像の入力を判別した場合はステップＳ１６に進み、炎ブロック又は煙ブロックを含む火災検出ブロックが１つでもあればステップＳ１７に進み、火災検出ブロックの分布を記憶させ、モニタ部４６にその時の監視画像に重ねて火災検出ブロックの分布を表示させる。
【０１１６】
図８は監視画像に重ねて火災検出ブロックの分布を表示させたモニタ画面の一例を示した説明図であり、図８（Ａ）は図４（Ａ）に示した火災画像４８−１を例にとっており、図８（Ｂ）は図５（Ａ）に示した火災画像４８−２を例にとっている。
【０１１７】
図８（Ａ）（Ｂ）のモニタ画面７４−１，７４−２にあっては、監視領域の火災画像に重ねて、火災検出ブロックとして、実線の枠で示す炎検出ブロックと、点線の枠で示す煙検出ブロックが表示されている。
【０１１８】
なお、図８は炎検出ブロックと煙検出ブロックに分けて示しているが、両者を同じ火災検出ブロックとして表示しても良い。また、炎検出ブロックと煙検出ブロック又は火災検出ブロックは、枠の線種で区別しているが、これに限定されず、枠の色彩により区別しても良いし、ブロックを監視画像が見える透明な色彩で塗りつぶすようにして区別しても良い。更に、ブロック枠やブロック色をフリッカさせるようにしても良い。
【０１１９】
再び図７を参照するに、続いて、火災検出器２４はステップＳ１８で所定時間の経過を判別するまでは、ステップＳ１１に戻り、次の監視画像を読み込んでステップＳ１２〜Ｓ１７の処理を繰り返し、時系列的に変化する火災検出ブロックの分布を記憶させる。
【０１２０】
火災検出器２４は、ステップＳ１８で所定時間の経過を判別するとステップＳ１９に進み、ステップＳ１１〜Ｓ１７の処理により記憶された時系列的に変化する火災検出ブロックの分布を判定し、ステップＳ２０で火災検出ブロックが時間の経過に伴い上方に移動するか又は拡大する時系列的変化を判別した場合はステップＳ２１に進んで火災を判定し、火災判定信号を火災受信機１４に出力して例えば火災予兆警報を出力させる。
【０１２１】
［炎と煙を個別に検出する判定装置］
図９は炎検出用と煙検出用の多層式ニューラルネットワークを設けた判定装置の機能構成を学習画像生成装置と共に示したブロック図である。
【０１２２】
図２に示した判定装置１０にあっては、火災検出器２４に単一の多層式ニューラルネットワーク３０を設け、学習画像生成装置１２で生成された炎学習ブロック画像と煙学習ブロック画像の両方を火災学習ブロック画像として単一の多層式ニューラルネットワーク３０に入力して学習させており、このため炎が大半を占めるブロック画像の入力による火災の推定値と、煙が大半を占めるブロック画像の入力による火災の推定値が相違が出ることが想定され、学習数の少ない方の火災の推定精度が低下する可能性がある。
【０１２３】
そこで図９の判定装置１０にあっては、火災検出器２４に、ブロック画像を入力して火災の炎を検出するため、画像入力部２８−１、第１の多層式ニューラルネットワーク３０−１及び判定部３２−１を設け、また、ブロック画像を入力して火災の煙を検出するため、画像入力部２８−２、第２の多層式ニューラルネットワーク３０−２及び判定部３２−２を設けている。
【０１２４】
学習画像生成装置１２は図２の実施形態と同じであり、録画部３６から読み出した火災画像を所定サイズのブロック画像に分割すると共に、各ブロック画像に炎や煙の有無及び炎や煙の占める割合に応じて炎学習ブロック画像、煙学習ブロック画像、正常学習ブロック画像、又は非学習ブロック画像に分類して記憶させている。
【０１２５】
判定装置１０の学習制御部２６は、学習画像生成装置１２の学習画像記憶部４２に記憶された炎学習ブロック画像及び正常学習ブロック画像を読出し、画像入力部２８−１を介して第１の多層式ニューラルネットワーク３０−１に入力して学習させる。このため第１の多層式ニューラルネットワーク３０−１は監視画像を分割したブロック画像の入力に対し炎の推定値を出力する。
【０１２６】
また、判定装置１０の学習制御部２６は、学習画像生成装置１２の学習画像記憶部４２に記憶された煙学習ブロック画像及び正常学習ブロック画像を読出し、画像入力部２８−２を介して第２の多層式ニューラルネットワーク３０−２に入力して学習させる。このため第２の多層式ニューラルネットワーク３０−２は監視画像を分割したブロック画像の入力に対し煙の推定値を出力する。
【０１２７】
このように監視画像を分割したブロック画像の入力に対し第１の多層式ニューラルネットワークはブロック画像の炎の有無を高い精度で検出し、第２の多層式ニューラルネットワークはブロック画像の煙を高い精度で検出し、両者を組み合わせることで、より精度の高い火災を判定することが可能となる。
【０１２８】
また、判定部３２−１，３２−２は、炎の推定値と煙の推定値を所定の閾値と比較して火災の炎と火災の煙を判定しており、更に、炎検出ブロックの分布と煙検出ブロックの分布の火災に特有な時系列的変化を判定することで、高い精度で火災を判定して火災判定信号を火災受信機１４に出力する。
【０１２９】
また、火災検出器２４は、第１及び第２の多層式ニューラルネットワーク３０−１，３０−２の検出結果として得られた炎検出ブロックと煙検出ブロックの分布をモニタ部の監視画像に重ねて表示させることで、監視画像と連携した火災による炎や煙の状況の目視による確認を更に行い易くし、初期消火や避難誘導の適切な対処を可能とする。
【０１３０】
［赤外線画像による火災監視システムの概要］
図１０はサーモ監視カメラにより赤外線画像を撮像して火災を監視する火災監視システムの概略を示した説明図ある。
【０１３１】
図１０に示すように、ビル等の施設の監視領域１５−１、１５−２にはそれぞれ赤外線撮像部として機能するサーモ監視カメラ１６０−１、１６０−２が設置され、監視領域１５−１をサーモ監視カメラ１６０−１により動画撮影し、監視領域１５−２をサーモ監視カメラ１６０−２により動画撮像している。
【０１３２】
サーモ監視カメラ１６０−１、１６０−２は特に区別の必要がないときはサーモ監視カメラ１６０として記述する。
【０１３３】
サーモ監視カメラ１６０は、例えば、水や二酸化炭素などの大気中の分子によって吸収されにくい波長域となる８〜１４μｍの「大気の窓」を含む７〜１４μｍとなる赤外線波長帯域の赤外光を受光し、例えば３０フレーム／秒で撮像して赤外線動画として出力する。この場合、サーモ監視カメラ１６０から出力される赤外線動画は、予め設定された温度カラーマップに基づいたカラー赤外線動画として出力される。温度カラーマップは、サーモ監視カメラ１６０の測定温度レンジを例えば１５０〜９００℃に設定とすると、最低温度１５０℃で紺、最高温度９００℃で赤、その間は青、緑、黄、橙と連続的に変化するようにしている。
【０１３４】
また、サーモ監視カメラ１６０から出力される赤外線動画の１フレームは、例えば、縦横４８０×６４０ピクセルの画素配置となる。
【０１３５】
監視領域１５−１，１５−２に対し施設の防災監視センターや管理人室等には、サーモ監視カメラ１６０−１，１６０−２に対応して判定装置１０−１，１０−２と学習画像生成装置１２−１，１２−２が設置され、更に、火災報知設備の火災受信機１４が設置されている。
【０１３６】
判定装置１０−１、１０−２は特に区別の必要がないときは判定装置１０として、学習画像生成装置１２−１，１２−２は特に区別の必要がないときは学習画像生成装置１２として記述する。
【０１３７】
判定装置１０−１には監視領域１５−１に設置されたサーモ監視カメラ１６０−１が信号ケーブル２０−１により接続され、判定装置１０−２には監視領域１５−２に設置されたサーモ監視カメラ１６０−２が信号ケーブル２０−２により接続され、それぞれサーモ監視カメラ１６０−１，１６０−２で撮像された赤外線の動画画像を入力している。
【０１３８】
判定装置１０は多層式ニューラルネットワークを備え、サーモ監視カメラ１６０から送られてきた赤外線動画をフレーム単位に赤外線監視画像として入力し、入力した赤外線監視画像を例えば縦横１２×１４の１６８ブロックのブロック画像に分割し、各ブロック画像を多層式ニューラルネットワークに入力してブロック画像単位に火災ブロックか正常ブロックかを検出し、火災検出ブロックの時系列的な分布変化に基づき火災の有無を判定し、火災を判定した場合は火災判定信号を火災受信機１４に出力し、例えば、火災予兆を示す火災予兆警報等を出力させる。
【０１３９】
学習画像生成装置１２は、監視領域１５で火災実験を行った場合のサーモ監視カメラ１６０により撮像された動画画像をフレーム単位に入力し、判定装置１０と同様に、縦横１２×１４の１６８ブロックのブロック画像に分割し、各ブロック画像を炎学習ロック画像、熱気流学習ブロック画像、正常学習ブロック画像、又は非学習ブロック画像に分類して記憶させる。この分類は、ブロック分割されたカラー赤外線画像を温度カラーバーと共にモニタ画面に表示して人的作業により行う。
【０１４０】
なお、炎学習ブロック画像と熱気流学習ブロック画像は、火災学習ブロック画像に含まれる。また、炎からの輻射熱を受けた部分のブロック画像は、熱気流学習ブロック画像と同様なカラー画像となることから、熱気流学習ブロック画像に含まれるものとして説明する。
【０１４１】
学習画像生成装置１２に記憶された炎学習ブロック画像、熱気流学習ブロック画像及び正常学習ブロック画像は、判定装置１０に設けられた学習制御部により読み出され、判定装置１０の多層式ニューラルネットワークに入力してディープラーニングより学習させる。
【０１４２】
それ以外の構成は、図１の実施形態と同じになることから、同一符号を付して説明は省略する。
【０１４３】
［判定装置及び学習画像生成装置］
図１１はサーモ監視カメラで撮像した火災時の画像から学習ブロック画像を生成する学習画像生成装置と火災を推定する多層式ニューラルネットワークを用いた判定装置の機能構成を示した説明図である。
【０１４４】
（判定装置の機能構成）
図１１に示すように、判定装置１０は、火災検出器２４と学習制御部２６を備え、火災検出器２４は画像入力部２８、多層式ニューラルネットワーク３０および判定部３２で構成される。
【０１４５】
火災検出器２４はサーモ監視カメラ１６０により撮像された監視領域の赤外線動画画像を、フレーム単位に赤外線監視画像として画像入力部２８に入力し、例えば縦横１２×１４の１６８ブロックの赤外線ブロック画像に分割し、各赤外線ブロック画像を多層式ニューラルネットワーク３０に順次入力し、炎、熱気流、又は正常かの種別（クラス）を示す推定値ｙ１，ｙ２，ｙ３を出力する。
【０１４６】
判定部３２は多層式ニューラルネットワーク３０から出力された赤外線ブロック画像の炎推定値ｙ１，熱気流推定値ｙ２及び正常推定値ｙ３を所定の閾値、例えば０．５と比較し、推定値が閾値以上となる炎ブロック、熱気流ブロック又は正常ブロックの何れかを判定し、入力された監視画像単位に炎ブロックと熱気流ブロックを含む火災検出ブロックの分布を求めて記憶し、所定時間分の火災検出ブロックの分布の時系列的な変化から火災に特有な変化、例えば、火災検出ブロックの分布が時間の経過に伴い上方に移動及び又は拡大した場合に火災と判定し、火災判定信号を火災受信機１４に出力して例えば火災予兆警報を出力させる。
【０１４７】
学習制御部２６は、システム立上げ時等に、学習画像生成装置１２で予め生成されて記憶されている炎学習ブロック画像、熱気流学習ブロック画像及び正常学習ブロック画像を順次読み出し、画像入力部２８を介して多層式ニューラルネットワーク３０に教師ありのブロック画像として入力し、例えばバックプロパゲーション法（誤差逆伝播法）等の学習法により多層式ニューラルネットワーク３０の重みとバイアスを学習させる。
【０１４８】
この教師ありのブロック画像を用いて学習の済んだ多層式ニューラルネットワーク３０に、サーモ監視カメラ１６０で撮像された温度により色分けされたカラー画像となる赤外線画像を分割したブロック画像を入力すると、炎ブロック推定値ｙ１、熱気流ブロック推定値、又は正常ブロック推定値ｙ３が出力される。
【０１４９】
この推定値ｙ１，ｙ２，ｙ３は、理想的には、
炎ブロック画像の場合は（ｙ１，ｙ２，ｙ３）    ＝（１，０，０）
熱気流ブロック画像の場合は（ｙ１，ｙ２，ｙ３）＝（０，１，０）
正常ブロック画像の場合は（ｙ１，ｙ２，ｙ３）  ＝（０，０，１）
となるが、実際には推定値ｙ１〜ｙ３の総和が１となるように０〜１の間の値をとる。
【０１５０】
判定部３２は多層式ニューラルネットワーク３０から出力された期待値Ｙ１〜ｙ３を所定の閾値、例えば０．５と比較し、期待値ｙ１が閾値以上であれば炎ブロックと判定し、期待値ｙ２が閾値以上であれば熱気流ブロックと判定し、前述したように、炎ブロックと熱気流ブロックを含む火災検出ブロックの分布を所定時間に亘り求め、火災に固有な火災検出ブロックの時系列的な変化を検出した場合に火災を判定して火災判定信号を火災受信機１４に出力し、火災受信機１４から例えば火災予兆警報を出力させる。
【０１５１】
［学習画像生成装置の機能構成］
図１１に示すように、学習画像生成装置１２は、赤外線学習画像生成制御部３４０、録画部３６、赤外線火災画像記憶部３８０、赤外線ブロック画像記憶部４００、赤外線学習画像記憶部４２０、操作部４４及びモニタ部４６で構成される。
【０１５２】
録画部３６には、監視領域１５で行った火災実験をサーモ監視カメラ１６０で撮像した温度により色分けされたカラー画像となる赤外線火災動画が録画される。
【０１５３】
赤外線学習画像生成制御部３４０は、操作部４４による所定の学習画像生成操作が行われると、録画部３６からフレーム単位に赤外線火災画像を学習画像として読出して縦横１２×１４の１６８ブロックのブロック画像に分割し、赤外線ブロック画像記憶部４００に記憶させると共に、温度と表示色の関係をバーグラフで示した温度カラーマップと共にモニタ部４６に画面表示させる。
【０１５４】
図１２は監視領域の火災実験等により撮像された赤外線学習画像のブロック分割とブロック画像の炎、熱気流、正常、非学習の分類を示した説明図である。
【０１５５】
図１２（Ａ）に示すように、モニタ部４６には、録画部３６から読み込まれてブロック分割された赤外線火災画像４８０−１が表示される。本実施形態では、図面の簡略化のため、赤外線火災画像４８０−１は縦横６×７の４２ブロックのブロック画像に分割されている。なお、温度カラーマップの表示は省略している。
【０１５６】
赤外線火災画像４８０−１は、燃焼物５０に例えば角材を積み上げて燃焼物として着火し、着火後に炎５２が少し上がり、その上に熱気流５５が上がっている火災初期段階の画像である。
【０１５７】
また、監視領域には使用中の石油ストーブ１００が配置されており、石油ストーブ１００について、炎１０２、熱気流１０４及び輻射熱１０６が赤外線画像として存在している。
【０１５８】
なお、赤外線火災画像４８０−１は、所定の赤外線強度以上、例えば１５０℃以上の領域を抽出して強度に応じた色付けを行った画像であることから、実際の画像には、炎５２、熱気流５５、炎１０２、熱気流１０４及び輻射熱１０６の赤外線色付け画像しか現れていないが、説明を分かりやすくするため、実際には表れない燃焼物５０、石油ストーブ１００及び監視領域の背景を併せて示している。
【０１５９】
このようなブロック分割された赤外線火災画像４８０−１に対し、炎学習ブロック画像Ｆ、熱気流学習ブロック画像Ｈ（輻射熱を含む）、正常学習ブロック画像Ｎ、又は非学習ブロック画像ＮＧとするブロック画像の分類を、操作者の目視判断により行う。
【０１６０】
ここで、炎学習ブロックは、炎の温度は４００℃以上であることから、温度カラーバーにおける４００℃以上の例えば黄色から赤に至るカラー画像が大部分を占めるブロックとする。また、熱気流学習ブロックは、熱気流の温度が炎の温度より低いことから、温度カラーバーにおける４００℃未満の例えば青から緑を経て黄緑に至るカラー画像が大部分を占めるブロックとする。
【０１６１】
また、正常学習ブロックは室温レベルであることから、温度カラーバーにおける最低温度となる紺のカラー画像が全てを占めるブロックとする。更に、非学習ブロックは、全体的には紺であるが炎や熱気流に対応した青から赤に至る画像が僅かに含まれるブロックとする。
【０１６２】
図１２（Ｂ）は、図１２（Ａ）の赤外線火災画像４８０−１における赤外線ブロック分類画像５６０−１であり、炎５２のあるブロックが炎学習ブロック画像Ｆとなり、熱気流５５及び炎輻射熱６５のあるブロックが熱気流学習ブロック画像Ｈとなり、上から２列目で右から３番目のブロックが非学習ブロック画像ＮＧとなる。また、ストーブ１００の炎１０２、熱気流１０４及び輻射熱１０６は火災によるものでないことから非学習ブロックＮＧとしている。それ以外のブロックが正常学習ブロック画像Ｎとなっている。
【０１６３】
なお、図１２（Ｂ）に示す赤外線ブロック分類画像５６０−１は、例えば左上隅を初期位置とした行番号１〜６と列番号１〜７で特定されるブロックアドレス（二元アドレス）Ａ１１〜Ａ６７に対応して炎学習ブロック画像Ｆ、熱気流学習ブロック画像Ｈ、正常学習ブロック画像Ｎ、又は非学習ブロック画像ＮＧを示す識別情報を格納したデータ形式で記憶される。
【０１６４】
図１３は図１２に対し時間が経過した後の監視領域の火災実験により撮像された赤外線学習画像のブロック分割とブロック画像の炎、熱気流、正常、非学習の分類を示した説明図である。
【０１６５】
図１３（Ａ）に示すブロック分割された赤外線火災画像４８０−２にあっては、図１２（Ａ）に対し時間の経過に伴い火災が拡大し、燃焼物５０からの炎５２は大きく立ち上がっており、炎５２の上の熱気流５５も大きく拡散して広がった状態となっている。
【０１６６】
これに対し石油ストーブ１００は、炎１０２、熱気流１０４及び輻射熱１０６が図１２（Ａ）と同じであり、変化はない。
【０１６７】
図１３（Ｂ）は、図１３（Ａ）の赤外線火災画像４８０−２における赤外線ブロック分類画像５６０−２であり、炎学習ブロック画像Ｆが上方に拡大した分布となり、その周辺の熱気流学習ブロックＨも大きく広がっている。
【０１６８】
なお、図１２（Ａ）及び図１３（Ａ）は赤外線火災画像の一例であり、実際には、燃焼物５０の着火から図１２（Ａ）を経て図１３（Ａ）のように炎５２が燃え上がるように拡大して行く赤外線火災動画が録画されていることから、例えば着火から５分間の録画をフレーム単位に読み出すと、９０００枚の火災画像が得られ、それぞれ縦横１２×１４の１６８ブロックのブロック画像に分割して分類することで、炎学習ブロック画像Ｆ、熱気流学習ブロック画像Ｈ及び正常ブロック画像Ｎが最大で１，５１２，０００枚生成できる。
【０１６９】
実際には、一部に非学習ブロック画像ＮＧが例えば１０パーセント以下の割合で存在することが想定され、それでも１，３６０，８００枚程度の炎学習ブロック画像Ｆ、熱気流学習ブロック画像Ｈ及び正常ブロック画像Ｎを含む赤外線学習ブロック画像が生成され、火災検出器２４の多層式ニューラルネットワーク３０の学習に十分な数の赤外線学習ブロック画像が生成される。
【０１７０】
なお、上記の実施形態では、炎ブロックと熱気流ブロックを火災検出ブロックに含めているが、炎ブロックのみを火災検出ブロックとしても良い。
【０１７１】
［紫外線画像による火災監視システムの概要］
図１４は紫外線監視カメラにより紫外線画像を撮像して火災を監視する火災監視システムの概略を示した説明図ある。
【０１７２】
図１４に示すように、ビル等の施設の監視領域１５−１、１５−２にはそれぞれ紫外線監視カメラ１６２−１、１６２−２が設置され、監視領域１５−１を紫外線監視カメラ１６２−１により動画撮影し、監視領域１５−２を紫外線監視カメラ１６２−２により動画撮像している。
【０１７３】
紫外線監視カメラ１６２−１、１６２−２は特に区別の必要がないときは紫外線監視カメラ１６２として記述する。
【０１７４】
紫外線監視カメラ１６２は、例えば２００〜４００ｎｍ（０．２〜０．４μｍ）となる紫外線波長帯域の紫外光を受光し、例えば３０フレーム／秒で撮像して動画として出力する。ここで、紫外線監視カメラ１６２による監視対象は水素ガスの燃焼による炎であり、水素ガスの燃焼による炎に特有なＯＨ基の共鳴放射帯は２８０ｎｍ〜３０９ｎｍであることから、波長帯域２８０ｎｍ〜３０９ｎｍの紫外線透過フィルタを紫外線監視カメラ１６２の光学系に設け、水素ガスの燃焼による赤外線監視画像を撮像する。
【０１７５】
この場合、紫外線監視カメラ１６２から出力される紫外線動画は、予め設定された紫外線強度カラーマップに基づいたカラー紫外線動画として出力される。紫外線強度カラーマップは、所定の最小強度で紺、所定の最大強度で赤とし、その間は青、緑、黄、橙と連続的に変化するようにしている。このため紫外線監視画像の中の黄から赤の画像領域に水素ガスの燃焼による炎が存在していることが表示される。
【０１７６】
また、サーモ監視カメラ１６０から出力される赤外線動画の１フレームは、例えば、縦横４８０×６４０ピクセルの画素配置となる。
【０１７７】
監視領域１５−１，１５−２に対し施設の防災監視センターや管理人室等には、紫外線監視カメラ１６２−１，１６２−２に対応して判定装置１０−１，１０−２と学習画像生成装置１２−１，１２−２が設置され、更に、火災報知設備の火災受信機１４が設置されている。
【０１７８】
判定装置１０−１、１０−２は特に区別の必要がないときは判定装置１０として、学習画像生成装置１２−１，１２−２は特に区別の必要がないときは学習画像生成装置１２として記述する。
【０１７９】
判定装置１０−１には監視領域１５−１に設置された紫外線監視カメラ１６２−１が信号ケーブル２０−１により接続され、判定装置１０−２には監視領域１５−２に設置された紫外線監視カメラ１６２−２が信号ケーブル２０−２により接続され、それぞれ紫外線監視カメラ１６２−１，１６２−２で撮像された紫外線の動画画像を入力している。
【０１８０】
判定装置１０は多層式ニューラルネットワークを備え、紫外線監視カメラ１６２から送られてきた紫外線動画画像をフレーム単位に入力して、入力したフレーム画像を紫外線監視画像として例えば縦横１２×１４の１６８ブロックのブロック画像に分割し、各ブロック画像を多層式ニューラルネットワークに入力してブロック画像単位に火災検出ブロックか正常ブロックかを検出し、火災検出ブロックの時系列的な分布変化に基づき火災の有無を判定し、火災を判定した場合は火災判定信号を火災受信機１４に出力し、例えば、火災予兆を示す火災予兆警報等を出力させる。
【０１８１】
学習画像生成装置１２は、監視領域１５で水素ガスを燃焼させる火災実験を行った場合の紫外線監視カメラ１６２により撮像された動画画像をフレーム単位に紫外線監視画像として入力し、例えば縦横１２×１４の１６８ブロックのブロック画像に分割し、各ブロック画像を、水素ガスの燃焼による炎の紫外線領域が占める割合に応じて炎学習ブロック画像、炎周辺学習ブロック画像、正常学習ブロック画像、又は非学習ブロック画像に分類して記憶させる。ここで、炎学習ブロック画像と炎周辺学習ブロック画像は、火災学習ブロック画像に含まれる。
【０１８２】
学習画像生成装置１２に記憶された炎学習ブロック画像、炎周辺学習ブロック画像及び正常学習ブロック画像は、判定装置１０に設けられた学習制御部２６により読み出され、判定装置１０の多層式ニューラルネットワーク３０に入力してディープラーニングより学習させる。
【０１８３】
それ以外の構成は、図１の実施形態と同じになることから、同一符号を付して説明は省略する。
【０１８４】
［判定装置及び学習画像生成装置］
図１５は紫外線監視カメラで撮像した火災時の画像から学習ブロック画像を生成する学習画像生成装置と火災を推定する多層式ニューラルネットワークを用いた判定装置の機能構成を示した説明図である。
【０１８５】
（判定装置の機能構成）
図１５に示すように、判定装置１０は、火災検出器２４と学習制御部２６を備え、火災検出器２４は画像入力部２８、多層式ニューラルネットワーク３０および判定部３２で構成される。
【０１８６】
火災検出器２４は紫外線監視カメラ１６２により撮像された監視領域の紫外線動画画像を、フレーム単位に紫外線監視画像として画像入力部２８に入力し、例えば縦横１２×１４の１６８ブロックの紫外線ブロック画像に分割し、各紫外線ブロック画像を多層式ニューラルネットワーク３０に順次入力し、炎ブロック画像、炎周辺ブロック画像、又は正常ブロック画像の種別（クラス）を示す推定値ｙ１，ｙ２，ｙ３を出力する。
【０１８７】
判定部３２は多層式ニューラルネットワーク３０から出力された紫外線ブロック画像の炎推定値ｙ１，炎周辺推定値ｙ２及び正常推定値ｙ３を所定の閾値、例えば０．５と比較し、推定値が閾値以上となる炎ブロック、炎周辺ブロック又は正常ブロックの何れかを判定し、入力された監視画像単位に炎ブロックと炎周辺ブロックを含む火災検出ブロックの分布を求めて記憶し、所定時間分の火災検出ブロックの分布の時系列的な変化から火災に特有な変化、例えば、火災検出ブロックの分布が時間の経過に伴い上方に移動及び又は拡大した場合に火災と判定し、火災判定信号を火災受信機１４に出力して例えば火災予兆警報を出力させる。
【０１８８】
学習制御部２６は、システム立上げ時等に、学習画像生成装置１２で予め生成されて記憶されている炎学習ブロック画像、炎周辺学習ブロック画像及び正常学習ブロック画像を順次読み出し、画像入力部２８を介して多層式ニューラルネットワーク３０に教師ありのブロック画像として入力し、例えばバックプロパゲーション法（誤差逆伝播法）等の学習法により多層式ニューラルネットワーク３０の重みとバイアスを学習させる。
【０１８９】
この教師ありのブロック画像を用いて学習の済んだ多層式ニューラルネットワーク３０に、紫外線監視カメラ１６２で撮像された紫外線監視画像を分割したブロック画像を入力すると、炎ブロック推定値ｙ１、炎周辺ブロック推定値、又は正常ブロック推定値ｙ３が出力される。
【０１９０】
この推定値ｙ１，ｙ２，ｙ３は、理想的には、
炎ブロック画像の場合は（ｙ１，ｙ２，ｙ３）    ＝（１，０，０）
炎周辺ブロック画像の場合は（ｙ１，ｙ２，ｙ３）＝（０，１，０）
正常ブロック画像の場合は（ｙ１，ｙ２，ｙ３）  ＝（０，０，１）
となるが、実際には推定値ｙ１〜ｙ３の総和が１となるように０〜１の間の値をとる。
【０１９１】
判定部３２は多層式ニューラルネットワーク３０から出力された期待値ｙ１〜ｙ３を所定の閾値、例えば０．５と比較し、期待値ｙ１が閾値以上であれば炎ブロックと判定し、期待値ｙ２が閾値以上であれば炎周辺ブロックと判定し、前述したように、炎ブロックと炎周辺ブロックを含む火災検出ブロックの分布を所定時間に亘り求め、火災に固有な火災検出ブロックの時系列的な変化を検出した場合に火災を判定して火災判定信号を火災受信機１４に出力し、火災受信機１４から例えば火災予兆警報を出力させる。
【０１９２】
［学習画像生成装置の機能構成］
図１５に示すように、学習画像生成装置１２は、紫外線学習画像生成制御部３４２、録画部３６、紫外線火災画像記憶部３８２、紫外線ブロック画像記憶部４０２、紫外線学習画像記憶部４２２、操作部４４及びモニタ部４６で構成される。
【０１９３】
録画部３６には、監視領域１５で行った水素ガスの火災実験を紫外線監視カメラ１６２で撮像した紫外線火災動画が録画される。紫外線監視カメラ１６２は紫外線動画を例えば３０フレーム／秒で撮像して出力し、これが紫外線火災動画として録画部３６に録画される。
【０１９４】
紫外線学習画像生成制御部３４２は、操作部４４による所定の学習画像生成操作が行われると、録画部３６からフレーム単位に火災画像を学習画像として読出し、縦横１２×１４の１６８ブロックのブロック画像に分割し、紫外線ブロック画像記憶部４０２に記憶させると共に紫外線強度カラーマップと共にモニタ部４６に画面表示させ、人為操作により炎学習ブロック画像、炎周辺学習ブロック画像、正常学習ブロック画像または非学習ブロック画像に分類して紫外線学習画像記憶部４２２に記憶させる。
【０１９５】
ここで、炎学習ブロックは、水素ガスの燃焼による炎を示す紫外線強度カラーバーにおける橙から赤に至るカラー画像が大部分を占めるブロックとする。また、炎周辺ブロックは、水素ガスの燃焼による炎周辺を示す紫外線強度カラーバーにおける黄色から橙に至るカラー画像が大部分を占めるブロックとする。また、正常学習ブロックは、水素ガスの燃焼による炎のないことを示す紫外線強度カラーバーにおける黄、緑、青、紺の範囲に入るカラー画像が全てを占めるブロックとする。更に、非火災学習ブロックは、全体的には黄、緑、青、紺の範囲の画像であるが、炎や周辺に対応した赤から黄に至る画像が僅かに含まれるブロックとする。
【０１９６】
また、録画部３６には水素ガスの着火から炎が燃え上がるように拡大して行く紫外線火災動画が録画されていることから、例えば着火から５分間の録画をフレーム単位に読み出すと、９０００枚の火災画像が得られ、それぞれ縦横１２×１４の１６８ブロックのブロック画像に分割して分類することで、炎学習ブロック画像、炎周辺学習ブロック画像及び正常ブロック画像が最大で１，５１２，０００枚というように十分な数の紫外線学習ブロック画像が生成され、火災検出器２４の多層式ニューラルネットワーク３０は十分な数の紫外線学習ブロック画像で学習することで、水素ガスの燃焼による火災の推定精度を高めることができる。
【０１９７】
なお、上記の実施形態では、炎ブロックと炎周辺ブロックを火災検出ブロックに含めているが、炎ブロックのみを火災検出ブロックとしても良い。
【０１９８】
〔本発明の変形例〕
（境界の学習と検出）
上記の実施形態は、ブロック画像が火災かどうかを判定していたが、さらにブロック画像が火災の境界に当たるかどうかを判定するようにしても良い。学習時においてはブロック中に炎や煙等の火災の影響がある部分とない部分が混在するようなブロックであるとき、火災境界学習ブロック画像として学習画像記憶部に記憶させる。
【０１９９】
なお、上記の実施形態である火災学習ブロック画像、正常学習ブロック画像、非学習ブロック画像の区別によらず独立の項目としても良い。例えば、火災学習ブロック画像かつ火災境界学習ブロック画像であることが可能である。
【０２００】
火災境界を検出する多層式ニューラルネットワークは火災を検出する多層式ニューラルネットワークと同じニューラルネットワークを用い、出力項を火災検出項と火災境界検出項の２つにするようにして学習するようにしても良い。この際、非学習画像については火災検出項に基づく学習を行わず、火災境界検出項のみ学習を行う。
【０２０１】
このように同一の多層式ニューラルネットワークを用いることで、監視時においては出力層直前の計算を行うだけで良くなり、複数の多層式ニューラルネットワークを用いる場合に発生する多層式ニューラルネットワークの複数回の計算が不要となる。また、上記の点で同一の多層式ニューラルネットワークを用いることが好適であるが、異なる多層式ニューラルネットワークを用いるようにしても良い。
【０２０２】
火災検出器は火災ブロックと火災が検出されないブロックが隣接するとき、隣接するブロックについて火災境界ブロックかどうか判定する。火災ブロックに隣接するブロックは火災の境界が存在するブロックと考えられ、学習時においては非火災学習ブロックとなるようなブロック画像となる可能性がある。このような火災ブロックかどうかの判定が困難なブロックについても、監視時においては火災検出ブロックか火災を検出しないブロックか判定されるが、火災境界ブロックかどうか検出することで、どちらかのブロックに火災境界が存在するかが判定でき、火災の規模の大きさや動きについてより正確な判定や表示を行うことが可能となる。
【０２０３】
（火災報知設備と監視システムとの関係）
上記の実施形態は、火災報知設備と監視システムと連携する構成をとっているが、監視システムのみを用いるようにしても良い。吹き抜け構造等、火災報知設備の感知器が設置できないような場所においても本システムは運用可能である。
【０２０４】
また、火災報知設備と監視システムと連携する場合、いずれの系により火災を検出したか火災受信機の表示部や監視設備のモニタ等の表示部に表示するようにしても良い。これにより、監視者は感知器発報か映像監視による火災警報かを区別することが可能となる。
【０２０５】
（放火監視）
上記の実施形態は、屋内の警戒領域の火災監視を例にとっているが、これ以外に、屋外に監視カメラを設置して行う放火監視に多層式のニューラルネットワークによって構成される火災検出器を設け、火災検出器をディープラーニングより学習させ、監視カメラで撮像した画像を入力して放火を監視するようにしても良い。
【０２０６】
また、放火の実行者の推定を行うシステムとしても良い。人感センサや監視カメラ等の人検出手段によって領域への人の侵入を検知したときにトリガを掛け、当該人物が退出した場合トリガを解除する。トリガがかかっている間に火災ブロックが検出された場合、領域へ侵入した人物を放火の実行者として推定し、当該人物の領域にいる間の映像の読み出し等を可能にする。
【０２０７】
（非火災学習）
上記の実施形態は、火災時の画像を用いて学習を行っているが、非火災時の画像を用いて非火災の学習を行うようにしても良い。監視時、非火災を誤検出した場合、火災ブロックとして検出したブロックの画像を非火災学習ブロック画像として学習画像記憶部に記憶する。
【０２０８】
火災ブロックや正常ブロックとは別の出力項として非火災判定の項を設けることが、好適である。これは、非火災ブロックが火災でないため正常ブロックとして設定すると、非火災ブロック画像は火災ブロックと近い特徴を持つため、非火災ブロックでない正常ブロックと火災ブロックの判定精度に悪影響を与える恐れがあるためである。
【０２０９】
（尤度を用いたブロック画像の火災判定）
上記の実施形態は、火災ブロックか火災ブロックでないか２値化しているが、火災の尤度を用いるようにして、監視領域における火災の判定や分布の表示を行うようにしても良い。火災の尤度はブロックごとに多層式ニューラルネットワークにより出力される推定値を用いる。推定値と尤度を同じにしても良いし、推定値を特定の値ごとに区切って尤度を対応させても良い。また、例えば隣接するブロックの尤度の平均値により尤度を変化させるなど、尤度は隣接するブロックの影響を受けるようにしても良い。このようにすることで、照明等による火災ブロックの誤検出の可能性を低減させ、通常炎と煙が複数のブロックにまたがって検出されやすい真の火災については検出率を高めることが出来る。
【０２１０】
（火災判断根拠の明示）
上記の実施形態は、判定装置は火災の有無の判定結果を報知しているが、これに加え火災と判定した要因について表示するようにしても良い。例えばカメラ画像の監視においては、火災と判定した画像を表示し、更に火災判定の寄与率が高かったブロック（火災推定値の高かったブロック）について強調表示する。これにより、火災検出器が火災と判断したブロック領域について目視確認が容易となり、真に火災が発生したかどうかを容易に判定できるようになり、また状況に応じた対応判断の助けとすることができる。
【０２１１】
（特徴抽出）
上記の実施形態は、畳み込みニューラルネットワークに画像を入力して火災による特徴を抽出しているが、畳み込みニューラルネットワークを使用せず、入力した画像から輪郭、濃淡等の特徴を抽出する前処理を行って所定の特徴を抽出し、特徴が抽出された画像を認識部として機能する全結合ニューラルネットワークに入力して火災を推定させるようにしても良い。これにより画像の特徴抽出の処理負担を低減可能とする。また、畳み込みニューラルネットワークは全結合のニューラルネットワークより学習が高速となるため好適であるが、全結合のニューラルネットワークを用いるようにしても良い。
【０２１２】
（学習方法について）
上記の実施形態は、バックプロパゲーションによる学習を行っているが、多層式ニューラルネットワークの学習方法はこれに限らない。
【０２１３】
（赤外線照明と赤外線画像の撮像）
上記の実施形態は、監視カメラにより監視領域の照明を使用した状態及び又は自然光の状態で監視領域を撮像しているが、赤外線照明装置からの赤外線光を監視領域に照射し、赤外線領域に感度のある監視カメラにより赤外線画像を撮像して学習画像生成装置により学習ブロック画像を生成し、判定装置の多層式ニューラルネットワークをバックプロパゲーションにより学習し、学習の済んだ多層式ニューラルネットワークに監視領域の赤外線画像を分割したブロック画像を入力して火災を判定するようにしても良い。
【０２１４】
このように監視領域の赤外線画像を分割したブロック画像を判定装置に入力することで、監視領域の照明状態や昼夜の明るさ変化等に影響されることなく、監視画像を用いた火災監視が可能となる。
【０２１５】
（その他）
また、本発明は上記の実施形態に限定されず、その目的と利点を損なうことのない適宜の変形を含み、更に上記の実施形態に示した数値による限定は受けない。
【符号の説明】
【０２１６】
１０，１０−１，１０−２：判定装置
１２，１２−１，１２−２：学習画像生成装置
１４：火災受信機
１５，１５−１，１５−２：監視領域
１６，１６−１，１６−２：監視カメラ
１８，１８−１，１８−２：火災感知器
２０−１，２０−２：信号ケーブル
２２：感知器回線
２４：火災検出器
２６：学習制御部
２８，２８−１，２８−２：画像入力部
３０：多層式ニューラルネットワーク
３０−１：第１の多層式ニューラルネットワーク
３０−２：第２の多層式ニューラルネットワーク
３２，３２−１，３２−２：判定部
３４：学習画像生成制御部
３６：録画部
３８：火災画像記憶部
４０：ブロック画像記憶部
４２：学習画像記憶部
４４：操作部
４６：モニタ部
４８−１，４８−２：火災画像
５０：燃焼物
５２，１０２：炎
５４：煙
５５：熱気流
５６−１，５６−２：ブロック分類画像
５８：特徴抽出部
６０：認識部
６２：入力画像
６３，６５ａ，６５ｂ：重みフィルタ
６４ａ，６４ｂ，６４ｃ：特徴マップ
６６：入力層
６８：全結合
７０：中間層
７２：出力層
７４−１，７４−２：モニタ画面
１００：石油ストーブ
１０４：熱気流
１０６，１０８：輻射熱
１６０，１６０−１，１６０−２：サーモ監視カメラ
１６２，１６２−１，１６２−２：紫外線監視カメラ
３４０：赤外線学習画像生成制御部
３８０：赤外線火災画像記憶部
３８２：紫外線火災画像記憶部
４００：赤外線ブロック画像記憶部
４０２：紫外線ブロック画像記憶部
４２０：赤外線学習画像記憶部
４２２：紫外線学習画像記憶部
４８０−１，４０８−２：赤外線火災画像
５６０−１，５６０−２：赤外線ブロック分類画像
【図１】
2018101416.tif 000003
【図２】
2018101416.tif 000004
【図３】
2018101416.tif 000005
【図４】
2018101416.tif 000006
【図５】
2018101416.tif 000007
【図６】
2018101416.tif 000008
【図７】
2018101416.tif 000009
【図８】
2018101416.tif 000010
【図９】
2018101416.tif 000011
【図１０】
2018101416.tif 000012
【図１１】
2018101416.tif 000013
【図１２】
2018101416.tif 000014
【図１３】
2018101416.tif 000015
【図１４】
2018101416.tif 000016
【図１５】
2018101416.tif 000017