(57)【要約】【課題】本発明の実施例は、煙検出方法及び装置を提供する。【解決手段】該装置は、映像の複数のフレームの画像から前景ブロックを検出する前景検出部と、検出された各前景ブロックの移動領域を決定するブロック追跡部と、各前景ブロックの少なくとも２つのフレームの画像における第１重なり度合いを決定し、且つ／或いは各前景ブロックと該前景ブロックに対応する移動領域との第２重なり度合いを決定する計算部と、該第１重なり度合い及び／又は第２重なり度合いに基づいて干渉前景ブロックを決定するブロック除去部と、該干渉前景ブロックが除去された残りの前景ブロックの移動領域から特徴を抽出し、該特徴に基づいて煙を検出する煙検出部と、を含む。本発明の実施例によれば、煙検出の正確率を向上させることができ、水滴又は光スポットなどの干渉物体による誤検出を回避することができる。【選択図】図１
2020102212.tif 000002
【特許請求の範囲】
【請求項１】
煙検出装置であって、
映像の複数のフレームの画像から前景ブロックを検出する前景検出手段と、
検出された各前景ブロックの移動領域を決定するブロック追跡手段と、
各前景ブロックの少なくとも２つのフレームの画像における第１重なり度合いを決定し、且つ／或いは各前景ブロックと前記前景ブロックに対応する移動領域との第２重なり度合いを決定する計算手段と、
前記第１重なり度合い及び／又は前記第２重なり度合いに基づいて干渉前景ブロックを決定するブロック除去手段と、
前記干渉前景ブロックが除去された残りの前景ブロックの移動領域から特徴を抽出し、前記特徴に基づいて煙を検出する煙検出手段と、を含む、装置。
【請求項２】
前景ブロックの第１重なり度合いを計算する際に、前記計算手段は、前記前景ブロックの第１数のフレームの画像における第１重なり面積を計算し、前記前景ブロックの第１面積を計算し、前記第１重なり面積の前記第１面積に対する比率を前記第１重なり度合いとする、請求項１に記載の装置。
【請求項３】
前記第１数は、２以上である、請求項２に記載の装置。
【請求項４】
前記第１数のフレームは、前記映像の複数のフレームの画像のうちの現フレーム及び現フレームの直前フレームである、請求項２に記載の装置。
【請求項５】
前記第１数のフレームは、連続的なフレームである、請求項２に記載の装置。
【請求項６】
前景ブロックの第２重なり度合いを計算する際に、前記計算手段は、前記前景ブロックの面積と前記前景ブロックの移動領域の第２面積との第２重なり面積を計算し、前記第２重なり面積の前記第２面積に対する比率を前記第２重なり度合いとする、請求項１に記載の装置。
【請求項７】
前記ブロック除去手段は、前記第１重なり度合いが第１閾値以上である前景ブロックを干渉前景ブロックとして決定し、且つ／或いは、前記ブロック除去手段は、前記第２重なり度合いが第２閾値以上である前景ブロックを干渉前景ブロックとして決定する、請求項１に記載の装置。
【請求項８】
前記干渉前景ブロックは、水滴及び／又は光スポットである、請求項１に記載の装置。
【請求項９】
煙検出方法であって、
映像の複数のフレームの画像から前景ブロックを検出するステップと、
検出された各前景ブロックの移動領域を決定するステップと、
各前景ブロックの少なくとも２つのフレームの画像における第１重なり度合いを決定し、且つ／或いは各前景ブロックと前記前景ブロックに対応する移動領域との第２重なり度合いを決定するステップと、
前記第１重なり度合い及び／又は前記第２重なり度合いに基づいて干渉前景ブロックを決定するステップと、
前記干渉前景ブロックが除去された残りの前景ブロックの移動領域から特徴を抽出し、前記特徴に基づいて煙を検出するステップと、を含む、方法。
【請求項１０】
各前景ブロックの少なくとも２つのフレームの画像における第１重なり度合いを決定するステップは、
前景ブロックの第１重なり度合いを計算する際に、前記前景ブロックの第１数のフレームの画像における第１重なり面積を計算し、前記前景ブロックの第１面積を計算し、前記第１重なり面積の前記第１面積に対する比率を前記第１重なり度合いとするステップ、を含み、
各前景ブロックと前記前景ブロックに対応する移動領域との第２重なり度合いを決定するステップは、
前景ブロックの第２重なり度合いを計算する際に、前記前景ブロックの面積と前記前景ブロックの移動領域の第２面積との第２重なり面積を計算し、前記第２重なり面積の前記第２面積に対する比率を前記第２重なり度合いとするステップ、を含む、請求項９に記載の方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理の分野に関し、特に煙検出方法及び装置に関する。
【背景技術】
【０００２】
火災は人々に大きな損害を与える可能性があり、通常、火が燃え広がる前に煙が発生するため、煙をできるだけ早く検出できれば、火の燃え広がりを効果的に防ぐことができる。現在、従来のコンピュータービジョン及びパターン認識に基づく煙検出アルゴリズムは、良好な検出結果を達成している。
【０００３】
なお、上述した技術背景の説明は、本発明の技術案を明確、完全に理解させるための説明であり、当業者を理解させるために記述されているものである。これらの技術案は、単なる本発明の背景技術部分として説明されたものであり、当業者により周知されたものではない。
【発明の概要】
【発明が解決しようとする課題】
【０００４】
本発明の発明者の発見により、火災が雨又は過度の光反射などの過酷な屋外環境で発生する場合、水滴又は光反射の光スポットがビデオ監視のレンズに落ちることにより、煙の誤検出は発生する可能性がある。
【０００５】
本発明の実施例は、従来技術に存在する問題を解決し、煙検出の正確率を向上させることができ、水滴又は光スポットなどの干渉物体による誤検出を回避することができる、煙検出方法及び装置、画像処理装置を提供する。
【課題を解決するための手段】
【０００６】
本発明の実施例の第１態様では、煙検出装置であって、映像の複数のフレームの画像から前景ブロックを検出する前景検出手段と、検出された各前景ブロックの移動領域を決定するブロック追跡手段と、各前景ブロックの少なくとも２つのフレームの画像における第１重なり度合いを決定し、且つ／或いは各前景ブロックと前記前景ブロックに対応する移動領域との第２重なり度合いを決定する計算手段と、前記第１重なり度合い及び／又は前記第２重なり度合いに基づいて干渉前景ブロックを決定するブロック除去手段と、前記干渉前景ブロックが除去された残りの前景ブロックの移動領域から特徴を抽出し、前記特徴に基づいて煙を検出する煙検出手段と、を含む、装置を提供する。
【０００７】
本発明の実施例の第２態様では、煙検出方法であって、映像の複数のフレームの画像から前景ブロックを検出するステップと、検出された各前景ブロックの移動領域を決定するステップと、各前景ブロックの少なくとも２つのフレームの画像における第１重なり度合いを決定し、且つ／或いは各前景ブロックと前記前景ブロックに対応する移動領域との第２重なり度合いを決定するステップと、前記第１重なり度合い及び／又は前記第２重なり度合いに基づいて干渉前景ブロックを決定するステップと、前記干渉前景ブロックが除去された残りの前景ブロックの移動領域から特徴を抽出し、前記特徴に基づいて煙を検出するステップと、を含む、方法を提供する。
【０００８】
本発明の実施例の第３態様では、上記の第１態様に記載の煙検出装置を含む、画像処理装置を提供する。
【０００９】
本発明の実施例の有利な効果として、各前景ブロックの少なくとも２つのフレームの画像における重なり度合い、及び／又は各前景ブロックと該前景ブロックに対応する移動領域との重なり度合いを決定し、煙検出における干渉前景ブロックを除去することで、従来技術に存在する問題を解決することができ、煙検出の正確率を向上させることができ、水滴又は光スポットなどの干渉物体による誤検出を回避することができる。
【００１０】
本発明の特定の実施形態は、後述の説明及び図面に示すように、詳細に開示され、本発明の原理を採用されることが可能な方式を示している。なお、本発明の実施形態は、範囲上には限定されるものではない。本発明の実施形態は、添付されている特許請求の範囲の主旨及び内容の範囲内、各種の改変、修正、及び均等的なものが含まれる。
【００１１】
ある一つの実施形態に説明及び又は示されている特徴は、同一又は類似の方式で一つ又は多くの他の実施形態に使用されてもよく、他の実施形態における特徴と組み合わせてもよく、他の実施形態における特徴を代替してもよい。
【００１２】
なお、用語「含む／有する」は、本文に使用される際に、特徴、要素、ステップ又は構成要件の存在を意味し、一つ又は複数の他の特徴、要素、ステップ又は構成要件の存在又は追加を排除するものではない。
【図面の簡単な説明】
【００１３】
本発明の多くの態様は、以下の図面を参照しながら理解できる。図面における素子は比例に応じて記載されたものではなく、本発明の原理を示すためのものである。本発明の一部分を示す又は記載するため、図面における対応部分は拡大或いは縮小される可能性がある。本発明の１つの図面及び１つの実施形態に記載された要素及び特徴は、１つ又はさらに多くの図面又は実施形態に示された要素及び特徴と組み合わせてもよい。また、図面において、類似の符号は複数の図面における対応する素子を示し、１つ以上の実施形態に用いられる対応素子を示してもよい。
【図１】実施例１に係る煙検出方法のフローチャートである。
【図２】実施例１に係る第１重なり度合いを示す図である。
【図３】実施例１に係る第２重なり度合いを示す図である。
【図４】実施例１に係る煙検出方法のフローチャートである。
【図５】実施例２に係る煙検出装置を示す図である。
【図６】実施例３に係る画像処理装置のハードウェア構成を示す図である。
【発明を実施するための形態】
【００１４】
本発明の実施例の上記及びその他の特徴は、図面及び下記の説明により理解できるものである。これらの実施例は単なる例示的なものであり、本発明を制限するものではない。当業者に本発明の原理及び実施例をより容易に理解させるため、本発明の実施例は画像圧縮処理の再構築画像を一例にして説明するが、本発明の実施例はこれに限定されず、他の画像処理の再構築画像も本発明の範囲内のものである。
【００１５】
本発明の実施例では、用語「第１」、「第２」などは、タイトルで異なる要素を区別するために用いられるが、これらの要素の空間的配列又は時間的順序などを表すものではなく、これらの要素はこれらの用語に制限されない。用語「及び／又は」は、関連するリストに列挙された用語の１つ又は複数のうち何れか１つ及び全ての組み合わせを含む。用語「含む」、「包括する」、「有する」などは、列挙された特徴、要素、素子又は構成部材の存在を意味するが、１つ又は複数の他の特徴、要素、素子又は構成部材の存在又は追加を排除するものではない。
【００１６】
本発明の実施例では、単数形の「１つ」、「該」などは複数形を含み、「１種類」又は「１類」と広義的に理解されるべきであり、「１個」に限定されない。また、用語「前記」は、文脈がそうでないことを明確に示さない限り、単数形及び複数形両方を含むと理解されるべきである。また、文脈がそうでないことを明確に示さない限り、用語「に記載の」は「少なくとも一部に記載の」と理解されるべきであり、用語「に基づいて」は「少なくとも一部に基づいて」と理解されるべきである。
【００１７】
以下は図面を参照しながら本発明の具体的な実施例を説明する。
【００１８】
＜実施例１＞
本実施例１は煙検出方法を提供し、図１は該方法のフローチャートであり、図１に示すように、該方法は以下のステップを含む。
【００１９】
ステップ１０１：映像の複数のフレームの画像から前景ブロックを検出する。
【００２０】
ステップ１０２：検出された各前景ブロックの移動領域を決定する。
【００２１】
ステップ１０３：各前景ブロックの少なくとも２つのフレームの画像における第１重なり度合いを決定し、且つ／或いは各前景ブロックと該前景ブロックに対応する移動領域との第２重なり度合いを決定する。
【００２２】
ステップ１０４：該第１重なり度合い及び／又は該第２重なり度合いに基づいて干渉前景ブロックを決定する。
【００２３】
ステップ１０５：該干渉前景ブロックが除去された残りの前景ブロックの移動領域から特徴を抽出し、該特徴に基づいて煙を検出する。
【００２４】
本実施例によれば、各前景ブロックの少なくとも２つのフレームの画像における重なり度合い、及び／又は各前景ブロックと該前景ブロックに対応する移動領域との重なり度合いを決定し、煙検出における干渉前景ブロックを除去することで、従来技術に存在する問題を解決することができ、煙検出の正確率を向上させることができ、水滴又は光スポットなどの干渉物体による誤検出を回避することができる。
【００２５】
本実施例では、ステップ１０１において、カメラなどの装置を用いて複数のフレーム画像を含む映像を取得し、該映像を復号して該複数のフレーム画像を取得してもよい。該復号方法は従来技術を参照してもよく、例えば取得されたビデオストリームに対してエントロピー復号化、逆量子化、逆変換を行った後に、フレーム間予測結果と統合して該復号フレーム画像を取得する。
【００２６】
本実施例では、ステップ１０１において、前景ブロックを検出する前に、前記ブロックの検出結果の正確性を向上させるために、該フレーム画像に対して前処理を行ってもよい。例えば、各フレーム画像に対して鮮鋭化処理などを行い、前景ブロックを抽出しやすくなるように、画像のエッジ及びグレースケールホッピングの部分を強化し、画像をより鮮明化し、ノイズを除去又は低減する。該鮮鋭化処理の具体的な方法は従来技術、例えばハイパスフィルタリングや空間領域微分などを採用してもよいが、本実施例はこれに限定されない。
【００２７】
本実施例では、ステップ１０１において、該複数（Ｎ個）のフレーム画像に基づいて前景ブロックを検出し、従来技術におけるフレーム差、背景減算、オプティカルフローなどのアルゴリズムを用いて前景ブロックを検出してもよく、例えばガウシアン混合モデル（ＧＭＭ：Ｇａｕｓｓｉａｎ  Ｍｉｘｔｕｒｅ  Ｍｏｄｅｌ）に基づく背景画像モデリング方法を用いて、複数のフレーム画像に対して背景モデリングを行って前景ブロック及び背景ブロックを取得してもよい。なお、本発明はこれに限定されない。
【００２８】
本実施例では、ステップ１０２において、煙の移動中の特徴を解析するために、時系列において煙の疑いのある前景ブロックに対して追跡解析を行う必要がある。即ち、複数（Ｎ個）のフレーム画像において、各前景ブロックの動き経過を追跡し、各前景ブロックの複数のフレーム画像における移動領域を取得する。該追跡方法は従来のブロックマッチングアルゴリズムを用いてもよく、例えばフレーム画像を異なるマクロブロックに分割し、隣接するフレーム画像の所定の範囲内で検索マッチングを行い、現フレーム（Ｎ番目のフレーム）における該前景ブロックに最も類似するブロックを取得する。類似度の判断方法は、従来の最小平均絶対差（ＭＡＤ）及び最小平均二乗誤差（ＭＳＥ）アルゴリズムなどを採用してもよい。上記の追跡アルゴリズムにより該前景ブロックの各フレーム画像における位置を決定することができ、複数のフレーム画像における上記の追跡の位置を併合して該前景ブロックの移動領域を構成する。
【００２９】
本実施例では、好ましくは、演算量を低減させ、検出精度を向上させるために、ステップ１０１〜１０２において、事前スクリーニングを行ってもよく、即ち、全ての前景ブロック及び移動領域から煙の疑いのある前景ブロック及び煙の疑いのある前景ブロックの移動領域を検出してもよい。例えば、検出された前景ブロックの形状、輪郭、色などが煙の特徴を満たさない場合、該前景ブロックを追跡しなくてもよい。或いは、検出された前景ブロックの移動領域が下方へ移動し、或いは完全に動かない場合、即ち煙の動きの特徴を満たさない場合、該前景ブロックに対して後続のステップ１０３〜１０５の処理を行わなくてもよい。
【００３０】
本実施例では、屋外環境において降雨又は過度の光反射が発生した場合、水滴又は光反射の光スポットがビデオ監視のレンズに落ちる可能性があり、水滴又は光スポットの色又は輪郭などの特徴が煙と類似するため、誤検出は発生する可能性がある。水滴又は光スポットなどの干渉物体の動き方式が煙と異なることを考慮すると、例えば煙は、上記の干渉物体に比べて、移動速度が速く、長期間で同一の位置に留まらず、移動領域の面積が大きく、一方、水滴又は光スポットなどの干渉物体は、ビデオ画像の同一の位置に長期間で留まり、移動領域の面積が小さい。本実施例は、各前景ブロックの少なくとも２つのフレーム画像における重なり度合い、及び／又は各前景ブロックと該前景ブロックに対応する移動領域との重なり度合いに基づいて煙の疑いのある前景ブロックにおける干渉前景ブロックを決定、除去する方法を提供し、以下はステップ１０３及び１０４を参照しながら詳細に説明する。
【００３１】
本実施例では、ステップ１０３〜１０４の１つの態様では、ステップ１０１において検出された前景ブロック（煙の疑いのある前景ブロックと称されてもよく、以下は同様である）に基づいて干渉前景ブロックを決定してもよい。
【００３２】
この態様では、ステップ１０１において前景ブロックが検出された後に、ステップ１０２の前景ブロックの追跡プロセスにおいて干渉前景ブロックを決定してもよい。前景ブロックの第１重なり度合いを計算する際に、該前景ブロックの第１数のフレームの画像における第１重なり面積を計算し、該前景ブロックの第１面積を計算し、該第１重なり面積の該第１面積に対する比率を該前景ブロックの第１重なり度合いとする。他の前景ブロックの第１重なり度合いの計算方法は、この前景ブロックの第１重なり度合いの計算方法と同様である。
【００３３】
この態様では、重なり面積を計算するために、該第１数は２以上であってもよく、検出精度を向上させるために、該第１数のフレームは隣接するフレームであってもよく、該隣接するフレームは複数のフレームのうちのフレームと一定の範囲内で隣接するフレームを表し、そのうちの１つのフレームは現フレーム（Ｎ番目のフレーム）であってもよいし、現フレームの直前フレーム（Ｎ−１番目のフレーム）であってもよいし、Ｎ−ｉ番目のフレーム（ｉは１よりも大きい）であってもよいが、本実施例はこれに限定されない。好ましくは、該隣接するフレームは連続的なフレームである。該第１面積は、該前景ブロックのＮ個のフレーム画像のうちの任意の１つのフレーム画像における面積、例えばＮ−１番目のフレーム又はＮ番目のフレームにおける面積であってもよいが、本実施例はこれに限定されない。
【００３４】
例えば、該第１数が２に等しい場合、該第１数のフレームは該映像の複数のフレーム画像のうちの現フレーム（即ちＮ番目のフレーム）及び現フレームの直前フレーム（即ちＮ−１番目のフレーム）であってもよい。図２は該第１重なり度合いを示す図である。図２に示すように、Ｎ番目のフレームにおいて検出された前景ブロックはＡ、Ｂ、Ｃ、Ｄであり、Ｎ−１番目のフレームにおいて検出された前景ブロックはＡ’、Ｂ’、Ｃ’、Ｄ’であり、前景ブロックの追跡プロセスでは、Ａ−Ａ’は同一の前景であり、Ｂ−Ｂ’は同一の前景であり、Ｃ−Ｃ’は同一の前景であり、Ｄ−Ｄ’は同一の前景であり、前景ブロックＡ−Ａ’について、その第１重なり度合いは次の式（１）に従って計算されてもよい。
【数１】
2020102212.tif 000003
【００３５】
ここで、ＩｏＵ１は第１重なり度合いを表し、ＢｌｏｂＮ−１及びＢｌｏｂＮは何れも該第１面積を表してもよく、ＢｌｏｂＮ−１∩ＢｌｏｂＮは該前景ブロックのＮ番目のフレーム及びＮ−１番目のフレームにおける第１重なり面積を表す。以上は、第１数が２であり、前景ブロックがＡ−Ａ’であることを一例にして該第１重なり度合いの計算方法を説明しているが、該前景ブロックＢ−Ｂ’、Ｃ−Ｃ’、Ｄ−Ｄ’の第１重なり度合いの計算方法は該式（１）と同様である。また、第１数は２よりも大きくてもよく、該第１重なり面積は該前景ブロックの３つ以上のフレーム画像における面積の重なり部分であってもよく、ここでその説明を省略する。
【００３６】
この態様では、煙に比べて、水滴又は光スポットは隣接するフレームにおいて大幅に移動することがなく、即ち該干渉前景ブロックの第１重なり面積が該第１面積に近く、第１重なり度合いが大きいため、第１閾値を予め設定し、第１重なり度合いが第１閾値以上である前景ブロックを干渉前景ブロックとして決定してもよい。該第１閾値は経験に基づいて決定されてもよく、本発明はこれに限定されない。
【００３７】
本実施例では、ステップ１０３〜１０４のもう１つの態様では、ステップ１０１において検出された前景ブロック（煙の疑いのある前景ブロックと称されてもよく、以下は同様である）及びステップ１０２において検出された該前景ブロックの移動領域（煙の疑いのある移動領域と称されてもよく、以下は同様である）に基づいて干渉前景ブロックを決定してもよい。
【００３８】
この態様では、ステップ１０２の追跡が完了した後に、ステップ１０１及びステップ１０２において検出された前景ブロック及び該前景ブロックの移動領域の両方に基づいて干渉前景ブロックを決定してもよい。前景ブロックの第２重なり度合いを計算する際に、該前景ブロックの面積と該前景ブロックの移動領域の第２面積との第２重なり面積を計算し、該第２重なり面積の該第２面積に対する比率を該第２重なり度合いとする。他の前景ブロックの第２重なり度合いの計算方法は、この前景ブロックの第２重なり度合いの計算方法と同様である。
【００３９】
この態様では、該前景ブロックの面積の計算方法は上記の第１面積を参照してもよく、該第２面積は、上記のＮ個のフレームにおいて検出された移動領域の面積であってもよいし、Ｎ個のフレームのうちの後に位置する第２数のフレームにおいて検出された移動領域の面積であってもよく、この場合は、該前景ブロックの面積は該第２数のフレームのうちの１つのフレームの画像における面積であってもよいが、本実施例はこれに限定されない。該第２数は該第１数以上であり、該第２数のフレームは隣接するフレームであってもよく、好ましくは、連続的なフレームであってもよい。
【００４０】
例えば、該前景ブロックの面積はＮ番目のフレームの面積であり、該移動領域の面積はＮ個のフレームにおける該前景ブロックの移動領域の面積である。図３は該第２重なり度合いを示す図である。図３に示すように、Ｎ番目のフレームにおいて検出された前景ブロックはＡ、Ｂであり、前景ブロックの追跡プロセスの後に、ＡのＮ個のフレームにおける移動領域はＡ”であり、ＢのＮ個のフレームにおける移動領域はＢ”であり、前景ブロックＡについて、その第２重なり度合いは次の式（２）に従って計算されてもよい。
【数２】
2020102212.tif 000004
【００４１】
ここで、ＩｏＵ２は第２重なり度合いを表し、ＢｌｏｂＡは該前景ブロックの面積を表し、ＢｌｏｂＡ”は該前景ブロックの移動領域の面積を表し、ＢｌｏｂＡ∩ＢｌｏｂＡ”は該第２重なり面積を表す。以上は、前景ブロックがＡであることを一例にして該第２重なり度合いの計算方法を説明しているが、該前景ブロックＢの第２重なり度合いの計算方法は該式（２）と同様であり、ここでその説明を省略する。
【００４２】
この態様では、煙に比べて、水滴又は光スポットは隣接するフレームにおいて大幅に移動することがなく、即ち該干渉前景ブロックの移動領域の面積が小さく、前景ブロックの面積に近く、第２重なり度合いが大きいため、第２閾値を予め設定し、第２重なり度合いが第２閾値以上である前景ブロックを干渉前景ブロックとして決定してもよい。該第２閾値は経験に基づいて決定されてもよく、本発明はこれに限定されない。
【００４３】
本実施例では、ステップ１０３〜１０４のもう１つの態様では、上記の第１重なり度合い及び第２重なり度合いをそれぞれ計算し、該第１重なり度合い及び第２重なり度合いに基づいて干渉前景ブロックを決定、除去してもよいが、ここでその説明を省略する。
【００４４】
本実施例では、ステップ１０５において、該干渉前景ブロックが除去された残りの前景ブロック（又は残りの煙の疑いのある前景ブロック）の移動領域から特徴を抽出し、該特徴に基づいて煙の有無を判断する。例えば、該特徴は、彩度関連情報、グレースケール分散値、階調グレースケール平均値などを含んでもよい。ここで、上記の特徴の抽出方法は従来技術を参照してもよく、ここでその説明を省略する。
【００４５】
例えば、通常、煙の彩度は低く、抽出特徴が彩度の平均値である場合、該彩度の平均値が第３閾値以上であるか否かを判断し、第３閾値以上である場合、煙がないと決定する。
【００４６】
例えば、通常、煙のテクスチャは低く、抽出特徴がグレースケール分散である場合、該グレースケール分散が第４閾値以上であるか否かを判断し、第４閾値以上である場合、煙がないと決定する。
【００４７】
例えば、通常、煙が拡散発散という特性を有し、抽出特徴がグレースケール平均値である場合、該グレースケール平均値と背景グレースケール平均値との差が第５閾値以下であるか否かを判断し、第５閾値以下である場合、煙がないと決定する。
【００４８】
以上は煙の有無の判断方法を例示的に説明しているが、本発明はこれに限定されず、例えば他の特徴、例えば勾配方向などを用いて判断してもよい。また、上記の態様のうちの１つ又は複数を用いてもよく、例えばそのうちの１つの態様のみを用いてもよいし、上記の少なくとも２つの態様を用いてもよい。上記の判断には実行順序に限定されず、実際に適用する際に、実際の状況に応じて具体的な検出方法を決定してもよい。
【００４９】
図４は本実施例に係る煙検出方法のフローチャートであり、図４に示すように、該方法は以下のステップを含む。
【００５０】
ステップ４０１：映像データを取得し、該映像データを復号し、複数のフレームの画像を取得する。
【００５１】
ステップ４０２（オプション）：該映像データに対して前処理を行う。
【００５２】
ステップ４０３：複数のフレームの画像から前景ブロックを検出する。
【００５３】
ステップ４０４：検出された各前景ブロックの移動領域を決定する。
【００５４】
ステップ４０５：前景ブロック及び移動領域に基づいて干渉前景ブロックを除去する。
【００５５】
ステップ４０６：残りの前景ブロックの移動領域から特徴を抽出する。
【００５６】
ステップ４０７：該抽出された特徴に基づいて煙を検出する。
【００５７】
本実施例では、ステップ４０１〜４０４の態様は上記のステップ１０１〜１０２を参照してもよく、ステップ４０６〜４０７の態様は上記のステップ１０５を参照してもよく、ここでその説明を省略する。
【００５８】
本実施例では、ステップ４０５において、該前景ブロック及び移動領域に基づいて上記の第１重なり度合い及び／又は第２重なり度合いを計算し、該第１重なり度合い及び／又は第２重なり度合いに基づいて干渉前景ブロック（水滴又は光スポット）を決定してもよく、その態様はステップ１０３〜１０４を参照してもよく、ここでその説明を省略する。また、ステップ４０５において、他の方法を用いて他のタイプの干渉前景ブロックを除去するステップをさらに含み、例えば車両、人などの移動の干渉前景ブロック又は静止の干渉前景ブロックなどを除去し、該移動の干渉前景ブロック又は静止の干渉前景ブロックの決定方法は従来技術を参照してもよく、ここでその説明を省略する。従って、ステップ４０５により、検出された前景ブロックから一部の干渉前景ブロックを予め除去することで、煙検出の正確率を向上させると共に、煙検出の速度を向上させることができる。
【００５９】
本実施例によれば、各前景ブロックの少なくとも２つのフレームの画像における重なり度合い、及び／又は各前景ブロックと該前景ブロックに対応する移動領域との重なり度合いを決定し、煙検出における干渉前景ブロックを除去することで、従来技術に存在する問題を解決することができ、煙検出の正確率を向上させることができ、水滴又は光スポットなどの干渉物体による誤検出を回避することができる。
【００６０】
＜実施例２＞
本実施例２は煙検出装置をさらに提供する。該装置の問題解決の原理は実施例１と類似するため、その具体的な実施は実施例１の方法の実施を参照してもよく、同様な内容についてその説明を省略する。
【００６１】
図５は該煙検出装置を示す図である。図５に示すように、該煙検出装置５００は、前景検出部５０１、ブロック追跡部５０２、計算部５０３、ブロック除去部５０４及び煙検出部５０５を含む。
【００６２】
前景検出部５０１は、映像の複数のフレームの画像から前景ブロックを検出する。
【００６３】
ブロック追跡部５０２は、検出された各前景ブロックの移動領域を決定する。
【００６４】
計算部５０３は、各前景ブロックの少なくとも２つのフレームの画像における第１重なり度合いを決定し、且つ／或いは各前景ブロックと該前景ブロックに対応する移動領域との第２重なり度合いを決定する。
【００６５】
ブロック除去部５０４は、該第１重なり度合い及び／又は第２重なり度合いに基づいて干渉前景ブロックを決定する。
【００６６】
煙検出部５０５は、該干渉前景ブロックが除去された残りの前景ブロックの移動領域から特徴を抽出し、該特徴に基づいて煙を検出する。
【００６７】
本実施例によれば、各前景ブロックの少なくとも２つのフレームの画像における重なり度合い、及び／又は各前景ブロックと該前景ブロックに対応する移動領域との重なり度合いを決定し、煙検出における干渉前景ブロックを除去することで、従来技術に存在する問題を解決することができ、煙検出の正確率を向上させることができ、水滴又は光スポットなどの干渉物体による誤検出を回避することができる。
【００６８】
本実施例では、前景検出部５０１、ブロック追跡部５０２、計算部５０３、ブロック除去部５０４及び煙検出部５０５の態様は実施例１におけるステップ１０１〜１０５を参照してもよく、ここでその説明を省略する。
【００６９】
本実施例では、前景ブロックの第１重なり度合いを計算する際に、計算部５０３は、前景ブロックの第１数のフレームの画像における第１重なり面積を計算し、該前景ブロックの第１面積を計算し、該第１重なり面積の該第１面積に対する比率を該第１重なり度合いとする。
【００７０】
例えば、該第１数は２以上であり、該第１数のフレームは、該映像の複数のフレームの画像のうちの現フレーム及び現フレームの直前フレームであってもよく、好ましくは、該第１数のフレームは連続的なフレームであってもよい。
【００７１】
本実施例では、前景ブロックの第２重なり度合いを計算する際に、計算部５０３は、該前景ブロックの面積と該前景ブロックの移動領域の第２面積との第２重なり面積を計算し、該第２重なり面積の該第２面積に対する比率を該第２重なり度合いとする。
【００７２】
本実施例では、ブロック除去部５０４は、該第１重なり度合いが第１閾値以上である前景ブロックを干渉前景ブロックとして決定し、且つ／或いは、ブロック除去部５０４は、該第２重なり度合いが第２閾値以上である前景ブロックを干渉前景ブロックとして決定する。
【００７３】
例えば、該干渉前景ブロックは、水滴及び／又は光スポットである。
【００７４】
本実施例によれば、各前景ブロックの少なくとも２つのフレームの画像における重なり度合い、及び／又は各前景ブロックと該前景ブロックに対応する移動領域との重なり度合いを決定し、煙検出における干渉前景ブロックを除去することで、従来技術に存在する問題を解決することができ、煙検出の正確率を向上させることができ、水滴又は光スポットなどの干渉物体による誤検出を回避することができる。
【００７５】
＜実施例３＞
本発明の実施例は、例えば実施例２に記載の煙検出装置を含む画像処理装置をさら提供し、該煙検出装置の内容はここで援用する。該画像処理装置は、例えばコンピュータ、サーバ、ワークステーション、ラップトップコンピュータ、スマートフォンなどであってもよいが、本発明の実施例はこれに限定されない。
【００７６】
図６は本発明の実施例に係る画像処理装置のハードウェア構成を示す図である。図６に示すように、画像処理装置６００は、中央処理装置（ＣＰＵ）６１０及び記憶装置６２０を含んでもよく、記憶装置６２０は中央処理装置６１０に接続される。記憶装置６２０は、各種のデータプログラムを記憶してもよく、中央処理装置６１０の制御により該プログラムを実行する。
【００７７】
１つの態様では、煙検出装置５００の機能は中央処理装置６１０に統合されてもよい。ここで、中央処理装置６１０は、実施例１に記載の煙検出方法を実現するように構成されてもよい。
【００７８】
もう１つの態様では、煙検出装置５００は中央処理装置６１０とそれぞれ配置されてもよく、例えば、煙検出装置５００は中央処理装置６１０に接続されたチップであり、中央処理装置６１０の制御により煙検出装置５００の機能を実現するように構成されてもよい。
【００７９】
例えば、中央処理装置６１０は、映像の複数のフレームの画像から前景ブロックを検出し、検出された各前景ブロックの移動領域を決定し、各前景ブロックの少なくとも２つのフレームの画像における第１重なり度合いを決定し、且つ／或いは各前景ブロックと該前景ブロックに対応する移動領域との第２重なり度合いを決定し、該第１重なり度合い及び／又は第２重なり度合いに基づいて干渉前景ブロックを決定し、該干渉前景ブロックが除去された残りの前景ブロックの移動領域から特徴を抽出し、該特徴に基づいて煙を検出するように構成されてもよい。
【００８０】
該中央処理装置６１０の具体的な実施方法は実施例１を参照してもよく、ここでその説明を省略する。
【００８１】
また、図６に示すように、画像処理装置６００は、送受信部６３０等をさらに含んでもよい。ここで、上記各部の機能は従来技術と類似し、ここでその説明を省略する。なお、画像処理装置６００は、図６に示す全ての構成部を含まなくてもよい。また、画像処理装置６００は、図６に示していない構成部を含んでもよく、従来技術を参考してもよい。
【００８２】
本発明の実施例は、煙検出装置においてプログラムを実行する際に、コンピュータに、該煙検出装置において上記実施例１に記載の煙検出方法を実行させる、コンピュータ読み取り可能なプログラムをさらに提供する。
【００８３】
本発明の実施例は、コンピュータに、煙検出装置において上記実施例１に記載の煙検出方法を実行させるためのコンピュータ読み取り可能なプログラムを記憶する、記憶媒体をさらに提供する。
【００８４】
本発明の実施例を参照しながら説明した煙検出装置における煙検出方法は、ハードウェア、プロセッサにより実行されるソフトウェアモジュール、又は両者の組み合わせで実施されてもよい。例えば、図５〜図６に示す機能的ブロック図における１つ若しくは複数、又は機能的ブロック図の１つ若しくは複数の組み合わせは、コンピュータプログラムフローの各ソフトウェアモジュールに対応してもよいし、各ハードウェアモジュールに対応してもよい。これらのソフトウェアモジュールは、図１、図４に示す各ステップにそれぞれ対応してもよい。これらのハードウェアモジュールは、例えばフィールド・プログラマブル・ゲートアレイ（ＦＰＧＡ）を用いてこれらのソフトウェアモジュールをハードウェア化して実現されてもよい。
【００８５】
ソフトウェアモジュールは、ＲＡＭメモリ、フラッシュメモリ、ＲＯＭメモリ、ＥＰＲＯＭメモリ、ＥＥＰＲＯＭメモリ、レジスタ、ハードディスク、モバイルハードディスク、ＣＤ−ＲＯＭ又は当業者にとって既知の任意の他の形の記憶媒体に位置してもよい。プロセッサが記憶媒体から情報を読み取ったり、記憶媒体に情報を書き込むように該記憶媒体をプロセッサに接続してもよいし、記憶媒体がプロセッサの構成部であってもよい。プロセッサ及び記憶媒体はＡＳＩＣに位置する。該ソフトウェアモジュールは煙検出装置のメモリに記憶されてもよいし、煙検出装置に挿入可能なメモリカードに記憶されてもよい。
【００８６】
図５〜図６に記載されている一つ以上の機能ブロックおよび/または機能ブロックの一つ以上の組合せは、本願に記載されている機能を実行するための汎用プロセッサ、デジタル信号プロセッサ（ＤＳＰ）、特定用途向け集積回路（ＡＳＩＣ）、フィールド・プログラマブル・ゲートアレイ（ＦＰＧＡ）又は他のプログラマブル論理デバイス、ディスクリートゲートまたはトランジスタ論理装置、ディスクリートハードウェアコンポーネント、またはそれらの任意の適切な組み合わせで実現されてもよい。図５〜図６に記載されている一つ以上の機能ブロックおよび/または機能ブロックの一つ以上の組合せは、例えば、コンピューティング機器の組み合わせ、例えばＤＳＰとマイクロプロセッサの組み合わせ、複数のマイクロプロセッサの組み合わせ、ＤＳＰ通信と組み合わせた１つ又は複数のマイクロプロセッサ又は他の任意の構成で実現されてもよい。
【００８７】
以上、具体的な実施形態を参照しながら本発明を説明しているが、上記の説明は、例示的なものに過ぎず、本発明の保護の範囲を限定するものではない。本発明の趣旨及び原理を離脱しない限り、本発明に対して各種の変形及び変更を行ってもよく、これらの変形及び変更も本発明の範囲に属する。
【００８８】
また、上述の実施例を含む実施形態に関し、更に以下の付記を開示する。
（付記１）
煙検出装置であって、
映像の複数のフレームの画像から前景ブロックを検出する前景検出手段と、
検出された各前景ブロックの移動領域を決定するブロック追跡手段と、
各前景ブロックの少なくとも２つのフレームの画像における第１重なり度合いを決定し、且つ／或いは各前景ブロックと前記前景ブロックに対応する移動領域との第２重なり度合いを決定する計算手段と、
前記第１重なり度合い及び／又は前記第２重なり度合いに基づいて干渉前景ブロックを決定するブロック除去手段と、
前記干渉前景ブロックが除去された残りの前景ブロックの移動領域から特徴を抽出し、前記特徴に基づいて煙を検出する煙検出手段と、を含む、装置。
（付記２）
前景ブロックの第１重なり度合いを計算する際に、前記計算手段は、前記前景ブロックの第１数のフレームの画像における第１重なり面積を計算し、前記前景ブロックの第１面積を計算し、前記第１重なり面積の前記第１面積に対する比率を前記第１重なり度合いとする、付記１に記載の装置。
（付記３）
前記第１数は、２以上である、付記２に記載の装置。
（付記４）
前記第１数のフレームは、前記映像の複数のフレームの画像のうちの現フレーム及び現フレームの直前フレームである、付記２に記載の装置。
（付記５）
前記第１数のフレームは、連続的なフレームである、付記２に記載の装置。
（付記６）
前景ブロックの第２重なり度合いを計算する際に、前記計算手段は、前記前景ブロックの面積と前記前景ブロックの移動領域の第２面積との第２重なり面積を計算し、前記第２重なり面積の前記第２面積に対する比率を前記第２重なり度合いとする、付記１に記載の装置。
（付記７）
前記ブロック除去手段は、前記第１重なり度合いが第１閾値以上である前景ブロックを干渉前景ブロックとして決定し、且つ／或いは、前記ブロック除去手段は、前記第２重なり度合いが第２閾値以上である前景ブロックを干渉前景ブロックとして決定する、付記１に記載の装置。
（付記８）
前記干渉前景ブロックは、水滴及び／又は光スポットである、付記１に記載の装置。
（付記９）
煙検出方法であって、
映像の複数のフレームの画像から前景ブロックを検出するステップと、
検出された各前景ブロックの移動領域を決定するステップと、
各前景ブロックの少なくとも２つのフレームの画像における第１重なり度合いを決定し、且つ／或いは各前景ブロックと前記前景ブロックに対応する移動領域との第２重なり度合いを決定するステップと、
前記第１重なり度合い及び／又は前記第２重なり度合いに基づいて干渉前景ブロックを決定するステップと、
前記干渉前景ブロックが除去された残りの前景ブロックの移動領域から特徴を抽出し、前記特徴に基づいて煙を検出するステップと、を含む、方法。
（付記１０）
前景ブロックの第１重なり度合いを計算する際に、前記前景ブロックの第１数のフレームの画像における第１重なり面積を計算し、前記前景ブロックの第１面積を計算し、前記第１重なり面積の前記第１面積に対する比率を前記第１重なり度合いとするステップ、を含む、付記９に記載の方法。
（付記１１）
前記第１数は、２以上である、付記１０に記載の方法。
（付記１２）
前記第１数のフレームは、前記映像の複数のフレームの画像のうちの現フレーム及び現フレームの直前フレームである、付記１０又は１１に記載の方法。
（付記１３）
前記第１数のフレームは、連続的なフレームである、付記１０又は１１に記載の方法。
（付記１４）
前景ブロックの第２重なり度合いを計算する際に、前記前景ブロックの面積と前記前景ブロックの移動領域の第２面積との第２重なり面積を計算し、前記第２重なり面積の前記第２面積に対する比率を前記第２重なり度合いとするステップ、を含む、付記９に記載の方法。
（付記１５）
前記第１重なり度合い及び／又は前記第２重なり度合いに基づいて干渉前景ブロックを決定するステップは、
前記第１重なり度合いが第１閾値以上である前景ブロックを干渉前景ブロックとして決定し、且つ／或いは、前記第２重なり度合いが第２閾値以上である前景ブロックを干渉前景ブロックとして決定するステップ、を含む、付記９に記載の方法。
（付記１６）
前記干渉前景ブロックは、水滴及び／又は光スポットである、付記９に記載の方法。
（付記１７）
付記１に記載の煙検出装置を含む、画像処理装置。
【図１】
2020102212.tif 000005
【図２】
2020102212.tif 000006
【図３】
2020102212.tif 000007
【図４】
2020102212.tif 000008
【図５】
2020102212.tif 000009
【図６】
2020102212.tif 000010