(57)【要約】      （修正有）【課題】画像フレームのピクセル位置が背景に属しているか前景に属しているかを判定する方法、デバイス及びシステムを提供する。【解決手段】判定する方法は、ビデオシーケンスの画像フレームのピクセル位置がキャプチャされたシーンの背景に属しているか前景に属しているかを、ピクセル位置の判定されたレベルのダイナミクスを使用して判定する。【選択図】図４
2020024675.tif 000002
【特許請求の範囲】
【請求項１】
ビデオシーケンスの画像フレーム（１００）のピクセル位置がキャプチャされたシーン（１０１）の背景に属しているか前景に属しているかを判定する方法であって、前記画像フレームの各ピクセル位置（１１０、１１２）に対して、
前記ピクセル位置が分類されているクラスを受信すること（Ｓ３０２）であって、前記クラスは前記ピクセル位置での前記キャプチャされたシーンのコンテンツのカテゴリを表している、クラスを受信することと、
前記ピクセル位置をその対応するクラスのダイナミクスのレベルと関連付けること（Ｓ３０４）であって、クラスのダイナミクスの前記レベルは、前記クラスに属しているピクセル位置でのピクセル値が前記ビデオシーケンスのフレーム間で値を変える確率を反映する、前記ピクセル位置をその対応するクラスのダイナミクスのレベルと関連付けることと、
前記画像フレームの前記ピクセル位置の前記ピクセル値を背景モデル（２００）および閾値（２０４）と比較することによって、前記画像フレームの前記ピクセル位置が前記キャプチャされたシーンの前記背景に属しているか前記前景に属しているかを判定すること（Ｓ３０８）であって、前記背景モデルはピクセル位置を表す１つまたは複数の値（２０２）を含み、前記ピクセル位置は、前記ピクセル値と前記背景モデルの前記位置を表す前記１つまたは複数の値の中の第１の所定数の値の間の差が前記ピクセル位置に対する前記閾値未満である場合、前記背景に属していると判定される、前記画像フレームの前記ピクセル位置が前記キャプチャされたシーンの前記背景に属しているか前記前景に属しているかを判定することと、
前記画像フレームの前記ピクセル位置が前記背景に属していると判定される場合、
前記画像フレームの前記ピクセル位置の前記ピクセル値が先行フレームから第２の値を超えて変化している場合に前記ピクセル位置に特有の前記閾値をインクリメントによって増加させること（Ｓ３１４）であって、前記インクリメントは、より高いレベルのダイナミクスが結果としてより大きいインクリメントになるように前記ピクセル位置のダイナミクスの前記レベルに依存するように設定される、前記閾値をインクリメントによって増加させることと
を含む方法。
【請求項２】
前記画像フレームの前記ピクセル位置が前記背景に属していると判定される場合、
前記画像フレームの前記ピクセル位置の前記ピクセル値が先行フレームから前記第２の値より少ない分だけ変化したならば、前記ピクセル位置に特有の前記閾値をデクリメントによって減少させるステップ（Ｓ３１６）であって、前記デクリメントは、より高いレベルのダイナミクスが結果としてより小さいデクリメントになるように前記ピクセル位置のダイナミクスの前記レベルに依存するように設定される、前記閾値をデクリメントによって減少させるステップ
をさらに含む、請求項１に記載の方法。
【請求項３】
前記ピクセル位置に特有の前記閾値をある値に設定するステップ（Ｓ３０６）であって、前記値は、より高いレベルのダイナミクスが結果としてより大きい値になるように前記ピクセル位置のダイナミクスの前記レベルに依存する、前記閾値をある値に設定するステップ
をさらに含む、請求項１または２に記載の方法。
【請求項４】
前記閾値を設定する前記ステップが前記ビデオストリームの初期フレームに対して実行される、請求項３に記載の方法。
【請求項５】
前記閾値を設定する前記ステップが、前記ビデオシーケンスをキャプチャしているビデオキャプチャデバイスの視野が変えられるときに実行される、請求項３または４に記載の方法。
【請求項６】
前記ピクセル位置のダイナミクスの前記レベルに応じてより小さい下位閾値を前記ピクセル位置に特有の前記閾値に対して設定することをさらに含み、前記下位閾値は、より高いレベルのダイナミクスが結果としてより大きい値の前記下位閾値になるように前記閾値に対する最小限の可能な値を判定する、請求項１から５のいずれか一項に記載の方法。
【請求項７】
前記ピクセル位置は、その対応するクラスが第１の定義済みグループのクラスに属する場合、第１のレベルのダイナミクスと関連付けられ、前記ピクセル位置は、その対応するクラスが前記第２の定義済みグループのクラスに属する場合、第２の、より高いレベルのダイナミクスと関連付けられる、請求項１から６のいずれか一項に記載の方法。
【請求項８】
前記ピクセル位置に対応する前記クラスが第３の定義済みグループのクラスに属する場合、前記ピクセル位置に特有の前記閾値は一定レベルに維持される、請求項７に記載の方法。
【請求項９】
前記ピクセル位置が分類された前記クラスがセマンティックセグメンテーションのためのアルゴリズムを使用して判定される、請求項１から８のいずれか一項に記載の方法。
【請求項１０】
セマンティックセグメンテーションのための前記アルゴリズムが前記ビデオストリームの画像フレームのサブセットに実行される、請求項９に記載の方法。
【請求項１１】
前記ピクセル位置が分類された前記クラスが、画像フレームの前記サブセットの複数の画像フレームから、前記ピクセル位置のための前記セマンティックアルゴリズムからの結果の組合せを使用して判定される、請求項１０に記載の方法。
【請求項１２】
前記背景モデルはピクセル位置を表す複数の値を含み、前記画像フレームの前記ピクセル位置が前記キャプチャされたシーンの前記背景または前記前景に属しているかどうかを判定する前記ステップが、
前記ピクセル位置の前記画像フレームのピクセル値と、前記対応するピクセル位置での前記背景モデルの前記複数の値のそれぞれの間の差を算出することと、
前記ピクセル位置に特有の前記閾値より小さい差の数を算出することと、
前記算出された数が値の前記第１の所定数以上である場合、前記画像フレームの前記ピクセル位置が前記背景に属しているということ、そうでない場合、前記画像フレームの前記ピクセル位置が前記前景に属しているということを判定することと
を含む、請求項１から１１のいずれか一項に記載の方法。
【請求項１３】
処理能力を有するデバイスによって実行されると請求項１から１２のいずれか一項の方法を実施するのに適応している命令を備えるコンピュータ可読記憶媒体を含む、コンピュータプログラム製品。
【請求項１４】
ビデオシーケンスの画像フレーム（１００ａ、ｂ、ｃ）のピクセル位置（１１０、１１２）がキャプチャされたシーンの背景に属しているか前景に属しているかを判定するためのデバイス（６１０）であって、
前記ピクセル位置が分類されているクラスを受信すること（６０９）であって、前記クラスは前記ピクセル位置での前記キャプチャされたシーンのオブジェクトのタイプを表している、受信することと、
前記ピクセル位置をその対応するクラスに基づくダイナミクスのレベルと関連付けることであって、クラスのダイナミクスの前記レベルは、前記クラスに属しているピクセル位置でのピクセル値が前記ビデオシーケンスのフレーム間で値を変える確率を反映する、関連付けることと、
前記画像フレームの前記ピクセル位置の前記ピクセル値を背景モデルおよび閾値と比較することによって、前記画像フレームの前記ピクセル位置が前記キャプチャされたシーンの前記背景に属しているか前記前景に属しているかを判定することであって、前記背景モデルはピクセル位置を表す１つまたは複数の値を含み、前記ピクセル位置は、前記ピクセル値と前記背景モデルの前記位置を表す前記１つまたは複数の値の中の第１の所定数の値の間の差が前記ピクセル位置に対する前記閾値未満である場合、前記背景に属していると判定される、判定することと、
前記画像フレームの前記ピクセル位置が前記背景に属していると判定される場合、
前記ピクセル値が先行フレームから第２の値を超えて変化している場合に前記ピクセル位置に特有の前記閾値をインクリメントによって増加させることであって、前記インクリメントは、より高いレベルのダイナミクスが結果としてより大きいインクリメントになるように前記ピクセル位置のダイナミクスの前記レベルに依存するように設定される、増加させることと
に適応されたプロセッサを含む、デバイス。
【請求項１５】
シーン（１０１）を表しているビデオシーケンスを連続的にキャプチャするように適応されるビデオキャプチャデバイス（６０４）と、
前記ビデオキャプチャデバイスから前記ビデオシーケンスの第１の画像フレーム（１００ａ）を受信し、前記画像フレームの各ピクセル位置を、前記ピクセル位置の前記キャプチャされたシーンのオブジェクトのタイプを表すクラスに分類し、前記画像フレームのピクセル位置ごとにクラスを出力するように適応される第１のデバイス（６０８）と、
請求項１４に記載の第２のデバイス（６１０）であって、前記ビデオキャプチャデバイスから前記ビデオシーケンスの第２の画像フレーム（１００ｂ、ｃ）を受信して、前記第１のデバイスから前記第１の画像フレームのピクセル位置ごとにクラスを受信するのに適応される第２のデバイスと
を含むシステム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像の背景差分の分野に関する。特に、本発明は、ビデオシーケンスの画像フレームのピクセル位置がキャプチャされたシーンの背景に属しているか前景に属しているかを判定することに関する。
【背景技術】
【０００２】
ビデオ監視においては、ビデオシーケンスでキャプチャされるシーンの移動オブジェクトを検出できることが重要である。ビデオのモーション検出のための多くのツールがある。それらのいくつかは、ビデオストリームの特徴をたどることによって、フレームごとにオブジェクトを追跡する。他のツールは、現在のフレームを静的背景フレームとピクセルごとに比較する。後者は、重要な変化が発生するゾーンを検出することによって移動オブジェクトを抽出することを意図する背景差分の基礎である。移動オブジェクトは前景として参照され、一方で静的オブジェクトは背景の一部である。
【０００３】
背景からの移動オブジェクトの分離は複雑な問題であり、背景が動的である場合、例えば、背景に揺れている木か水のさざ波がある場合、または照明が変化する場合などに、それはさらに困難になる。特に、動的背景は、移動オブジェクトの誤検出の数が増加するという結果になり得る。
【０００４】
背景差分法のレビューは、教本「Ｂａｃｋｇｒｏｕｎｄ  Ｍｏｄｅｌｉｎｇ  ａｎｄ  Ｆｏｒｅｇｒｏｕｎｄ  Ｄｅｔｅｃｔｉｏｎ  ｆｏｒ  Ｖｉｄｅｏ  Ｓｕｒｖｅｉｌｌａｎｃｅ」、ＣＲＣ  Ｐｒｅｓｓ、Ｔａｙｌｏｒ  ＆  Ｆｒａｎｃｉｓ  Ｇｒｏｕｐ、Ｂｏｃａ  Ｒａｔｏｎ、２０１５年（編者：Ｔｈｉｅｒｒｙ  Ｂｏｕｗｍａｎｓ、Ｆａｔｉｈ  Ｐｏｒｉｋｌｉ、Ｂｅｎｊａｍｉｎ  ＨｏｆｅｒｌｉｎおよびＡｎｔｏｉｎｅ  Ｖａｃａｖａｎｔ）においてなされている。例えば第１章および第７章を参照されたい。
【０００５】
背景差分法は、ビデオストリームの現在フレームの、移動オブジェクトとは独立した基準背景フレームまたはモデルとの比較を一般に含む。画像を背景フレームまたはモデルと比較することによって、画像の各ピクセルが前景または背景に属しているか否かを決定することができる。このようにして、画像は、相補的な２つのピクセルのセットである前景および背景に分割することができる。
【０００６】
背景差分は、基礎となる背景モデルおよび、経時的な背景変化に適応するための更新戦略の定義を必要とする。多くの背景モデルが文献において提案されている。これは、パラメトリックモデル（例えばガウス分布）およびノンパラメトリックモデル（例えばサンプルベースのモデル）を含む。
【０００７】
しかしながら、背景と前景の間の正しい分離を成し遂げるために、採用される背景モデリングに対するアプローチが何であろうとも、マルチモード環境を表すシーンのエリア（このことは、これらのエリアを表すピクセル値が同シーンをキャプチャしているビデオシーケンスのフレーム間に値を変えることを表す確率が高いことを意味する）は、より多くの静的エリアと比較して、これらのエリアのフレーム間に本質的に存在する画像コンテンツの（ピクセル値によって表される）より大きい差のために、エリアが背景を表すか前景を表すかを判定することに関しては、異なって扱われることが必要である。
【０００８】
したがって、この文脈の範囲において改善の必要性がある。
【先行技術文献】
【非特許文献】
【０００９】
【非特許文献１】「Ｂａｃｋｇｒｏｕｎｄ  Ｍｏｄｅｌｉｎｇ  ａｎｄ  Ｆｏｒｅｇｒｏｕｎｄ  Ｄｅｔｅｃｔｉｏｎ  ｆｏｒ  Ｖｉｄｅｏ  Ｓｕｒｖｅｉｌｌａｎｃｅ」、ＣＲＣ  Ｐｒｅｓｓ、Ｔａｙｌｏｒ  ＆  Ｆｒａｎｃｉｓ  Ｇｒｏｕｐ、Ｂｏｃａ  Ｒａｔｏｎ、２０１５年（編者：Ｔｈｉｅｒｒｙ  Ｂｏｕｗｍａｎｓ、Ｆａｔｉｈ  Ｐｏｒｉｋｌｉ、Ｂｅｎｊａｍｉｎ  ＨｏｆｅｒｌｉｎおよびＡｎｔｏｉｎｅ  Ｖａｃａｖａｎｔ）
【非特許文献２】「Ｆｕｌｌｙ  Ｃｏｎｖｏｌｕｔｉｏｎａｌ  Ｎｅｔｗｏｒｋｓ  ｆｏｒ  Ｓｅｍａｎｔｉｃ  Ｓｅｇｍｅｎｔａｔｉｏｎ」（Ｌｏｎｇら）
【発明の概要】
【００１０】
以上のことからみて、したがって、上記の問題を解決するかまたは少なくとも緩和することが、本発明の目的である。特に、ビデオシーケンスの画像フレームのピクセル位置がキャプチャされたシーンの背景に属しているか前景に属しているかを判定するための方法およびデバイスを提供することが目的であり、これは、対応するピクセル位置に対して異なる確率が存在して、シーンをキャプチャしているビデオシーケンスのフレーム間に値の変化があるという考えである。
【００１１】
本発明の第１の態様によれば、ビデオシーケンスの画像フレームのピクセル位置が、キャプチャされたシーンの背景に属しているか前景に属しているかを判定する方法が提供される。方法は、画像フレームの各ピクセル位置に対して、
−  ピクセル位置が分類されているクラスを受信することであって、クラスはピクセル位置でのキャプチャされたシーンのコンテンツのカテゴリを表している、クラスを受信することと、
−  ピクセル位置をその対応するクラスのダイナミクスのレベルと関連付けることであって、クラスのダイナミクスのレベルは、クラスに属しているピクセル位置でのピクセル値がビデオシーケンスのフレーム間で値を変える確率を反映する、ピクセル位置をその対応するクラスのダイナミクスのレベルと関連付けることと、
−  画像フレームのピクセル位置のピクセル値を背景モデルおよび閾値と比較することによって、画像フレームのピクセル位置がキャプチャされたシーンの背景に属しているか前景に属しているかを判定することであって、背景モデルはピクセル位置を表す１つまたは複数の値を含み、ピクセル位置は、ピクセル値と背景モデルの位置を表す第１の所定数の値の間の差がピクセル位置に対する閾値未満である場合、背景に属していると判定される、画像フレームのピクセル位置がキャプチャされたシーンの背景に属しているか前景に属しているかを判定することと
を含む。
【００１２】
画像フレームのピクセル位置が背景に属していると判定される場合、方法はさらに、
−  画像フレームのピクセル位置のピクセル値が先行フレームから第２の値を超えて変化している場合にピクセル位置に特有の閾値をインクリメントによって増加させることであって、インクリメントは、より高いレベルのダイナミクスが結果としてより大きいインクリメントになるようにピクセル位置のダイナミクスのレベルに依存するように設定される、閾値をインクリメントによって増加させること
を含む。
【００１３】
本発明は、動的背景オブジェクト、例えば木、水、旗などを含むシーンの部分が、結果としてシーンをキャプチャしているビデオシーケンスのフレーム間のこれらの部分を表すピクセル値により多くの差をもたらす、という理解から生じている。したがって、画像フレームの特定のピクセル位置がキャプチャされたシーンの背景に属しているか前景に属しているかを判定するときに、これは考慮することが必要である。画像のピクセル値と背景モデルの対応するピクセル値（複数可）の間のより大きい差は、動的背景オブジェクトを含むエリアに都合よく見込まれるべきであり、これらのエリアが前景に属していると誤って判定されるという確率を低下させる。本発明における閾値（ピクセル位置のピクセル値がこのピクセル位置に対する背景モデルにどれくらい類似しているかを判定するために使用する）は、画像のピクセルの位置によって変化する。特に、それは、ピクセルの位置の背景の、画像シーケンスの次の画像の間での値を変化させる傾向に応じて変化し得る。値を変えるより高い傾向により、一般に、閾値の値をより大きくすることができる。これは、前景の分類が、揺れている木、水のさざ波などのような動的背景に適応できるという点で、好都合である。例えば、ピクセル位置が前景に属していると判定するための分類の感度は、動的領域と比較して非動的領域で増加し得る。
【００１４】
さらに、閾値は画像の動的エリアに対してより小さいまたより大きい値の間で、都合よくより短時間に更新され、ビデオシーケンスの画像フレームの差の増加を許容する。都合のよいことに、これは、シーンの中で風が吹き始めて、木と水が短時間でより動的になるときに、閾値の迅速な適応につながる。これが今度は、これらのエリアの前景ピクセルの誤った分類の数を減らす。
【００１５】
本発明において、シーンは、キャプチャされたシーンのコンテンツのカテゴリを表すクラスに分けられている。このような分類は、セマンティックセグメンテーション、コンテンツのタイプに従った分類、などと呼ばれてもよい。例として、考えられるクラスは、車、木、水、道、人々、家屋などを含む。この分類は、例えばオペレータによって手動で行うことができるか、または例えば、「Ｆｕｌｌｙ  Ｃｏｎｖｏｌｕｔｉｏｎａｌ  Ｎｅｔｗｏｒｋｓ  ｆｏｒ  Ｓｅｍａｎｔｉｃ  Ｓｅｇｍｅｎｔａｔｉｏｎ」（Ｌｏｎｇら）などの研究文献において説明されるような、ディープラーニングニューラルネットワークで実装されるアルゴリズム（例えばセマンティックセグメンテーションアルゴリズム）を使用して行うことができる。
【００１６】
シーンのビデオシーケンスの画像フレームの各ピクセル位置に対して、このようなクラスが受信されて、ピクセル位置をその対応するクラスのダイナミクスのレベルと関連付けるために使用される。このような関連付けは、例えば定義済みクラスを異なるレベルのダイナミクスにマッピングしているテーブルまたは、特定のクラスがどのようなレベルのダイナミクスを表すかについて定義する他のいかなるデータ構造を使用しても行うことができる。
【００１７】
したがって、クラスのダイナミクスのレベルは、クラスに属しているピクセル位置のピクセル値がビデオシーケンスのフレーム間に値を変える確率を反映する。一例として、木（の頂部）と分類されるピクセル位置は比較的高いレベルのダイナミクスを有することができる一方で、家屋と分類されるピクセル位置は比較的低いレベルのダイナミクスを有することができる。ダイナミクスのレベルは、１〜１００、０〜１、１〜１０または他の適切な値域にわたってもよい。
【００１８】
背景モデルは、ピクセル位置ごとに、ピクセル位置を表す１つまたは複数の値（例えばピクセル位置での先行する画像フレームのピクセル値）を含む。背景モデルは、ピクセル位置が前景に属しているか背景に属しているかを判定するとき、ピクセル位置のピクセル値と背景モデルの対応する位置に対する値の間の許容可能な差を表す閾値をさらに含む。ピクセル値と背景モデルの位置を表す第１の所定数の値の差がピクセル位置に対する閾値未満である場合、ピクセル位置は背景に属していると判定される。例えば、背景モデルがピクセル位置に対する２つの値（例えば５および７）を含み、そして閾値が２であり、第１の所定数は１で、ピクセル位置のピクセル値は９である場合、差のいずれも２未満ではないので、ピクセル位置は前景に属していると判定される。しかしながら、ピクセル位置のピクセル値が７である場合、ピクセル位置は背景に属していると判定される。言い換えれば、閾値はピクセル位置の値が有することができる値域のサイズを定義して、その結果、ピクセル位置が背景に属していると判定され、ここで、範囲は増加する閾値に伴って増加する。背景モデルがピクセル位置ごとに１つの値を含む実施形態に対して、第１の所定数は、常に１である。背景モデルがピクセル位置ごとに複数の値を含む実施形態において、所定数は、使用事例および前景ピクセルを判定することに関するときのこのような使用事例に対する感度要件に応じて、１と、ピクセル位置ごとの値の数の間の、いかなる適切な数でもある。
【００１９】
ピクセル位置が背景に属していると判定され、かつ、画像フレームのピクセル位置のピクセル値の間の差が、先行フレームの対応するピクセル値と比較して第２の値を超えている場合、閾値は、閾値を微調整するために、すなわちこのピクセル位置が有することができるピクセル値の範囲に基づいて、インクリメントされなければならない。ここで、ダイナミクスのレベルが作用し始める。動的エリアに対しては、インクリメントは、このような動的エリアのピクセル値が変化する確率がより高いため、静的エリアに対してよりも、都合よくより大きいものでなければならない。ピクセル位置の動的なレベルに基づくこのような変動するインクリメントは、ビデオシーケンスの画像フレームの背景それぞれの前景ピクセルの誤った判定の数を減らすことができる。
【００２０】
いくつかの実施形態によれば、方法は、画像フレームのピクセル位置が背景に属していると判定される場合、画像フレームのピクセル位置のピクセル値が先行フレームから第２の値より少ない分だけ変化したならば、ピクセル位置に特有の閾値をデクリメントによって減少させて、ここで、デクリメントは、より高いレベルのダイナミクスが結果としてより小さいデクリメントになるようにピクセル位置のダイナミクスのレベルに依存するように設定される、というステップをさらに含む。画像フレームのピクセル位置のピクセル値が先行フレームから第２の値より多く変化するときの上記の閾値の微調整と同様に、例えば特定のピクセル位置に対する２つの次の画像フレーム間のピクセル値の差が第２の値未満である場合、閾値のデクリメントを実行することができる。この実施形態において、動的エリアのデクリメントは、このような動的エリアのピクセル値が変化する確率がより高いため、静的エリアのデクリメントと比較してより小さくなければならない。ピクセル位置の動的なレベルに基づくこのような変動するデクリメントは、ビデオシーケンスの画像フレームの背景それぞれの前景ピクセルの誤った判定の数を減らすことができる。
【００２１】
いくつかの実施形態では、動的エリアに対するデクリメントは、対応するインクリメントより小さい。増加値がデクリメント値より大きいので、方法は背景で増加したダイナミクスに短時間で反応することができ、それは例えば、シーンにおける風の状況の変化によるものであり得る。また同時に、閾値は静的エリアに対する場合と比較して動的エリアに対しては減少がより遅く、これは、動的背景移動が再び起こる可能性があるので好都合である。
【００２２】
いくつかの実施形態によれば、方法は、ピクセル位置に特有である閾値をある値に設定し、その値は、より高いレベルのダイナミクスが結果としてより大きい値になるようにピクセル位置のダイナミクスのレベルに依存する、というステップをさらに含む。したがって、この実施形態は、閾値の初期化または閾値の再設定を定義し、これは、例えば、ビデオストリームの初期フレームに対して、および／または、ビデオシーケンスをキャプチャしているビデオキャプチャデバイスの視野が変えられるときに実行されてもよい。特定のピクセル位置に対する閾値をそのピクセル位置と関連したダイナミクスのレベルに応じて初期化して／設定することによって、後続の画像フレームの間に実行される閾値の微調整がより高速に実行されるのは、閾値が恐らく最初から（例えば、すべてのピクセル位置に対する閾値をゼロなどの所定値か、またはランダム値に設定することと比較して）より正確だからである。この実施形態は、例えばビデオのキャプチャを始動するか、または視野を変えるときに、ビデオシーケンスの画像フレームでの背景それぞれの前景ピクセルの誤った判定の数を、さらに減らすことができる。
【００２３】
いくつかの実施形態によれば、方法は、ピクセル位置のダイナミクスのレベルに応じてピクセル位置に特有の閾値のための下位閾値を設定することをさらに含み、下位閾値は、より高いレベルのダイナミクスが結果としてより大きい値の下位閾値になるように、閾値のための最小限の可能な値を判定する。すなわち、閾値はそれらの下位閾値より小さくなることができず、背景モデルは木などの動的エリアに対して常により影響を受けないことになる。
【００２４】
いくつかの実施形態によれば、ピクセル位置は、その対応するクラスが第１の定義済みグループのクラスに属する場合、第１のレベルのダイナミクスと関連付けられ、ピクセル位置は、その対応するクラスが第２の定義済みグループのクラスに属する場合、第２の、より高いレベルのダイナミクスと関連付けられる。例えば、２つのレベルのダイナミクスだけを定義することができて、１つはシーン内の家屋を表すような静的クラスのためであり、１つは、例えばシーン内の木または水を表すような動的クラスのためである。他の実施形態では、よりきめ細かなモデルが実装されて、例えば、シーン内の家屋を表すピクセル位置のための第１の最低レベルのダイナミクス、シーンの水を表すピクセル位置のための第２の中間レベルのダイナミクスおよびシーンの木を表すピクセル位置のための第３の最高レベルのダイナミクスを定義する。
【００２５】
いくつかの実施形態によれば、ピクセル位置に対応するクラスが第３の定義済みグループのクラスに属する場合、ピクセル位置に特有の閾値は一定レベルに維持される。この実施形態において、第３の定義済みグループのクラスに属すると分類されているピクセル位置のための閾値は、一定レベルに維持される。
【００２６】
いくつかの実施形態によれば、ピクセル位置が分類されたクラスは、上でも例証されるように、セマンティックセグメンテーションのためのアルゴリズムを使用して判定される。
【００２７】
いくつかの実施形態によれば、セマンティックセグメンテーションのためのアルゴリズムは、ビデオストリームの画像フレームのサブセットで実行される。この実施形態において、セマンティックセグメンテーションは、ビデオストリームのすべての画像フレームに実行されるわけではない。ビデオストリーム上の２つのセマンティックセグメンテーション動作間で異なる時間の幅を、例えば分単位か時間単位かまたは日単位でも、使用することができる。時間の幅は、それがキャプチャされるシーンの背景でどの程度起こるかに依存し得る。セマンティックアルゴリズムはむしろハードウェアの必要性が高くなり得て、アルゴリズムからリアルタイム結果を得ることを困難に（または不可能に）しているので、時間の幅がより長ければ方法のための計算の要件を低減する。
【００２８】
いくつかの実施形態によれば、ピクセル位置が分類されたクラスは、画像フレームの前記サブセットの複数の画像フレームから、前記ピクセル位置のためのセマンティックアルゴリズムからの結果の組合せを使用して判定される。他の言い方をすれば、特定のピクセル位置のための分類からの以前の結果が、例えば誤った分類のリスクを低下させるために、新しい結果と合わせて使用されてもよい。
【００２９】
いくつかの実施形態によれば、背景モデルはピクセル位置を表す複数の値を含み、画像フレームのピクセル位置がキャプチャされたシーンの背景または前景に属しているかどうかを判定するステップは、
−  ピクセル位置の画像フレームのピクセル値と、対応するピクセル位置での背景モデルの複数の値の間の差を算出することと、
−  ピクセル位置に特有の閾値より小さい差の数を算出することと、
−  算出された数が第１の所定数の値を超える場合、画像フレームのピクセル位置が背景に属しているということ、そうでない場合、画像フレームのピクセル位置が前景に属しているということを判定することと
を含む。
【００３０】
この実施形態は、値の第１の所定数の値に応じて、結果として現在処理された画像フレームの値と背景モデルの値の間の差に多少影響される判定になり得る。いくつかの実施形態では、大部分の差は、結果として背景ピクセルになる閾値より小さいことが必要である。他の実施形態では、１／３、２／３または他のいかなる適切な数の差も、結果として背景ピクセルになるために閾値より小さいことが必要である。極端な場合において、差のすべてまたはただ１つは、結果として背景ピクセルになるために閾値より小さいことが必要である。
【００３１】
本発明の第２の態様によれば、上記目的は、処理能力を有するデバイスによって実行されるときに、第１の態様の方法を実施するためにその上に格納されるコンピュータコード命令を有するコンピュータ可読媒体を含む、コンピュータプログラム製品によって達成される。
【００３２】
本発明の第３の態様によれば、上記目的はビデオシーケンスの画像フレームのピクセル位置がキャプチャされたシーンの背景に属しているか前景に属しているかを判定するためのデバイスによって達成され、デバイスは、
−  ピクセル位置が分類されているクラスを受信することであって、クラスはピクセル位置でのキャプチャされたシーンのオブジェクトのタイプを表している、クラスを受信することと、
−  ピクセル位置をその対応するクラスに基づくダイナミクスのレベルと関連付けることであって、クラスのダイナミクスのレベルは、クラスに属しているピクセル位置でのピクセル値がビデオシーケンスのフレーム間で値を変える確率を反映する、ピクセル位置をその対応するクラスに基づくダイナミクスのレベルと関連付けることと、
−  画像フレームのピクセル位置のピクセル値を背景モデルおよび閾値と比較することによって、画像フレームのピクセル位置がキャプチャされたシーンの背景に属しているか前景に属しているかを判定することであって、背景モデルはピクセル位置を表す１つまたは複数の値を含み、ピクセル位置は、ピクセル値と背景モデルの位置を表す第１の所定数の値の間の差がピクセル位置に対する閾値未満である場合、背景に属していると判定される、画像フレームのピクセル位置がキャプチャされたシーンの背景に属しているか前景に属しているかを判定することと
に適応しているプロセッサを含む。
【００３３】
デバイスのプロセッサは、画像フレームのピクセル位置が背景に属していると判定される場合、
−  ピクセル値が先行フレームから第２の所定値よりも大きく変化した場合、インクリメントによってピクセル位置に特有の閾値を増加させ、そこにおいて、インクリメントは、より高いレベルのダイナミクスが結果としてより大きいインクリメントになるようにピクセル位置のダイナミクスのレベルに依存するように設定される
ようにさらに適応される。
【００３４】
本発明の第４の態様によれば、上記目的は、
シーンを表しているビデオシーケンスを連続的にキャプチャするように適応されるビデオキャプチャデバイスと、
ビデオキャプチャデバイスからビデオシーケンスの第１の画像フレームを受信し、画像フレームの各ピクセル位置を、ピクセル位置のキャプチャされたシーンのオブジェクトのタイプを表すクラスに分類し、画像フレームのピクセル位置ごとにクラスを出力するように適応される第１のデバイスと、
第３の態様による第２のデバイスであって、ビデオキャプチャデバイスからビデオシーケンスの第２の画像フレームを受信して、第１のデバイスから画像フレームのピクセル位置ごとにクラスを受信するのに適応される、第２のデバイスと
を含むシステムによって達成される。
【００３５】
第２、第３および第４の態様は、通常、第１の態様と同じ特徴および利点を有することができる。特に明示的に述べない限り、本発明は特徴のすべての可能な組合せに関連する点にさらに留意されたい。
【００３６】
上記のことは、本発明の追加の目的、特徴および利点と同様に、本発明の好ましい実施形態の以下の例証となりかつ非限定的な詳細説明を通して、同一参照番号が類似の要素に対して使用されている添付の図面を参照することで、よりよく理解される。
【図面の簡単な説明】
【００３７】
【図１】異なるレベルのダイナミクスを有する背景オブジェクトを含むシーンを示す。
【図２】ピクセル位置に対する背景モデルの実施形態を示す。
【図３】ピクセル位置に対する背景モデルの実施形態を示す。
【図４】実施形態による、ビデオシーケンスの画像フレームのピクセル位置が背景に属しているか前景に属しているかを判定する方法のフロー図を示す。
【図５】他の実施形態による、ビデオシーケンスの画像フレームのピクセル位置が背景に属しているか前景に属しているかを判定する方法のフロー図を示す。
【図６】シーンのビデオシーケンスをキャプチャして、ビデオシーケンスの画像フレームのピクセル位置が背景に属しているか前景に属しているかを判定するシステムを例として示す。
【発明を実施するための形態】
【００３８】
本発明はここで添付の図面を参照してより完全に以下に説明され、その中で本発明の実施形態が示される。本明細書において開示されるシステムおよびデバイスは、動作中について説明されている。
【００３９】
図１は、２つの背景オブジェクト１０２、１０４を含む、シーン１０１の画像１００を示す。通常、このようなシーン１０１は前景のオブジェクトも含むが、これらは説明の容易さのために省かれている。このシーンにおいて、第１の背景オブジェクト１０２は、建物である。シーンの第２の背景オブジェクト１０４は、木である。建物１０２は、通常、非常に静的なオブジェクトであり、つまり、時刻ｔで得られる建物の画像とその後の時刻ｔ＋ｎで得られる建物の画像の間にはほとんど、あるいは、全く、差が存在しないことを意味する。一方で、木は、動的オブジェクトであり、特に、風が吹いていて木の葉および枝がほとんど実質的に時間とともに動き得る場合にそうである。言い換えれば、時刻ｔに得られる木の画像とその後の時刻ｔ＋ｎに得られる木の画像の間に大きな差が存在し得る。これは、例えば、シーンの画像の動きを、例えばモニタ目的のために検出するときに、考慮することが必要である。このような動きは、通常、前景のオブジェクトから生じる際に興味深いだけであり、これらの場合、背景の動きは無視されなければならない。したがって、動的オブジェクトを補償する背景検出アルゴリズムを実装して、それによりこれらがまだ背景として検出されるようにし、そして、誤ったモーション検出を減らして、例えば監視アプリケーションでの誤警報の数を減らす必要がある。
【００４０】
このような背景検出アルゴリズムの実施形態は、次に図４と組み合わせて図１を使用して説明される。
【００４１】
背景検出の改善は、シーン１０１を表している（いくつかの画像フレームを含むビデオシーケンスの）画像フレーム１００のピクセル位置ごとに、ピクセル位置がピクセル位置でキャプチャされたシーンのコンテンツのカテゴリを表す分類されたクラスを判定することによって達成することができる。図１において、破線の四角形１０６、１０８はこのような分類を象徴しており、そこで、破線の四角形１０６内部のピクセル、例えば第１のピクセル位置１１０のピクセルは、例えば建物として分類されて、破線の四角形１０８内部のピクセル、例えば第２のピクセル位置１１２のピクセルは、例えば木として分類される。木１０４のまわりのマーキング１０８が、説明の容易さのために長方形によって表されている点に留意する必要がある。多くの適用において、マーキングは、木１０４の輪郭に従う。
【００４２】
このような分類は、手動でもよく、その場合は例えばオペレータが、２つのオブジェクト１０２、１０４を、例えば木のクラスおよび建物のクラスという異なるクラスに属しているとして１０６、１０８のマーキングをしている。他の実施形態では、ピクセル位置が分類されたクラスは、セマンティックセグメンテーション、例えば上述のニューラルネットワーク実装のためのアルゴリズムを使用して判定される。
【００４３】
セマンティックセグメンテーションは、いくつかの実施形態ではビデオストリームの画像フレームのサブセットで実行することができる。通常、このようなアルゴリズム（または手作業）は、リアルタイムベースで、すなわちビデオシーケンスの画像フレームごとに実行するのが困難である。都合のよいことに、セマンティックセグメンテーション（分類）は、一定の時間間隔、例えば毎分、毎時間、毎日などにしか実行されない。言い換えれば、セマンティックセグメンテーションのためのアルゴリズムは、互いに所定の間隔でビデオストリームの画像フレームに実行される。残りの画像フレームに対しては、キャッシュに登録された結果、例えば最後に実行された分類からの結果が使用されてもよい。他の実施形態では、ピクセル位置が分類されたクラスは、例えばクラスが大多数の分類の結果であるように、画像フレームの前記サブセットの複数の画像フレームから、前記ピクセル位置のためのセマンティックセグメンテーションアルゴリズムから、結果の組合せを使用して判定される。他の実施形態では、いくつかのクラスは他よりも「より重要」として定義され、ピクセル位置が以前にこれらのクラスの１つと分類されている場合、その分類は、セマンティックセグメンテーションアルゴリズム（または手作業）が結果として、後続の、または以前の分類手順のいくつかでそのピクセル位置に対して他のクラスになるとしても、そのままとなる。
【００４４】
通常、シーンをキャプチャしているカメラが視野を変える場合、少なくとも以前に視野になかったために分類されなかったシーンの新しい部分に対して、分類は再び実行さることが必要である。言い換えれば、セマンティックセグメンテーションのためのアルゴリズムは、ビデオシーケンスをキャプチャしているビデオキャプチャデバイスの視野が変えられるときに、キャプチャされる画像フレームに実行される。
【００４５】
それから、ピクセル位置１１０、１１２の分類を使用して、画像フレーム１００のピクセル位置１１０、１１２がキャプチャされたシーン１０１の背景に属しているか前景に属しているかを判定する。特定のピクセル位置に対してピクセル位置１１０が建物ピクセルと分類したこの例（図１の長方形１０６内部）で、クラスはＳ３０２（図４）で受信される。それからピクセル位置１１０は、その対応するクラスのダイナミクスのレベルとＳ３０４で関連付けられ、そこで、クラスのダイナミクスのレベルは、クラスに属しているピクセル位置でのピクセル値がビデオシーケンスのフレーム間で値を変える確率を反映する。これは、例えばその特定クラスがどんなレベルのダイナミクスを有するかについて定めているテーブルを使用してＳ３０４で達成することができる。Ｓ３０４で判定されたダイナミクスのレベルは、いくつかの場合には、図５に関連して以下でさらに説明するように、画像フレームのピクセル位置が背景か前景に属しているかどうか判定するときに使用される閾値をＳ３０６で設定するために使用することができる。
【００４６】
いくつかの実施形態では、ピクセル位置は、その対応するクラスが第１の定義済みグループのクラス（すなわち建物を含む定義済みグループのクラス）に属する場合、第１のレベルのダイナミクスと関連付けられ、ピクセル位置は、その対応するクラスが第２の定義済みグループのクラス（すなわち木を含む定義済みグループのクラス）に属する場合、第２の、より高いレベルのダイナミクスと関連付けられる。クラスとレベルのダイナミクス間のよりきめ細かい、すなわち３、５、１０などの可能なレベルのダイナミクスを含んだマッピングを実装してもよい。
【００４７】
次に、Ｓ３０８で、画像フレーム１００のピクセル位置１１０が背景または前景に属しているかが判定される。これは、画像フレーム１００のピクセル位置１１０のピクセル値を背景モデルおよび閾値と比較することによって行われる。図２ａ、図３ａは、背景モデル２００の値２０２およびピクセル位置１１０に対する閾値２０４の２つの異なる実施形態を示す。図２ａの実施形態において、背景モデル２００の値２０２は、ピクセル位置１１０を表す複数のピクセル値２０２（この例では４であり、また、以下で背景サンプルと呼ばれる）を含む。各値２０２は、この例では、（例えばピクセルの明るさを表す）１つのピクセル値によって表される。他の例において、各値２０２は、ピクセル位置の値の赤、緑、および青（ＲＧＢ）強度を表すベクトルでもよい。
【００４８】
ピクセル位置は、ピクセル値と（少なくとも）背景モデル２００の位置を表している第１の所定数の値（図示せず）の間の差が、ピクセル位置１１０に対する閾値２０４未満である場合、背景に属していると判定され、そうでない場合前景に属していると判定される。そのため、ピクセル位置１１０のピクセル値が１２．９で第１の所定数が２である場合、ピクセル位置は、背景モデル２００の値２０２のうちの１つしかピクセル位置１１０のピクセル値からの閾値２０４の範囲内にないので、前景に属していると判定される。第１の所定数が１である場合、したがって、ピクセル位置１１０は背景に属していると判定される。ピクセル位置１１０のピクセル値が１０である場合には、ピクセル位置は、第１の所定数が何であっても、背景に属していると判定される、などである。
【００４９】
さらに詳細には、画像シーケンスの時刻ｔでのピクセルｍの観察をｘｔ（ｍ）で示し、およびピクセルｍの背景サンプル２０２の集合を｛ｘｉ（ｍ）｜ｉ＝１、・・・、Ｎ｝で示す。各観察
2020024675.tif 000003
は、ｋ個のチャネルを有する（例えば、ＲＧＢ色空間で、各観察は、Ｒ、Ｇ、Ｂの３つのチャネルによって表される）。画像１００のピクセル位置１１０に対して、画像データ、すなわちそのピクセル位置の（該当する場合各チャネルに対する）強度値は、ピクセル位置１１０と関連付けられた背景モデル２００の各背景サンプル２０２と比較されて、画像データが閾値Ｔｒ２０４より少ない分だけ各背景サンプルと異なるかどうかを見る。例えば、
2020024675.tif 000004
に従って、閾値Ｔｒより少ない分だけピクセルの画像データと異なる背景サンプルは、値「１」と関連付けられてもよく、他の背景サンプルは、値「０」と関連付けられてもよい。
図２ａ、図３ａの例では、Ｔｒ＝２である。
【００５０】
閾値Ｔｒより小さい分だけピクセルの画像データと異なる背景モデル２００の背景サンプル２０２の数が第１の所定数の値ＴＮ以上である場合、ピクセル位置１１０のピクセルは、背景に属していると判定される。そうでない場合、前景に属している。
【００５１】
これは、
2020024675.tif 000005
に従って、時刻ｔで背景ピクセルに対して値「１」をとり、そして前景ピクセルに対して「０」をとる、バイナリマスクＢｔを算出することによって実施することができる。
【００５２】
異なった表現をすれば、閾値Ｔｒ２０４より少ない分だけピクセル位置１１０の画像データと異なる、背景モデル２００の背景サンプル２０２の数が計数される。この数が値ＴＮの第１の所定数に等しいか、または上回る場合、ピクセル位置は背景に属しており、そうでない場合前景に属している、と判定される。したがって、ピクセル位置１１０の画像データと（等式１という意味において）類似している背景モデル２００のＴＮ背景サンプル２０２が少なくとも見つかる場合、ピクセル位置１１０のピクセルは、背景に属しており、そうでない場合前景に属していると分類される。
【００５３】
さらに他の言い方をすれば、画像フレーム１００のピクセル位置１１０が、キャプチャされたシーンの背景に属しているか、または前景に属しているかを判定するステップＳ３０８は、ピクセル位置１１０の画像フレーム１００のピクセル値と対応するピクセル位置の背景モデル２００の複数の値２０２の間の差を算出することと、ピクセル位置に特有の閾値２０４未満である差の数を算出することと、算出された数が値の第１の所定数を超えるかまたは等しい場合は画像フレームのピクセル位置は背景に属しているということ、そうでない場合、画像フレームのピクセル位置は前景に属しているということを判定することとを含む。
【００５４】
図３ａは、背景モデル２００の別の例を示す。この場合、背景モデル２００はピクセル位置１１０を表す１つの値２０２を含み、ここで、画像フレーム１００のピクセル位置１１０がキャプチャされたシーンの背景に属しているか前景に属しているかを判定するステップＳ３０８は、ピクセル位置１１０の画像フレームのピクセル値と対応するピクセル位置の背景モデル２００の値２０２の間の差を算出することと、差がピクセル位置に特有の閾値２０４より小さい場合は画像フレームのピクセル位置は背景に属しているということ、そうでない場合画像フレームのピクセル位置は前景に属しているということを判定することとを含む。
【００５５】
図２ｂおよび３ｂは、例として、ピクセル位置１１２に対する（すなわち木と分類される）２つの背景モデル２００を示す。図２ａ、図３ａの例から分かるように、背景モデル２００の値（複数可）２０２とピクセル位置１１２のピクセル値の差（複数可）は、より大きい閾値２０４のため、木と分類されるピクセル位置１１０に関して上に説明されたことと比較して、より大きいことが可能である。
【００５６】
背景モデル２００を定義する他のやり方も実施することができる。例えば、ピクセル位置に対する背景モデルの値は、平均値および標準偏差を有するガウス分布によって表すことができる。この場合、画像フレームのピクセル位置がキャプチャされたシーンの背景に属しているか前景に属しているかを判定するステップＳ３０８は、ピクセル位置の画像フレームのピクセル値と平均値の間の差を算出して、標準偏差によって差を正規化することと、正規化された差がピクセル位置に特有の閾値より小さい場合は画像フレームのピクセル位置は背景に属しているということと、そうでない場合画像フレームのピクセル位置は前景に属しているということを判定することとを含む。
【００５７】
背景モデル２００の値２０２（例えばピクセル値（複数可）またはガウス分布）は規則的な間隔で都合よく更新される。例えば、図２ａ〜図２ｂのモデルのピクセル値２０２はＦＩＦＯ待ち行列として実装することができ、ＦＩＦＯ待ち行列はこのフレームのピクセル位置のピクセル値を有するｎ個の画像フレームごとに、または、他の任意の好適なやり方で更新される。
【００５８】
ピクセル位置のダイナミクスのレベルに適応するために、閾値は、更新されることを必要とする。これは、特定の時間にダイナミクスのレベルに基づいて閾値Ｓ３０６を初期化するかまたは再設定することによって達成することができる（さらに以下を参照）。閾値は、いくつかの環境下では増加することもできる。具体的には、ピクセル位置が背景に属していると判定される場合、ピクセル位置１１０、１１２のピクセル値と先行フレームの対応するピクセル位置（すなわち同じピクセル位置）のピクセル値の差は、Ｓ３１２で算出される。先行フレームは、現在の画像フレーム１００のすぐ前のフレームまたは、使用事例によっては現在の画像フレーム１００のｎ個前のフレームであるフレームでもよい。ピクセル値が先行フレームから第２の値を超える分だけ変化した場合、ピクセル位置に特有の閾値はＳ３１４でインクリメントにより増加される。より短時間に特定のピクセル位置に対する比較的より高いレベルのダイナミクスに適応するために、より高いレベルのダイナミクスは、結果としてより大きいインクリメントになる。したがって、これらのピクセル位置が誤って前景に属していると判定される確率は、閾値が上記の状況の下ではより大きいインクリメントによって増加するように設定されるので、低減される。第２の値は、事前判定されていてもよく、すべてのピクセル位置に対して使用される静的な値でもよい。第２の値は、対応するピクセル位置の閾値に依存するように設定されてもよい。第２の値はまた、ピクセル位置と関連付けられたダイナミクスのレベルに依存するように設定されてもよい。
【００５９】
いくつかの実施形態では、画像フレームのピクセル位置が背景に属していると判定される場合、閾値はＳ３１６で減少されてもよい。具体的には、ピクセル位置に特有の閾値は、画像フレームのピクセル位置のピクセル値が先行フレームから第２の値より少ない分だけ変化している場合、Ｓ３１６でデクリメントにより減少され、デクリメントはより高いレベルのダイナミクスが結果としてより小さいデクリメントになるようにピクセル位置のダイナミクスのレベルに依存するように設定される。したがって、動的なピクセル位置に対する閾値は、ピクセル位置のピクセル値が偶然、フレーム間で同程度のままであることが起こるので、あまり短時間で下げられない。これは、例えば木と分類されているピクセル位置の実施形態において風が再び吹き込み始めるシナリオで、再び増加した差に対する短時間での適応を容易にする。
【００６０】
通常、デクリメントは対応するインクリメントより小さく、それはまた、上記のシナリオにおける短時間での適応を容易にする。
【００６１】
いくつかの実施形態によれば、閾値が一定水準に維持されるクラス（いくつかのクラス）が存在することができる点に留意する必要がある。例えば、木の幹が木冠と別のクラスである場合に、幹と分類されるピクセル位置に対する閾値は静的なまま保たれることができる。言い換えれば、ピクセル位置に対応するクラスが第３の定義済みグループのクラス（この例では木の幹を含む）に属する場合、ピクセル位置に特有の閾値は一定レベルに維持される。したがって、動的背景はシーンの特定の部分に対して無効にすることができ、背景検出アルゴリズムのための柔軟性の増大を容易にする。
【００６２】
上述の通り、任意選択的に、図４に記載されているアルゴリズムは、ピクセル位置ごとに閾値を設定するステップＳ３０６を含むことができる。他の実施形態によれば、閾値を設定するステップが必須なステップである点に留意する必要があり、閾値を更新するためのステップＳ３１０、Ｓ３１２、Ｓ３１４およびＳ３１６は任意選択である。このような実施形態は、図５とともに後述する。以下で、ピクセル位置ごとに閾値を設定するステップＳ３０６も詳しく述べられる。したがって、また、下記の考察は、図４の方法の対応する任意選択のステップＳ３０６にあてはまる。
【００６３】
図５の方法は、ピクセル位置に対するクラスを受信するステップＳ３０２およびピクセル位置に対するダイナミクスのレベルを判定し／関連付けるステップＳ３０４を含む。この後に、ピクセル位置に対して新しい閾値が設定されなければならないかどうかがＳ４０４で判定される。ピクセル位置に対して新しい閾値が設定されなければならないと判定される場合、ピクセル位置に特有の閾値がＳ４０６である値に設定され、その値は、より高いレベルのダイナミクスが結果としてより大きい値になるようにピクセル位置のダイナミクスのレベルに依存する。そうではなく、閾値がＳ４０６で設定されるべきでない場合には、画像フレームのピクセル位置が背景または前景のステップに属しているかどうか判定するステップＳ３０８が、現在の閾値を使用して上記の通りに直接実行される。
【００６４】
１つの例によれば、閾値を設定するステップＳ４０６は、ビデオストリームの初期フレームに対して実行される。別法として、または、加えて、閾値を設定するステップＳ４０６は、ビデオシーケンスをキャプチャしているビデオキャプチャデバイスの視野が変えられるときに実行される。閾値を設定するステップＳ４０６は、互いに所定の間隔でビデオストリームの画像フレームに実行することもできる。
【００６５】
上記の閾値を除いて、背景および前景がどのように検出されるべきかの他の選好が、ピクセル位置に対するダイナミクスのレベルを使用して設定されてもよい点に留意する必要がある。例えば、本明細書において記載されている方法は、ピクセル位置のダイナミクスのレベルに応じてより小さい下位閾値をピクセル位置に特有の閾値に対して設定することをさらに含むことができ、下位閾値は、より高いレベルのダイナミクスが結果としてより大きい値の下位閾値になるように閾値に対する最小限の可能な値を判定する。これにより、（分類を通じて）動的と定義されているシーン内のエリアが一定期間（ほぼ）静的である場合に、閾値を減少させるステップＳ３１６が結果として閾値を低くしすぎるリスクを低下させることができる。
【００６６】
上述の方法は、例えば、処理能力を有するデバイスによって実行されるときに本明細書において記載されている方法を実施するように適応した命令を有するコンピュータ可読記憶媒体を含むコンピュータプログラム製品として、ソフトウェアおよび／またはハードウェアで実施されてもよい。したがって、方法は、本明細書において記載されている方法の実行に適応するプロセッサを含むデバイスにおいて実施されてもよい。デバイスは、複数デバイスのシステムの一部であってもよく、そのシステムは図６に関連して以下で例証される。
【００６７】
図６のシステム６００は、連続的に、シーン１０１を表しているビデオシーケンス（複数の画像フレーム１００ａ〜ｃを含む）をキャプチャするのに適応しているビデオキャプチャデバイスを含む。システムは、ビデオキャプチャデバイス６０４からビデオシーケンスの第１の画像フレーム１００ａを受信し、画像フレーム１００ａの各ピクセル位置を、ピクセル位置でキャプチャされたシーンのオブジェクトのタイプを表すクラスに分類し、そして６０９で画像フレーム１００ａの各ピクセル位置に対するクラスを出力するのに適応している、第１のデバイス６０８（図６においてセマンティック解析のためのデバイスとして示される）を含む。上述のように、第１のデバイス６０８は、フレームが分類のために使用される以前キャプチャされた画像フレームから一定の時間間隔でキャプチャされるか、または、ビデオキャプチャデバイス６０４が視野を変えたか、などの多くの必要条件に基づいて選択される画像フレームに、このような分類を実行することができる。
【００６８】
システムは、第２のデバイス６１０（図６で背景分類器として示される）をさらに含み、第２のデバイス６１０は、第１のデバイス６０８からの出力６０９、すなわち第１のデバイスからの第１の画像フレーム１００ａの各ピクセル位置に対するクラス、および少なくともビデオキャプチャデバイスのビデオシーケンスの第２の画像フレーム１００ｂ〜ｃを受信して、そして受信した第２の画像フレームのピクセルに上記の通りに背景分類（背景分析など）を実行するように適応される。このような背景分類が勿論第１の画像フレーム１００ａにもなされることができる点に留意する必要がある。
【００６９】
いくつかの実施形態によれば、第２のデバイス６１０は、上述のように、閾値がセットされなければならないかどうか判定（図４〜図５のＳ３０６）するために使用されるビデオキャプチャデバイス６０４からの入力６１２も受信している。また、第１および第２のデバイス６０８、６１０が、同じ物理デバイス、または、ビデオキャプチャデバイス６０４に実装できることに留意すべきである。
【００７０】
当業者がさまざまなやり方で上記の実施形態を修正することができて、上記の実施形態に示されるような本発明の利点を依然として使用できることはいうまでもない。
【００７１】
例えば、いくつかの実施形態（図６に示さず）によれば、第２のデバイスは、第２の画像フレームのどのピクセル位置がキャプチャされたシーンの背景および前景に属しているかに関するデータを出力するように適応される。それから、システムは、ビデオキャプチャデバイス６０４からビデオシーケンス１００ａ〜ｃを受信して、第２の画像フレームのモーションを検出して、第２の画像フレームの検出されたモーションに関するデータを出力するように適応される、第３のデバイスを含むことができる。この出力は、第２のデバイスから出力されたデータおよび第３のデバイスから出力されたデータを受信して、その受信したデータをビデオストリームのオブジェクトを追跡するために使用するように適応される、第４のデバイスによって受信され得る。
【００７２】
したがって、本発明は、示された実施形態に限定されるべきではなく、添付の特許請求の範囲によってのみ定義されるべきである。さらに、当業者が理解するように、示された実施形態は組み合わされてもよい。
【図１】
2020024675.tif 000006
【図２】
2020024675.tif 000007
【図３】
2020024675.tif 000008
【図４】
2020024675.tif 000009
【図５】
2020024675.tif 000010
【図６】
2020024675.tif 000011
【外国語明細書】
2020024675000001.pdf
2020024675000002.pdf
2020024675000003.pdf
2020024675000004.pdf