(57)【要約】      （修正有）【課題】シーンを撮影するために適合されたビデオカメラからビデオ圧縮ストリームを提供する。【解決手段】背景ぼかしシステムが実行する方法は、第１の画像の中で、第１の時点で、背景に含まれる、第１の画素を識別する。さらに、第１の画素のぼかし画素値を決定する。続いて第１の時点で、ビデオ圧縮ストリームの中にぼかし画素値を提供する。さらに、シーンの第２の画像の中で、続いて第２の時点で、第１の画素が第２の画像の前景に含まれるように変化されたことを識別する。さらに、ビデオ圧縮ストリームの中に、第２の時点で識別された非ぼかし画素値を提供する。続いて第３の時点で、第１の画素は第３の画像の背景に含まれるよう変化されたことを識別し、ここで、第１の画素は、中間の時点から第３の時点まで、不変のままである。さらに、中間の時点からの中間背景マージ時限の中に第３の時点がある時、ビデオ圧縮ストリーム内のぼかし画素値を提供する。【選択図】図３
2022000751.tif 000002
【特許請求の範囲】
【請求項１】
シーンを撮影するために適合されたビデオカメラ（２）から、ビデオ圧縮ストリームを提供するために、背景ぼかしシステム（１）によって実行される方法であって、
前記シーンの第１の画像中の、第１の時点で、前記第１の画像の背景に含まれる、少なくとも第１の画素を識別する（１００１）ことと、
前記少なくとも第１の画素のためのぼかし画素値を決定する（１００２）ことと、
続いて前記第１の時点で、前記ビデオ圧縮ストリームの中で前記ぼかし画素値を提供する（１００３）ことと、
前記シーンの第２の画像中の、続いて第２の時点で、前記少なくとも第１の画素が前記第２の画像の前景に含まれるように変化したことを識別する（１００４）ことと、
前記ビデオ圧縮ストリームの中で、続いて前記第２の時点で、−連続的および／または断続的に−、前記少なくとも第１の画素のための、識別された非ぼかし画素値を提供する（１００５）ことと、
前記シーンの第３の画像中の、続いて第３の時点で、少なくとも第１の画素が、前景画素であることから、再び背景画素に変化した時、前記少なくとも第１の画素が、前記第３の画像の背景に含まれるように変化したことを識別する（１００６）ことと、および
前記第３の時点が、続いて前記第２の時点の中間時点から、すなわち、前記少なくとも第１の画素の値が不変のままである時から、事前決定可能な背景マージ時限内にある時に、
続いて前記第３の時点で、前記ビデオ圧縮ストリームの中で前記ぼかし画素値を提供する（１００７）ことと
を含む方法。
【請求項２】
前記第３の時点が、前記背景マージ時限内に無い時、
前記少なくとも第１の画素の更新されたぼかし画素値を決定する（１００８）ことと、および
続いて前記第３の時点で、前記ビデオ圧縮ストリーム内に、前記更新されたぼかし画素値を提供する（１００９）ことと
をさらに含む請求項１に記載の方法。
【請求項３】
更新されたぼかし画素値を決定する（１００８）ことは、前記少なくとも第１の画素の近傍の追加の画素のための、更新されたぼかし画素値を追加的に決定することを含み、および、ここで、前記更新されたぼかし画素値を提供する（１００９）ことは、前記追加の画素のための、前記更新されたぼかし画素値を追加的に提供することを含む請求項２に記載の方法。
【請求項４】
事前決定可能な追加の時点で、前記ぼかし画素値が事前決定可能な追加の時限の間に更新されていないと決定された時、
前記シーンの現在の画像から、前記少なくとも第１の画素のための、更新されたぼかし画素値を決定する（１０１０）ことと、および
続いて前記追加の時点で、前記ビデオ圧縮ストリームの中で、前記更新されたぼかし画素値を提供する（１０１１）ことと
をさらに含む請求項１〜３のいずれか一項に記載の方法。
【請求項５】
前記ビデオ圧縮ストリームの事前決定可能な後続のフレームが、事前決定可能なＩフレーム関連の時点で、Ｉフレームであるとき、
前記少なくとも第１の画素、および前記シーンの現在の画像の背景に含まれると識別された画素から、事前決定可能な部分の更なる画素のために、更新されたぼかし画素値を決定する（１０１２）ことと、および
続いて前記Ｉフレーム関連の時点で、前記ビデオ圧縮ストリームの中に、前記更新されたぼかし画素値を提供する（１０１３）ことと
をさらに含む請求項１〜４のいずれか一項に記載の方法。
【請求項６】
前記少なくとも第１の画素のぼかし画素値を決定するために使用される、画像フィルタカーネルのカーネルサイズは、前記ビデオ圧縮ストリームのＩフレームのマクロブロックサイズと一致する請求項１〜５のいずれか一項に記載の方法。
【請求項７】
シーンを撮影するために適合されたビデオカメラ（２）から、ビデオ圧縮ストリームを提供するための背景ぼかしシステム（１）であって、
前記シーンの第１の画像中の、第１の時点で、前記第１の画像の背景に含まれる少なくとも第１の画素を、識別する（１００１）ための第１の識別ユニット（１０１）と、
前記少なくとも第１の画素のために、ぼかし画素値を決定する（１００２）ための第１のぼかしユニット（１０２）と、
続いて前記第１の時点で、前記ビデオ圧縮ストリームの中で、前記ぼかし画素値を提供する（１００３）ための第１の提供ユニット（１０３）と、
前記シーンの第２の画像中の、後続の第２の時点で、前記少なくとも第１の画素が、前記第２の画像の前景に含まれるように変化したことを識別する（１００４）ための第２の識別ユニット（１０４）と、
前記ビデオ圧縮ストリームの中で、続いて前記第２の時点で、−連続的および／または断続的に−、前記少なくとも第１の画素のための、識別された非ぼかし画素値を提供する（１００５）ための第２の提供ユニット（１０５）と、
前記シーンの第３の画像中の、続いて第３の時点で、前記少なくとも第１の画素が、前景画素であることから、再び背景画素に変化した時に、前記少なくとも第１の画素が、前記第３の画像の背景の中に含まれるように変化したことを識別する（１００６）ための第３の識別ユニット（１０６）と、および
前記第３の時点が、続いて前記第２の時点の中間時点から、すなわち、前記少なくとも第１の画素が不変のままである時から、事前決定可能な背景マージ時限内にある時に、続いて前記第３の時点で、前記ビデオ圧縮ストリームの中で、前記ぼかし画素値を提供する（１００７）ための、第３の提供ユニット（１０７）と
を含む背景ぼかしシステム。
【請求項８】
背景ぼかしシステム（１）であって、
前記第３の時点が前記背景マージ時限内に無い時に、前記少なくとも第１の画素のための更新されたぼかし画素値を決定する（１００８）ための、第２のぼかしユニット（１０８）と、
続いて前記第３の時点で、前記ビデオ圧縮ストリームの中で、前記更新されたぼかし画素値を提供する（１００９）ための、第４の提供ユニット（１０９）をさらに含む請求項７に記載の背景ぼかしシステム。
【請求項９】
背景ぼかしシステム（１）であって、
前記第２のぼかしユニット（１０８）は、前記少なくとも第１の画素の近傍の追加の画素のために、更新されたぼかし画素値を追加的に決定するように適合され、さらに前記第４の提供ユニット（１０９）は、前記追加された画素のために、前記更新されたぼかし画素値を追加的に提供するように適合される請求項８に記載の背景ぼかしシステム。
【請求項１０】
背景ぼかしシステム（１）であって、
前記ぼかし画素値が、事前決定可能な追加の時点に、事前決定可能な追加の時限のために、更新されていないと決定された時に、前記シーンの現在の画像から、前記少なくとも第１の画素の更新されたぼかし画素値を決定する（１０１０）ための、追加のぼかしユニット（１１０）と、および
続いて前記追加の時点で、前記ビデオ圧縮ストリームの中で、前記更新されたぼかし画素値を提供する（１０１１）ための追加の提供ユニット（１１１）と
をさらに含む請求項７〜９のいずれか一項に記載の背景ぼかしシステム。
【請求項１１】
背景ぼかしシステム（１）であって、
前記ビデオ圧縮ストリームの、事前決定可能な後続のフレームが、事前決定可能なＩフレーム関連の時点で、Ｉフレームである時、前記少なくとも第１の画素と、前記シーンの現在の画像の背景に含まれると識別された画素から事前決定可能な部分のさらなる画素のために、更新されたぼかし画素値を決定する（１０１２）ための、Ｉフレームぼかしユニット（１１２）と、
続いて前記Ｉフレーム関連の時点で、前記ビデオ圧縮ストリームの中で、前記更新されたぼかし画素値を提供する（１０１３）ための、Ｉフレーム提供ユニット（１１３）と
を、さらに含む請求項７〜１０のいずれか１項に記載の背景ぼかしシステム。
【請求項１２】
背景ぼかしシステム（１）であって、前記少なくとも第１の画素のぼかし画素値を決定するために使用される、画像フィルタカーネルのカーネルサイズは、前記ビデオ圧縮ストリームのＩフレームのマクロブロックサイズと合致する請求項７〜１１のいずれか一項に記載の背景ぼかしシステム。
【請求項１３】
請求項７〜１２のいずれか一項に記載の背景ぼかしシステム（１）を含むビデオカメラ（２）。
【請求項１４】
請求項１〜６のいずれか一項に記載の方法のステップを、コンピュータまたはプロセッサに実行させるように配置した、コンピュータプログラムコード手段を含む、コンピュータプログラムからなる、コンピュータ可読媒体または搬送波に格納されているコンピュータプログラム製品。
【請求項１５】
請求項１４のコンピュータプログラム製品上に格納された不揮発性コンピュータ可読記憶媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、シーンを撮影するために適合されたビデオカメラからビデオ圧縮ストリームを提供することに関する。
【背景技術】
【０００２】
例えば監視目的のためのビデオカメラの使用することで、オフィス、工業用地、都市の一部、広場、街区、道路等の特定の環境で何が起こっているかを、その場で、および／または後の機会に見ることが可能になる。周囲のビデオストリーム、すなわちシーンは、何らかの方法で明らかに、および／または興味を引く可能性がある、前記シーンに関連する洞察および情報を提供するのに役立つ可能性がある。しかしながら、ビデオカメラからのライブビデオストリームなどのビデオストリームは、一般的に経費がかかり、更に高いビットレートが必要になる。そのため、様々な既知の技法を用いてこのようなビデオストリームを圧縮することが知られている。さらに、背景部分を不明瞭にするために背景部分をぼかすことが知られており、その結果、前景の１またはそれ以上の人物および／または対象物に焦点を合わせたままにすることができ、一方、背景には焦点が合っていないように見えることがある。しかしながら、背景のぼかしは、プライバシーの問題に関して、潜在的に効率的であることに加えて、ビットレート消費の低下につながる可能性があるが、ビデオストリームにおける計算コストおよび／またはビットレートを低減することは、依然として困難である。
【０００３】
したがって、本明細書の実施形態の目的は、改善および／または代替の方法で、ビデオ圧縮ストリーム、例えば、シーンを撮影するために適合されたビデオカメラからビデオ圧縮ストリームを提供するためのアプローチを提供することである。
【０００４】
上記の目的は、本明細書に開示される主題によって達成することができる。実施形態は、添付の特許請求の範囲、以下の説明および図面に記載されている。
【発明の概要】
【発明が解決しようとする課題】
【０００５】
開示される主題は、シーンを撮影するために適合されたビデオカメラからビデオ圧縮ストリームを提供するために、背景ぼかしシステムによって実行される方法に関するものである。背景ぼかしシステムは、−シーンの第１の画像の中で−、第１の時点で、第１の画像の背景に含まれる少なくとも第１の画素を識別する。背景ぼかしシステムは、少なくとも第１の画素のぼかし画素値をさらに決定する。さらに背景ぼかしシステムは、−続いて第１の時点で−、ビデオ圧縮ストリームの中にぼかし画素値を提供する。背景ぼかしシステムは、第２のシーンの画像の中で、−続いて第２の時点で−、少なくとも第１の画素が第２の画像の前景に構成されるように変化したことを特定する。さらに、背景ぼかしシステムは、ビデオ圧縮ストリームの中に、続いて第２の時点で、−連続的および／または断続的に−、少なくとも第１の画素について識別された非ぼかし画素値を提供する。背景ぼかしシステムは、−シーンの第３の画像の中で−、続いて第３の時点で、少なくとも第１の画素が第３の画像の背景に含まれるように変化したことをさらに識別し、ここで、少なくとも第１の画素値は、中間の時点から第３の時点まで不変のままであることを識別する。さらに、第３の時点が、中間の時点から事前決定可能な背景マージ時限内にある時、背景ぼかしシステムは、−続いて第３の時点で−、ビデオ圧縮ストリームの中にぼかし画素値を提供する。
【０００６】
開示される主題は、さらに、シーンを撮影するために適合されたビデオカメラから、ビデオ圧縮ストリームを提供するための、背景ぼかしシステムに関する。背景ぼかしシステムは、シーンの第１の画像の中で、第１の時点で、第１の画像の背景に含まれる、少なくとも第１の画素を識別する、第１の識別ユニットを含む、−および／また適合する−。背景ぼかしシステムは、少なくとも第１の画素のためのぼかし画素値を決定する、第１のぼかしユニットをさらに備える、−および／または適合する−。さらに、背景ぼかしシステムは、ビデオ圧縮ストリームの中のぼかし画素値を、続いて第１の時点で提供する、第１の提供ユニットを備える、−および／または適合する−。背景ぼかしシステムは、続いて第２の時点で、シーンの第２の画像の中で、少なくとも第１の画素が第２の画像の前景に含まれるように変化したことを識別する、第２の識別ユニットをさらに備える、−および／または適合する−。さらに、背景ぼかしシステムは、少なくとも第１の画素について識別された非ぼかし画素値を、続いて第２の時点で、−連続的および／または断続的に−、ビデオ圧縮ストリームに提供する、第２の提供ユニットを備える、−および／または適合する−。背景ぼかしシステムはさらに、続いて第３の時点で、シーンの第３の画像の中で、少なくとも第１の画素が第３の画像の背景に構成されるように変化したことを識別する、第３の識別ユニットを備え、−および／または適合し−、ここで、少なくとも第１の画素値は、中間の時点から第３の時点まで不変である。さらに、背景ぼかしシステムは、第３の時点が中間の時点から事前決定可能な背景マージ時限内にある時に、続いて第３の時点をビデオ圧縮ストリームの中にぼかし画素値を提供する、第３の提供ユニットを備える、−および／または適合する−。
【０００７】
さらに、開示される主題は、本明細書に記載される背景ぼかしシステムを備えるビデオカメラに関する。
【０００８】
さらに、開示される主題は、本明細書で開示される背景ぼかしシステムのステップを実行させるように構成され、コンピュータ可読媒体、またはプロセッサに格納されるコンピュータプログラムコード手段、またはプロセッサを含むコンピュータプログラムを含むコンピュータプログラム製品に関する。
【０００９】
開示される主題は、さらに、前記コンピュータプログラム製品に格納された不揮発性コンピュータ可読記憶媒体に関する。
【００１０】
そのため、計算効率、および／またはビットレート効率の高い背景ぼかしを可能にするアプローチを開示する。すなわち、ビデオカメラで撮影されたシーンの第１の画像には、第１の時点で、第１の画像の背景に構成された、少なくとも第１の画素が特定されるため、例えば、シーンが静止および／または非可動の人物、および／または対象物で構成されている結果として、前記時点で、前記撮影されたシーンの画像の背景領域に属するとみなされる、１つまたはそれ以上の画素が確定される。さらに、つまり、少なくとも第１の画素のためのぼかし画素値が決定されるので、少なくとも第１の識別された背景画素のためにも、ぼかし値が設定され、その結果、前記画素がぼけた、焦点の合わない、および／または不明瞭なものとして認識される可能性がある。さらに、つまり、続いて第１の時点にぼかし画素値が、ビデオ圧縮ストリームの中に提供されるので、第１の撮影された画像の、少なくとも第１の画素についての、決定されたぼかし画素値はビデオ圧縮ストリームのために利用される。従って、ビデオ圧縮ストリームの中で、１つまたはそれ以上の識別された背景画素値に、非ぼかし画素値ではなく、ぼかし画素を利用することにより、ビットレートを減少させ、および／またはプライバシーの問題を解決することができる。さらに、その時、背景画素は、非ぼかし前景画素とは対照的にぼかしてもよく、前景画素を含む対象物、−例えば、動いている人物、および／または対象物−は、背景画素を含む動いていない人物、および／または対象物と比較して、焦点が合っていてもよく、および／または強調表示されてもよい。さらに、シーンの第２の画像には、続いて第２の時点で、少なくとも第１の画素が第２の画像の前景に含まれるように変化したことが識別されるので、任意の第２の時点で発生したシーンの第２の画像の中で、背景に属すると以前に識別された１つまたはそれ以上の画素は、例えば、１つまたはそれ以上の人物、および／または対象物が、シーンに入った結果として、撮影された第２の画像の前景領域に属するように変化したと見なされることが確定される。さらに、続いて第２の時点の少なくとも第１の画素の識別された非ぼかし画素値が、−連続的および／または断続的に−、ビデオ圧縮ストリームの中に提供されるので、第２の撮影された画像に関連する、少なくとも第１の画素の識別された画素値、−およびシーンの任意の数の後続の撮影された画像における、それらの識別された変化する画素値−が、ビデオ圧縮ストリームのために利用される。したがって、ビデオ圧縮ストリーム内の１つまたはそれ以上の数の識別された前景画素について、連続的および／または断続的に更新される、非ぼかし画素値を利用することによって、例えば１つまたはそれ以上の移動する人物、および／または対象物などの前景画素は、ぼかし背景画素と比較して焦点を合わせることができる。さらに、シーンの第３の画像には、続いて第３の時点で、少なくとも第１の画素が第３の画像の背景に含まれるように変化したことが識別されるので、少なくとも第１の画素値は、中間の時点から第３の時点まで不変であることから、任意の第３の時点で発生するシーンの第３の画像の中で、背景に属するものとして以前に識別され、その後、前景に属するものとして識別された、１つまたはそれ以上の画素が、例えば、１つまたはそれ以上の人物、および／または対象物がシーンを離れたこと、および／または、少なくとも部分的に静止していることの結果として、中間の時点以降不変であった後に、再び、背景領域に属するように変化したと見なされることが確定される。すなわち、続いて第３の時点が、−前記第３の時点が、中間の時点から事前決定可能な背景マージ時限内にある時−、ぼかし画素値は、前記第３の時点に続いてビデオ圧縮ストリームのために提供され、もし、時間範囲が中間の時点から、−すなわち、少なくとも第１の画素がその画素を最後に変化した時−、第３の時点まで、−すなわち、少なくとも第１の画素が前景画素から再び背景画素に変化する時−が、設定された時間内であれば、次いで、少なくとも第１の画素の以前決定されたぼかし画素値は、ビデオ圧縮ストリームの中で再び使用される。すなわち、少なくとも第１の画素が、不変の前景画素から、再び、事前決定可能な時間間内に背景画素になった時、−例えば前記背景マージ時点内に、１つまたはそれ以上の人物、および／または対象物がシーンを通過することに例示されるように、例示的に５秒に設定、および／または背景マージ時限内を超えて静止しないようにする−時、すでに決定されたぼかし画素は、−続いて第１の時点で決定された、すなわち少なくとも第１の画素が以前に背景画素として識別された−時、ビデオ圧縮ストリームの中で再び使用される。したがって、すでに決定されたぼかし画素値を再利用することによって、−背景マージ時限基準が満たされた時も有効であると考えられる−、少なくとも第１の画素の更新されたぼかし画素値を決定することは必要ないと考えられ、およびそれに応じて、ビデオ圧縮ストリームの、低減された計算コスト、および／または効率的なビットレート圧縮が開示される。
【００１１】
そのため、シーンを撮影するために適合されたビデオカメラから、ビデオ圧縮ストリームなどの、ビデオ圧縮ストリームを提供するための、改善された、および／または代替の方法が導入される。
【００１２】
上述の方法の技術的特徴および対応する利点は、以下でさらに詳細に説明される。
【００１３】
特定の特徴および利点を含む、非限定的な実施形態の様々な態様は、以下の詳細な説明および添付の図面から容易に理解されるであろう。
【図面の簡単な説明】
【００１４】
【図１】図１ａ）−ｅ）は、本開示の実施形態による例示的な背景ぼかしシステムから提供される例示的なビデオ圧縮ストリーム画像の概略図を示す。
【図２】本開示の実施形態による背景ぼかしシステムを例示する概略ブロック図である。
【図３】本開示の実施形態による背景ぼかしシステムによって実行される例示的な方法を示す流れ図である。
【発明を実施するための形態】
【００１５】
以下、本開示の非限定的な実施形態を、本開示の現在好ましい実施形態が示されている添付の図面を参照して、より完全に説明する。しかしながら、本開示は、多くの異なる形態で具現化されてもよく、本明細書に記載された実施形態に限定されるものとして解釈されるべきではない。参照符号と同様に、全体を通して同じ要素が参照される。図中のいくつかのボックスの破線は、これらのユニットまたは動作がオプションであり、必須ではないことを示す。
【００１６】
以下では、シーンを撮影するために適合されたビデオカメラから、ビデオ圧縮ストリームを提供することに関する本明細書の実施形態による、計算効率の良い、および／またはビットレート効率の良い、背景ぼかしを可能にするアプローチが開示される。
【００１７】
ここで、図面、特に図１〜２を参照すると、図１ａ〜ｅには本開示の実施形態による例示的な背景ぼかしシステム１から提供される例示的なビデオ圧縮ストリーム画像の概略図、さらに図２には、本開示の実施形態による例示的な背景ぼかしシステム１を示す概略ブロック図が描かれている。背景ぼかしシステム１は、シーンを撮影するのに適したビデオカメラ２からビデオ圧縮ストリームを提供するように適合、および／または構成されてもよい。
【００１８】
ビデオカメラ２は、画像の撮影に適合された任意の、例えば既知の、ビデオカメラを指してもよい。前記ビデオカメラ２は、一例によれば、例示的な監視システム（図示せず）の一部として、追加の構成要素を備えるビデオカメラ配置、および／またはネットワーク（図示せず）にさらに含まれてもよい。ビデオカメラ２が撮影するのに適したシーンは、オフィス、工業用地、都市の一部、オープンスクエア、街区、道路などの任意のシーンによって表すことができる。前記シーンは、更に任意に監視対象のシーンであってもよい。さらに、ビデオカメラ２は、シーンの潜在的な１つまたはそれ以上の人物、および／または対象物に比較的近接するように配置され、前記対象物、および／または人物が前記シーンの撮影画像の比較的大きな部分を構成してもよい。背景ぼかしシステム１は、前記ビデオカメラ２に含まれてもよく、代替的に、背景ぼかしシステム１は、例えば、例示的なビデオカメラ配置または監視システム、および／または１つまたはそれ以上のサーバのように、少なくとも部分的にビデオカメラ２の外側に設けられてもよい。さらに、ビデオカメラ２、および／または背景ぼかしシステム１は、画素ぼかしをサポートする部品を備えていてもよい。提供されるべきビデオ圧縮ストリームは、任意の実現可能なサイズ、および／または長さであり、さらに、本明細書で開示される特徴の制約を考慮して、任意の実現可能なフォーマットであってもよい。「背景ぼかしシステム」という文言は、「処理システム」、「圧縮システム」、および／または「ビデオストリーム背景ぼかしシステム」を指してもよく、対して「ビデオ圧縮ストリームの提供のため」は、「ビデオ圧縮ストリームの提供、生成、発生、表示、格納、および／または保存するため」を指してもよく、「ビデオストリームの背景ぼかし処理のための」、および／または「ビデオストリームの処理のための」を指してもよい。一方、「ビデオ圧縮ストリーム」という文言は、本開示全体を通して、「圧縮ビデオストリーム」、および／または「圧縮ビデオ信号」を指してもよく、一例によれば、「ビデオ圧縮ライブストリーム」をさらに指してもよい。さらに、「シーンを撮影するために適合されたビデオカメラ」は、「周囲を撮影するために適合されたビデオカメラ」を指してもよく、一例によれば、「シーンを撮影するために適合された監視ビデオカメラ」、および／または「監視のためのシーンを撮影するために適合されたビデオカメラ」を指してもよい。
【００１９】
背景ぼかしシステム１は、例えば、第１の識別ユニット１０１の手段によって、第１の時点で、第１の画像の背景に含まれる少なくとも第１の画素をシーンの第１の画像内で識別するように、適合および／または構成されてもよい。それによって、前記時点で、前記シーンの前記撮影された画像の背景領域に属すると見なされる、１つまたはそれ以上の画素が確定される。一例によれば、背景画素であると見なされる、１つまたはそれ以上の画素は、例えば、静的および／または非動的な人物および／または対象物を含むシーンに起因する。例えば、背景画素を構成する人物および／または対象物は、必ずしも前景画素を構成する人物および／または対象物よりも、ビデオカメラ２から離れて配置される必要はなく、それらは、前景画素を構成する人物および／または対象物よりもビデオカメラ２の近くに配置されてもよいことに留意されたい。
【００２０】
第１の画像は、ビデオカメラ２によって撮影されたシーンの、任意の画像を指してもよく、および同様に、第１の時点は任意の時点を指してもよい。同様に、少なくとも第１の画素は、第１の画像の中の任意の場所に位置する、前記画像の任意の１つまたはそれ以上の画素を指してもよい。さらに、少なくとも第１の画素が、第１の画像の背景に含まれると結論付けることは、任意の、−例えば、既知の−、例えば、事前決定可能な範囲内で不変の画素値や画素強度の検出や、シーンのＩＲイメージングや、深度カメラなどを用いた一般的な画像深度検出などの、実行可能な方法で決定、および／または判断されてもよい。すなわち、画像の画素は、前景画素または背景画素のいずれかと見なすことができ、−一例によれば−、前景画素は、動的および／または変化する、画素、−および／または値を有する−、を指し、一方で、背景画素は、事前決定可能な範囲内で、静的および／または不変の、画素、−および／または値を有する−、を指してもよい。画像の中で「識別する」という文言は、本開示全体を通して、画像内で「検出、フィルタリングアウト、および／または決定」を指してもよく、一方、「［・・・］画像の中」は、全体を通して、「撮影された［・・・］画像の中」、および／または「ビデオカメラによって撮影された［・・・］画像の中」を指すことができる。「少なくとも第１の画素」という文言は、一方で、「１つまたはそれ以上の画素」、および／または「１つまたはそれ以上の隣接、および／または分散された画素」を指してもよく、一方で、「背景に含まれる画素」は、「背景に含まれると見なされる、および／または決定された画素」、「決定された背景に含まれる画素」、「背景に属する画素」、および／または「背景領域に含まれる画素」を指してもよい。一例によれば、「［・・・］画像の背景に含まれる画素」という文言は、本開示全体を通して、「［・・・］画像の静的および／または非変化領域に含まれる画素」、および／または「静的および／または非変化であり、および／または事前決定可能な程度に変化していないと決定される、および／または見なされる画素」を指してもよい。
【００２１】
背景ぼかしシステム１は、例えば、第１のぼかしユニット１０２の手段によって、少なくとも第１の画素について、ぼかし画素値を決定するように適合、および／または構成されてもよい。そのため、少なくとも第１の識別された背景画素についてぼかし値を確定してもよく、続いて、ぼかし、焦点が合っていない、および／または不明瞭であると決定される画素を提供してもよい。
【００２２】
１つまたはそれ以上の識別された背景画素の、ぼかし画素値の決定は、任意の、例えば、既知の、実行可能な方法で、例えば、１つまたはそれ以上の一般に知られている画像フィルタカーネル、例えば、ぼかしカーネルからのサポートを用いて達成することができる。そのような例示的な画像フィルタカーネルは、任意の実現可能な寸法および／またはサイズであってもよく、例えば、３×３カーネル、１１×１１カーネル、２１×２１カーネルなどの正方形カーネル、および／または例えば２１×１１カーネルなどの非正方形カーネルであってもよく、２１は水平に配置されてもよい。少なくとも第１の画素がぼかされる範囲は、任意に選択することができ、例えば、現在の実装に適していると考えられる。任意選択で、ビットレート効率のために、少なくとも第１の画素のぼかし画素値を決定するために使用される、画像フィルタカーネルのカーネルサイズは、ビデオ圧縮ストリームのＩフレームのマクロブロックサイズに合致させてもよい。ぼかし画素値を「決定する」という文言は、本開示全体を通して、ぼかし画素値を「適用する」、および／またはぼかし画素値を「計算する」を指さしてもよく、さらに一例によれば、ぼかし画素値を「画像フィルタカーネルに基づいて決定する」を指してもよい。「ぼかし画素値」は、一方、「焦点が合っていない、および／または不明瞭な画素値」を指し、「少なくとも第１の画素について」は、「少なくとも第１の画素について適用可能」を指してもよい。一例によれば、「ぼかし画素値」は、追加的にまたは代替的に「色が除去された画素値」を指してもよい。更に、一例によれば、「ぼかし」は、本開示全体を通じて、「ぼかした、および／または修正された」、または単に「修正された」を指し、そのため、「修正された」画素値は、任意の実行可能な方法で修正されてもよい。
【００２３】
背景ぼかしシステム１は、例えば、第１の提供ユニット１０３の手段によって、ビデオ圧縮ストリームの中のぼかし画素値を、続いて第１の時点に提供するように適合され、かつ／または構成されてもよい。そのため、第１の撮影された画像に関連する、少なくとも第１の画素の決定されたぼかし画素値は、ビデオ圧縮ストリームのために利用され、−図１ａに示されるように−、前記ストリームの対応する第１の圧縮画像１１の中の、少なくとも第１のストリーム画素１１１のために利用される。したがって、非ぼかし画素値ではなく、ビデオ圧縮ストリームの中の、１つまたはそれ以上の識別された背景画素のために、ぼかし画素値を利用することによって、ビットレートを低減することができ、および／またはプライバシーの問題を満たすことができる。さらに、その背景画素の中で、非ぼかし前景画素とは対照的にぼかしている時があり、前景画素を含む対象物（例えば、動いている人物および／または対象物）は、背景画素を含む動いていない人物および／または対象物と比較して、焦点が合っている、および／または強調表示されてもよい。図１ａを例にすると、−少なくとも第１の画素を含む−、第１の画像の全ての画素は、背景に属するとみなされ、従って、第１の圧縮画像１１では、全ての画素がぼかされている。
【００２４】
ぼかし画素値は、ビデオ圧縮ストリームの中に任意に提供されてもよく、−例えば既知の−、実行可能な方法、例えば、表示、−例えば、背景ぼかしシステム１、および／またはビデオカメラ２と直接的または間接的に通信する、１つまたはそれ以上のディスプレイ３−、および／またはビデオカメラ２と直接または非直接的に通信する、１つまたはそれ以上の表示装置３上に、表示され、および／または、後の使用のために、例えば記録、および／またはデジタル的に格納される。前記ビデオ圧縮ストリームの中に［・・・］画素値を「提供する」という文言は、本開示全体を通して、ビデオ圧縮ストリームの中に［・・・］画素値を「挿入、設定、利用、および／または使用する」こと、および／またはビデオ圧縮ストリームの中で使用するために「格納、保存、および／または記録する」ことを意味し、さらに一例によれば、ビデオ圧縮ストリームの中に、連続的および／または断続的に［・・・］画素値を「提供する」、および／またはビデオ圧縮ストリームの１つまたはそれ以上の後続フレームの中に、［・・・］画素値を「表示する」こと」、および／または「利用する」ことを指してもよい。「前記［・・・］の時点に続いて提供する」という文言は、全体を通して「前記［・・・］の時点に続いて、および／または本質的にその時点で提供する」ことを意味してもよい。
【００２５】
背景ぼかしシステム１は、例えば、第２の識別ユニット１０４の手段によって、シーンの第２の画像の中で、続いて第２の時点で、少なくとも第１の画素が第２の画像の前景に含まれるように変化したことを識別するように、適合および／または構成されてもよい。そのため、任意の第２の時点で発生するシーンの第２の画像の中で、背景に属すると以前に識別された１つまたはそれ以上の画素が、撮影された第２の画像の前景領域に属するように変化したとみなされることが確定される。一例によれば、これは、例えば、シーンに入る、１またはそれ以上の人物および／または対象物に起因する。
【００２６】
第２の画像は、以前に撮影された第１の画像の後に、ビデオカメラ２によって撮影されたシーンの任意の画像を指してもよく、および同様に、第２の時点は、数ミリ秒から数分、さらには数時間後など、第１の時点の後に生じる任意の時点を指してもよい。第２の画像は、必ずしも第１の画像の直後の画像ではなく、逆に、いわゆる第１と第２の画像の間に、任意の数の連続画像が取り込まれている可能性があることに留意されたい。さらに、少なくとも第１の画素が、第２の画像の前景に含まれる、−および／または含まれた−、という結論は、任意の、−例えば、既知の−、画素値、および／または画素強度の変化や相当な変化を検出する、および／または以前に示された、一般的な画像深度検出などの、実行可能な方法で決定される、および決定されてもよい。「画素は、前景に含まれるように変更される」という文言は、「画素は、前景に含まれるように変化される」、および／または「画素は、前景に含まれるように決定されている、および／または「画素は、前景に含まれるように変化した」を指してもよく、一方、「画素は、前景の中に含まれるよう変化される」という文言は、「画素は、決定された前景の中に含まれるよう変化される」、「画素は、前景に属するように変化される」、および／または「画素は、前景領域に含まれるように変化される」を指してもよい。一例によれば、「画素は、前記第２の画像の前景に含まれるように変化される」という文言は、「画素は、前記第２の画像の動的な、変化する、および／または相当に変化する領域に含まれるように変化される」、「画素は、−動的に、変化する、および／または相当に変化する−、価値を有すると決定および／またはみなされる」、および／または「画素は、−動的に、変化する、および／または相当に変化する−、価値を、現在、または本質的に現在有している」ことを指してもよい。さらに、「第２の画像」とは、「次の第２の画像」、および／または「前記第１の画像の次の第２の画像」を指してもよい。
【００２７】
背景ぼかしシステム１は、例えば、第２の提供ユニット１０５の手段によって、続いて第２の時点で、−連続的および／または断続的に−、少なくとも第１の画素についての識別された非ぼかし画素値を、ビデオ圧縮ストリームに提供するように、適合、および／または構成されてもよい。そのため、第２の撮影された画像に関連する、少なくとも第１の画素の識別された画素値、−および、シーンの後続の撮影された画像の任意の数における、それらのさらに識別された変化する画素値が−、−図１ｂに示すように−、前記ストリームの対応する第２の圧縮画像１２に表示される、対応する少なくとも第１のストリーム画素１１１のために、ビデオ圧縮ストリームのために利用される。したがって、非ぼかし画素値を利用することによって、−ビデオ圧縮ストリーム内の１つまたはそれ以上の識別された前景画素のために、前景画素は、−すなわち、例えば、１またはそれ以上の動く人物、および／または対象物−、ぼかし背景画素と比べて焦点があっていてもよい。図１ｂを例示すると、第２の画像の少なくとも第１の画素は、前景に属すると見なされ、および、したがって、第２の圧縮画像１２では、前記画素、−ここでは例示的に動いている人物に属する−、非ぼかし、すなわち鮮明である。図示の例では、少なくとも第１の画素は、前記人が動き続けることによって、少なくとも第１の画素は、連続的および／または断続的に変化してもよく、それによって、少なくとも第１の画素に対する非ぼかし画素値は、連続的および／または断続的に、シーンの連続的な撮影画像とともに変化するように、変化してもよいことに留意されたい。
【００２８】
少なくとも第１の画素の非ぼかし画素値は、任意の、−例えば、既知の−、実行可能な方法で、例えば、一般に知られている画像処理からの支持を用いて、識別および／または導出されてもよい。「識別された非ぼかし画素値を［・・・］提供する」という文言は、「撮影されたおよび／または導出された非ぼかし画素値を［・・・］提供する」、「更新された非ぼかし画素値を［・・・］提供する」、および／または「更新された識別された非ぼかし画素値を［・・・］提供する」ことを指してもよい。さらに、一例によれば、「連続的、および／または断続的に識別された、非ぼかし画素値を、前記少なくとも第１の画素のために［・・・］に提供する」という文言は、「少なくとも第１の画素が、連続して撮影された画像の前景に含まれる限り、前記少なくとも第１の画素のために識別された、非ぼかし画素値を［・・・］に提供する」ことを指してもよい。「非ぼかし画素値」という文言は、一方で、「実際に、検出された、焦点が合った、および／または明瞭な画素値」を指してもよい。
【００２９】
背景ぼかしシステム１は、−例えば、第３の識別ユニット１０６の手段によって−、シーンの第３の画像内で、続いて第３の時点で、少なくとも第１の画素が第３の画像の背景に含まれるように変化され、ここで少なくとも第１の画素値が、中間の時点から第３の時点まで、不変のままであることを識別するように適合、および／または構成されてもよい。そのため、任意の第３の時点で発生するシーンの第３の画像の中で、背景に属すると識別された後に、前景に属すると識別された、１つまたはそれ以上の画素は、中間の時点以降不変であった後に、再び背景領域に属するように変化されたと見なされることが確立される。一例によれば、これは例えば、１またはそれ以上の人物および／または対象物が、シーンを離れ、および／または少なくとも部分的に静止していることに起因してもよい。
【００３０】
第３の画像は、後続の以前に撮影された第２の画像に、ビデオカメラ２によって撮影されたシーンの任意の画像を指してもよく、および同様に、第３の時点は、数ミリ秒から数分まで、さらには数時間後など、続いて第２の時点に生じる、任意の時点を指してもよい。第３の画像は、必ずしも第２の画像の直後の画像である必要はなく、逆に、少なくとも第１の画素が、一定期間前景に留まるシナリオにおいて、例えば、例示した動く人物から生じるような、画素値の変化の有無にかかわらず、いわゆる第２と第３の画像の間の、任意の数の連続した画像が撮影されていてもよいことに留意されたい。第３の時点での、少なくとも第１の画素が、第３の画像の背景に構成されるという結論は、例えば、第３の時点の直前の事前決定可能な範囲まで、−少なくとも第１の画素の画素値が不変、−および／または本質的に不変−、であることを、−任意の−例えば、既知の、−実現可能な方法で、検出、導出および／または学習によって、決定されてもよい−、および／または決定される。ここで、少なくとも第１の画素は、例示的な中間の時点以降、不変のままであると言われ、これは第２の時点の後の任意の時点は、例えば数ミリ秒から数分、さらには数時間後に起こってもよい。
【００３１】
「画素が背景に含まれるように変化した」という文言は、「画素が再び背景に含まれるように変化した」、「画素が背景に含まれるように変化した」および／または「画素が背景に含まれるように決定された、および／または変化した識別された」、さらに「画素が決定された背景に含まれるように変化した」、「画素が背景に属するように変化した」、および／または「画素が背景領域に含まれるように変化した」ことを指してもよい。一例によれば、「画素が前記第３の画像の背景に含まれるように変化した」とは、「画素が、前記第３の画像の、静的および／または不変の領域に含まれるように変化した」、および／または「−静的および／または不変に変化した−、値を持った、−および／または持っている、および／または事前決定可能な範囲で、静的および／または不変に変化した−、と決定された、および／または識別された画素」を意味してもよい。さらに、「第３の画像」という用語は、「次の第３の画像」、および／または「前記第２の画像に続く第３の画像」を指してもよい。さらに、「少なくとも第１の画素の値」という表現は、「少なくとも第１の画素の画素値」を指してもよく、一方で「不変のままである」は、「本質的に不変のままである」、「非運動であること、および／または不動であることを反映する」、および／または「事前決定可能な範囲で不変のままである」ことを指してもよい。「中間の時点から前記第３の時点まで不変のまま」という表現は、一方で、「中間の時点から少なくとも前記第３の時点までの不変のまま」、および／または「中間の時点から、後続の前記第２の時点、前記第３の時点まで不変のままである」を指さしてもよい。
【００３２】
背景ぼかしシステム１は、−例えば、第３の提供ユニット１０７の手段によって−、続いて第３の時点で、−第３の時点が中間の時点から事前決定可能な背景マージ時限内にある時に−、ビデオ圧縮ストリーム内のぼかし画素値を提供するように、適合および／または構成されてもよい。そのため、前記第３の時点に続いて、中間の時点からの時間範囲から、−例えば、少なくとも第１の画素が、その画素値を最後に変化した時−、第３の時点、−例えば、少なくとも第１の画素が前景画素から、再び背景画素に変化した時−、までの時間範囲が、設定された時間内であれば、少なくとも第１の画素に対する、以前に決定されたぼかし画素値は、−図１ｃに示されるように−、前記ストリームの対応する第３の圧縮画像１３に表示される、対応する少なくとも第１のストリーム画素１１１のために、ビデオ圧縮ストリームの中で、再利用されることになる。すなわち、少なくとも第１の画素が、不変の前景画素から、事前決定可能な期間内に再び背景画素になるように変化した時には、−例えば、前記背景マージ時限内に、シーンを通過する１つまたはそれ以上の人物、および／または対象物によって例示され、例えば、５秒、および／または背景画素のマージ時間帯を越えて静止しないように設定された−、すでに決定されたぼかし画素値が、再びビデオ圧縮ストリームの中で使用される。このように、すでに決定されたぼかし画素値を再使用することによって、−背景マージ時限基準が満たされた時に依然として有効であると考えられ−、少なくとも第１の画素について、更新されたぼかし画素値を決定する必要がないとみなされ、したがって、ビデオ圧縮ストリームの低減された計算コストおよび／または効率的なビットレート圧縮が提供される。さらに、必要とされる計算量が減少する為、比較的大きな画像フィルタカーネル、−例えば、ぼかしカーネルによって表される−、を利用することができる。図１ｃを例示すると、第３の画像の少なくとも第１の画素は、再び背景に属すると考えられ、この変化は、−この例によれば−、設定された背景マージ時限内に発生し、第３の圧縮画像１３の中で、前記画素は、以前に決定されたぼかし値を使用してぼかされる。
【００３３】
背景マージ時限は、任意の実行可能な時間範囲、例えば、１秒以下、数十秒まで、さらには数分または数時間までの固定時間範囲など、を指してもよい。一例によれば、背景マージ時限は、２秒以上、別の例によれば５秒以上、さらに別の例によれば１０秒以上である。同様に、一例によれば、背景マージ時限は、６０秒以下であり、別の例によれば、３０秒以下であり、さらに別の例によれば、１０秒以下である。背景マージ時限は、さらに、可変および／または調整可能であり、例えば、実装および／または状況に応じて適していると見なされるように設定されてもよい。「第３の時点が、中間の時点から事前決定可能な背景マージ時限内にある時」という表現は、「もし、第３の時点が、中間の時点から事前決定可能な背景マージ時限内にある時、提供されるべき／または提供される」、一方、「事前決定可能な背景マージ時限内」は、「事前決定可能な背景マージ時限内」、および／または、単に「背景マージ時限内」を指してもよい。さらに、「背景マージ時限」という文言は、「第１の時限、「再使用閾値時限」を指してもよい。一例によれば、「続いて第３の時点で、前記ビデオ圧縮ストリーム内に前記ぼかし画素値を提供する」という文言は、「続いて前記第３の時点で、前記ビデオ圧縮ストリームの１つまたはそれ以上の後続フレーム内の、前記ぼかし画素値を再利用する」ことを指してもよい。
【００３４】
任意選択で、背景ぼかしシステム１は、−例えば、任意選択の第２のぼかしユニット１０８の手段によって−、第３の時点が背景マージ時限内にない時に、少なくとも第１の画素のための更新されたぼかし画素値を決定するように、適用および／または構成されてもよい。そのため、中間の時点から、−すなわち少なくとも第１の画素値が不変のままである時点から−、第３時点までの時間範囲まで、−すなわち、少なくとも第１の画素が前景画素であることから、再び背景画素になるように変化した時まで−、の時間範囲が、設定された時間内に無い時には、少なくとも第１の画素のための更新されたぼかし値が確定されてもよい。つまり、背景マージ時限の基準が満たされない時、少なくとも第１の画素のための更新されたぼかし画素値を決定することは、少なくとも第１の画素が、以前に決定されたぼかし画素値と比較して、異なる、新しい、および／または更新された背景を反映すると考えられるので、以前に決定されたぼかし画素値は、もはや関連性がないと見なされるという点で、適切であると見なされる。「第３の時点が背景マージ時限内に無い時」という文言は、背景マージ時限は、「もし、第３の時点が背景マージ時限内に無いことを、提供すべき、および／または、提供される」を意味してもよく、一方で、「更新されたぼかし画素値」は「新しいぼかし画素値」を指してもよい。
【００３５】
さらに任意選択で、背景ぼかしシステム１は、−例えば、任意選択の第４の提供ユニット１０９の手段によって−、続いて第３の時点で、ビデオ圧縮ストリーム内の、更新されたぼかし画素値を提供するように適合、および／または構成されてもよい。そのため、前記第３の時点に続いて、中間の時点から、−すなわち少なくとも第１の画素値が不変のままである時から−、第３の時点まで、−すなわち、少なくとも第１の画素が前景画素から変化した時点から、再び背景画素になるまで−が、上述のように設定された時間内にない時、少なくとも第１の画素のための更新された、決定されたぼかし画素値は、例えば、−図１ｅに示すように−、前記ストリームの対応する代替の第３の圧縮画像１３’の中に表示される、対応する少なくとも第１のストリーム画素１１１のために、ビデオ圧縮ストリームの中で使用される。すなわち、少なくとも第１の画素が不変の前景画素になる時から、そして再び、背景画素になるまでの時間の範囲が、設定された時間内である時、−例えば、すなわち図１ｄに例示されるように、シーンに入ってから、少なくとも部分的に静止している人などの対象物によって例示される−、次いで、決定され更新されたぼかし画素値は、今や古い、−および／または古くなったと見なされる−、以前に決定されたぼかし画素値ではなく、ビデオ圧縮ストリームの中で使用されてもよい。図１ｅの例では、少なくとも第１の画素は再び背景に属すると見なされ、およびこの変化は、−上述したように、例えば、人がシーンに入り、その後、設定された背景マージ時限よりも長い間、少なくとも部分的に静止することによって、例示されるので、代替の第３の圧縮画像１３’の中で、前記画素は、決定されたぼかし画素値で再びぼかされる。
【００３６】
さらに、任意選択で、背景ぼかしシステム１はさらに、−例えば、任意選択の第２のぼかしユニット１０８の手段によって−、少なくとも第１の画素近傍の付加的な画素のために、更新されたぼかし画素値を付加的に決定するように、適用および／または構成されてもよい。背景ぼかしシステム１はさらに、−例えば、任意の第４の提供ユニット１０９の手段によって−、付加的な画素のために、更新されたぼかし画素値を付加的に提供するように、適用および／または構成されてもよい。そのため、前述の第３の時点に続いて、ビデオ圧縮ストリームの中で、少なくとも第１の画素のための更新されたぼかし画素値を決定し、その後に提供することに加えて、少なくとも第１の画素の近傍の、および／またはそれに関連する画素の、事前決定可能な部分についても、更新された画素値を決定し、その後に提供する。
【００３７】
更新されたぼかし画素値が追加で決定される、少なくとも第１の画素に近傍の追加の画素は、前記少なくとも第１の画素に近傍の画素など、少なくとも第１の画素に近傍の画素の任意の実現可能な寸法の部分、および／または画素数で表されてもよい。前記追加された画素は、少なくとも第１の画素の周辺の、長方形または正方形枠を形成する画素、−例えば、１０×１０画素−、によって表示される。少なくとも第１の画素は必ずしもその長方形または正方形枠の中心である必要はない。さらなる例によると、前記追加の画素は、少なくとも第１の画素が属する対象物の一部、および／または関連付けられると見なされる画素によって表されてもよい。「前記少なくとも第１の画素の近傍の追加の画素のための」という文言は、「前記少なくとも第１の画素を取り囲む、および／または近傍の追加の画素のための」、および／または「前記少なくとも第１の画素の近傍の追加の画素の一部のための」を指してもよい。
【００３８】
任意選択で、背景ぼかしシステム１は、−例えば、任意選択の追加のぼかしユニット１１０の手段によって−、−事前決定可能な追加の時点におけるぼかし画素値が−、事前決定可能な追加の時点にわたって更新されていないと判断された時、シーンの現在の画像から、少なくとも第１の画素のための、更新されたぼかし画素値を決定するように、適合および／または構成されてもよい。背景ぼかしシステム１は更に、−例えば、任意選択の追加の提供ユニット１１１の手段によって−、続いて追加の時点で、更新されたぼかし画素値を、ビデオ圧縮ストリームの中に提供するように、適合および／または構成されてもよい。そのため、前記追加の時点に続いて、もし任意の時点でのぼかし画素値が、設定された時限に更新されていないと決定された時、その後、更新されたぼかし画素値は、現在の画像から少なくとも第１の画素について決定され、ビデオ圧縮ストリームの中でその後に使用される。従って、少なくとも第１の画素が、設定された追加の時限に、背景画素のままであれば、それにもかかわらず、更新されたぼかし画素値が決定され、ビデオ圧縮ストリームの中に提供されてもよい。そのため、例えば、以前に決定されたぼかし画素値の提供を含む状況、−これは、潜在的に、古くおよび／または誤っている可能性がある−は、補正されてもよい。同様に、例えば、少なくとも第１の画素が背景から前景に変化することを必ずしも引き起こさない状況、−例えば、夕暮れまたは夜明けの間のようなゆっくりと変化する光条件を含む−は、追加的にまたは代替的に、補正されてもよい。
【００３９】
追加の時限は、任意の実行可能な時間範囲は、例えば、１秒以下から数十秒まで、さらには数分または数時間までの範囲であってもよい。一例によれば、追加の時限は、前述の背景マージ時限の時間範囲に等しいか、または本質的に等しい時間範囲によって表されてもよい。前記追加の時限は、さらに、可変および／または調整可能であってもよく、例えば、近くに実装および／または状況に応じて適切に設定されてもよい。同様に、追加の時点は、任意の実行可能な時点であってもよい。一例によれば、前記追加の時点は、前述の追加の時点の後の背景マージ時限に等しいか、または本質的に等しい時限で発生する時点によって表されてもよい。なお、追加の時点および／またはその大きさは、画素によって異なっていてもよい。「事前決定可能な追加の時点における前記ぼかし画素値が」という文言は、「もし、事前決定可能な追加点の中に、前記ぼかし画素値が、提供されるべきおよび／または提供された」を指してもよい。「事前決定可能な追加の時点」という文言は、一方で、「事前決定された追加の時点」、および／または単に、「事前決定可能な追加の時点」、一方「事前決定可能な追加の時限」とは、「事前決定可能な追加の時限」および／または「追加の時限」を単に指してもよい。さらに、「前記シーンの現在の画像から」という文言は、「本質的に現在、および／または前記シーンの次の画像から」を指してもよい。
【００４０】
任意選択で、背景ぼかしシステム１は、−例えば、任意選択のＩフレームぼかしユニット１１２の手段によって−、ビデオ圧縮ストリームの事前決定可能な後続のフレームが、−事前決定可能なＩフレームに関連する時点で−、Ｉフレームである時、シーンの現在の画像の背景内で構成されると識別された画素のうち、少なくとも第１の画素、および事前決定可能な部分のさらなる画素のために、更新されたぼかし画素値を決定するように、適合および／または構成されてもよい。背景ぼかしシステム１は、さらに、−例えば任意選択のＩフレーム提供ユニット１１３の手段によって−、後続のＩフレーム関連の時点で、ビデオ圧縮ストリームの中に、更新されたぼかし画素値を提供するように、適合および／または構成されてもよい。そのため、前記Ｉフレームに関連する時点に続いて、もし、ビデオ圧縮ストリームの事前決定可能な後続のフレームがＩフレームである時、更新されたぼかし画素値は、現在の画像から、少なくとも第１の画素のために、さらに背景画素から選択された画素部分について決定され、その後、ビデオ圧縮ストリームの中で使用されてもよい。したがって、１つまたはそれ以上の選択されたＩフレームのために、−少なくとも第１の画素を含む−、選択された背景画素の範囲が更新されてもよい。そのため、更新されたぼかし画素値は、−画素選択は１つの選択されたＩフレームごとに異なる−、計算コストおよび／またはビデオ圧縮ストリームのビットレートに悪影響を及ぼすことなく、画素の選択のために決定され、および供給される。
【００４１】
事前決定可能なＩフレーム関連の時点は、任意の実現可能な時点によって表されてもよく、および、同様に、事前決定可能な後続のＩフレームは、ビデオ圧縮ストリームの任意の実現可能なＩフレームを参照してもよい。例えば、ｎ番目のＩフレームは全て選択された、−すなわち事前決定可能な−、Ｉフレームであってもよく、ここで、ｎは、近くに実装および／または状況に応じて選択されてもよい。「前記ビデオ圧縮ストリーム［・・・］の事前決定可能な後続のフレームがＩフレームである時」という文言は、「前記ビデオ圧縮ストリーム［・・・］に、事前決定可能な後続のフレームはＩフレームが供給されるべき、および／または供給される」を指し、一方、「後続のフレーム」は「今度のフレーム」および／または「次のフレーム」を指してもよい。「事前決定可能な後続のフレーム」は、一方、「事前決定された後続のフレーム」、および／または「選択された後続のフレーム」を指し、「事前決定可能なＩフレーム関連の時点」は、一方で、「事前決定されたＩフレーム関連の時点」、および／または単に「Ｉフレーム関連の時点」を指してもよい。さらに、「事前決定可能な部分の更なる画素」という文言は、「事前決定可能な部分の追加の画素」、「事前決定された部分の更なる画素」、および／または、単に「部分の更なる画素」を指し、一方で「背景に含まれると識別された画素の部分」という文言は、「背景に含まれると識別された画素からのの範囲、セット、および／または選択」を指してもよい。さらに、「前記シーンの現在の画像の」という表現は、「本質的に現在、および／または、前記シーンの後続の画像の」を指してもよい。
【００４２】
図２でさらに示されるように、背景ぼかしシステム１は、第１識別ユニット１０１、第１ぼかしユニット１０２、第１提供ユニット１０３、第２識別ユニット１０４、第２提供ユニット１０５、第３識別ユニット１０６、第３提供ユニット１０７、任意選択の第２ぼかしユニット１０８、任意選択の第４提供ユニット１０９、任意選択の追加のぼかしユニット１１０、任意選択の追加の提供ユニット１１１、任意選択のＩフレームぼかしユニット１１２、および任意選択のＩフレーム提供ユニット１１３を含んでもよく、すべてすでに上記でより詳細に説明されている。さらに、シーンを撮影するために適合されたビデオカメラ２から、ビデオ圧縮ストリームを提供するための本明細書の実施形態は、例えば簡易グラフィック処理ユニット、ＧＰＵ、および／または中央制御部、ＣＰＵ、本実地形態中の機能および動作を行うためのコンピュータプログラムコードなど、プロセッサ１１４である、１つまたはそれ以上のプロセッサと共に実装される。前記プログラムコードは、例えば、背景ぼかしシステム１に搭載された時に、本願の実施形態を実行するためのコンピュータプログラムコードを搭載したデータキャリアの形態で、コンピュータプログラム製品として提供されてもよい。そのようなキャリアの１つは、ＣＤ  ＲＯＭディスク、光ディスク、ソリッドステートディスク、フラッシュメモリ、および／またはハードドライブの形態であってもよいが、他のデータキャリアで実現可能である。コンピュータプログラムコードは、さらにサーバ上に純粋なコンピュータプログラムコードとして提供され、背景ぼかしシステム１にダウンロードされてもよい。背景ぼかしシステム１は、１つまたはそれ以上のメモリユニットを含むメモリ１１５をさらに備えてもよい。メモリ１１５は、例えば、情報を格納し、さらに、データ、構成、スケジューリング、およびアプリケーションを格納するために使用され、背景ぼかしシステム１の中で実行される時に、本願の方法を実行するように構成されてもよい。例えば、コンピュータプログラムコードは、組み込みプロセッサ１１４のフラッシュメモリ１１５に格納されたファームウェアに実装されてもよい。さらに、前記ユニット１０１〜１１３、任意選択のプロセッサ１１４、および／または任意選択のメモリ１１５は、前記ビデオカメラ２、および／または、例えばビデオカメラ２を備える監視システムに、少なくとも部分的に含まれてもよく、関連付けられてもよく、および／または接続されてもよい。また、当業者は、上述の前記ユニット１０１〜１１３が、アナログ回路とデジタル回路との組み合わせ、および／または、例えば、メモリ１１５のようなメモリに格納されたソフトウェア、および／またはファームウェアで構成された１つまたはそれ以上のプロセッサを指してもよく、プロセッサ１１４のような１つまたはそれ以上のプロセッサによって実行される時、本明細書で説明されるように実行されることを理解するであろう。これらのプロセッサの１つまたはそれ以上、ならびに他のデジタルハードウェアは、１つの特定用途向け集積回路（ＡＳＩＣ）、または複数のプロセッサに含まれてもよく、様々なデジタルハードウェアは、個別にパッケージ化されているか���またはシステムオンチップ（Ｓｏｃ）に実装されたかにかかわらず、複数の独立したの部品に分散されてもよい。
【００４３】
図３は、本開示の実施形態による、背景ぼかしシステム１によって実行される例示的な方法を示すフローチャートである。前記方法は、シーンを撮影するために構成されたビデオカメラ２から、ビデオ圧縮ストリームを提供するためのものである。連続的に繰り返すことができる例示的な方法は、図１〜２からの支持で論じられる以下の動作の、１つまたはそれ以上を含む。さらに、動作は、任意の適切な順序で行われてもよく、および／または、１つまたはそれ以上の動作を同時に、および／または、代替の順序で実行されてもよい。例えば、任意選択の動作１０１０と１０１１、および／または動作１０１２と１０１３は、動作１００８と１００９の前に実行されてもよい。
【００４４】
動作１００１
動作１００１では、背景ぼかしシステム１は、シーンの第１の画像の中で、第１の時点で、−例えば、第１の識別ユニット１０１からの支持を伴って−第１の画像の背景に含まれる少なくとも第１の画像を識別する。
【００４５】
動作１００２
動作１００２では、背景ぼかしシステム１は、−例えば、第１のぼかしユニット１０２からの支持を伴って−、少なくとも第１の画素のための、ぼかし画素値を決定する。
【００４６】
動作１００３
動作１００３では、背景ぼかしシステム１は、後続の第１の時点で、−例えば、第１の提供ユニット１０３からの支持を伴って−、ビデオ圧縮ストリームの中にぼかし画素値を提供する。
【００４７】
動作１００４
動作１００４では、背景ぼかしシステム１は、シーンの第２の画像の中で、続いて第２の時点で、−例えば、第２の識別ユニット１０４からの支持を伴って−、シーンの第２の画像の中で、少なくとも第１の画素が第２の画像の前景に含まれるように変化したことを識別する。
【００４８】
動作１００５では、背景ぼかしシステム１は、ビデオ圧縮ストリームの中に、続いて第２の時点で、連続的および／または断続的に、−例えば、第２の提供ユニット１０５からの支持を伴って−、少なくとも第１の画素について識別された非ぼかし画素値を提供する。
【００４９】
動作１００６
動作１００６では、背景ぼかしシステム１は、シーンの第３の画像の中で、続いて第３の時点で、−例えば第３の識別ユニット１０６からの支持を伴って−、少なくとも第１の画素が第３の画像の背景に含まれるように変化し、少なくとも第１の画素値が、中間の時点から第３の時点まで不変のままであることを識別する。
【００５０】
動作１００７
動作１００７では、第３の時点が中間の時点から事前決定可能な背景マージ時限内にある時、背景ぼかしシステム１は、続いて第３の時点で、−例えば第３の提供ユニット１０７からの支持を伴って−、ビデオ圧縮ストリームの中にぼかし画素値を提供する。
【００５１】
動作１００８
任意選択の動作１００８では、第３の時点が背景マージ時限内にない時、背景ぼかしシステム１は、−例えば、任意選択の第２のぼかしユニット１０８からの支持を伴って−、少なくとも第１の画素の更新されたぼかし画素値を決定する。
【００５２】
任意で、動作１００８の決定は、少なくとも第１の画素の近傍の追加の画素のための、更新されたぼかし画素値を追加的に決定することを含む。
【００５３】
動作１００９
任意選択の動作１００９では、任意選択の動作１００８の後に、第３の時点が、背景マージ時限内にない時、背景ぼかしシステム１は、続いて第３の時点で、−例えば、任意の第４の提供ユニット１０９からの支持を伴って−、ビデオ圧縮ストリームの中に更新されたぼかし画素値を提供する。
【００５４】
任意で、動作１００９の提供は、追加の画素のための更新されたぼかし画素値を追加的に提供することを含む。
【００５５】
動作１０１０
任意選択の動作１０１０では、事前決定可能な追加の時点でのぼかし画素値が、事前決定可能な追加の時点にわたって更新されていないと決定した時、背景ぼかしシステム１は、−例えば、任意選択の撮影ぼかしユニット１１０からの支持を伴って−、シーンの現在の画像から、少なくとも第１の画素の更新されたぼかし画素値を決定する。
【００５６】
動作１０１１
任意選択の動作１０１１では、任意選択の動作１０１０の後に、事前決定可能な追加の時点のぼかし画素値が、事前決定可能な追加の時点にわたって更新されていないと決定した時、背景ぼかしシステム１は、後続の追加の時点で、−例えば、任意の追加の提供ユニット１１１からの支持を伴って−、ビデオ圧縮ストリームの中に、更新されたぼかし画素値を提供する。
【００５７】
動作１０１２
任意選択の動作１０１２では、ビデオ圧縮ストリームの事前決定可能な後続のフレームが、事前決定可能なＩフレーム関連の時点で、Ｉフレームである時、背景ぼかしシステム１は、−例えば、任意選択のＩフレームぼかしユニット１１２からの支持を伴って−、シーンの現在の画像の背景に含まれると識別された画素のうちの、少なくとも第１の画素、および事前決定可能な部分のための、更新されたぼかし画素値を決定する。
【００５８】
動作１０１３
任意選択の動作１０１３では、任意選択の動作１０１２の後に、ビデオ圧縮ストリームの事前決定可能な後続のフレームが、事前決定可能なＩフレーム関連の時点で、Ｉフレームである時、背景ぼかしシステム１は、続いてＩフレーム関連の時点で、−例えば、任意選択のＩフレーム提供ユニット１１３からの支持を伴って−、ビデオ圧縮ストリームの中に、更新されたぼかし画素値を提供する。
【００５９】
当業者は、本開示が決して上記の好ましい実施形態に限定されないことを理解する。それどころか、添付の特許請求の範囲内で多くの修正および変形が可能である。さらに、図面は、必ずしも一定の縮尺および寸法ではなく、特徴は、明確にするために誇張されている時があることに留意されたい。代わりに、本明細書の実施形態の原理を説明することに重点が置かれる。さらに、特許請求の範囲では、「有する」という語は、他の要素またはステップを除外せず、不定冠詞「ａ」または「ａｎ」は、複数を除外するものではない。
【図１】
2022000751.tif 000003
【図２】
2022000751.tif 000004
【図３】
2022000751.tif 000005
【外国語明細書】
2022000751000001.pdf