(57)【要約】      （修正有）【課題】ビデオシーケンスのプライバシーマスクされた画像を符号化する方法を提供する。【解決手段】ピクセル分割された画像データを受信することと、画像のピクセルを符号化ユニットにグループ化することを含む。各符号化ユニットは、複数の隣接ピクセルを備え、プライバシーマスクを定義するデータおよびプライバシーマスクのグラフィック特性を受信し、プライバシーマスク内に位置する１つまたは複数のピクセルを有するすべての符号化ユニットを識別する。プライバシーマスクを、識別された符号化ユニットと揃えられるように拡張して、その結果、識別された符号化ユニットを覆う再定義されたプライバシーマスクを形成する再定義されたプライバシーマスクおよび受信したグラフィック特性を画像に適用することによってプライバシーマスクされた画像を生成し符号化して、ビデオストリームの符号化された画像フレームにする。【選択図】図３
2018137730.tif 000002
【特許請求の範囲】
【請求項１】
複数のピクセル（３０２）を備える画像（３００）を符号化して、ビデオストリームの符号化された画像フレームにするための方法であって、
前記画像のピクセル分割された画像データを受信すること（Ｓ４００）であって、前記ピクセル分割された画像データは、前記画像の前記ピクセルを表す、画像データを受信することと、
前記画像の前記ピクセルを符号化ユニット（３０４）にグループ化すること（Ｓ４０２）であって、各符号化ユニットは、複数の隣接ピクセルを備える、グループ化することと、
プライバシーマスク（３０６）、および前記プライバシーマスクのグラフィック特性を定義するデータを受信すること（Ｓ４０４）と、
前記プライバシーマスク内に位置する１つまたは複数のピクセルを有するすべての符号化ユニットを識別すること（Ｓ４０６）と、
前記プライバシーマスクを、前記識別された符号化ユニットと揃えられるように拡張すること（Ｓ４０８）であって、その結果、前記識別された符号化ユニットを覆う再定義されたプライバシーマスク（３０８）を形成する、拡張することと、
前記再定義されたプライバシーマスク、および前記受信されたグラフィック特性を前記画像に適用することによってプライバシーマスクされた画像を生成すること（Ｓ４１０）と、
前記プライバシーマスクされた画像を、前記ビデオストリームの前記符号化された画像フレームに符号化すること（Ｓ４１２）であって、
前記再定義されたプライバシーマスクの外部のピクセルと関係する画像データに基づいた前記画像の前記再定義されたプライバシーマスク内のピクセルの空間予測符号化をディセーブルにすること、
前記ビデオストリームにおけるいずれの参照画像フレームのいずれのプライバシーマスクの外部のピクセルと関係する画像データに基づいた前記画像の前記再定義されたマスク内のピクセルの時間予測符号化をディセーブルにすること、および
前記ビデオストリームにおける参照画像フレームのプライバシーマスクの内部のピクセルと関係する画像データに基づいた前記画像の前記再定義されたプライバシーマスク内のピクセルの時間予測符号化を許すこと
に従って、符号化することと、
を備える、方法。
【請求項２】
前記画像の前記プライバシーマスク、および前記参照画像フレームの前記プライバシーマスクは、前記それぞれのプライバシーマスクの分類にさらに関連付けられていて、時間予測符号化を許す前記動作は、前記それぞれのプライバシーマスクの前記分類にさらに基づく、請求項１に記載の方法。
【請求項３】
前記それぞれのプライバシーマスクの前記分類は、前記それぞれのプライバシーマスクによってマスクされている被写体のタイプを備え、前記方法は、
前記画像の前記プライバシーマスクによってマスクされている被写体の前記タイプと前記参照画像フレームのプライバシーマスクによってマスクされている被写体の前記タイプが同一である場合、前記参照画像フレームの前記プライバシーマスクの内部のピクセルと関係する画像データに基づいた前記画像の前記再定義されたプライバシーマスク内のピクセルの時間予測符号化を促進することをさらに備える、請求項２に記載の方法。
【請求項４】
前記それぞれのプライバシーマスクの前記分類は、前記それぞれのプライバシーマスクのプライバシーレベルを備え、前記方法は、
前記画像の前記プライバシーマスクの前記プライバシーレベルが前記参照画像フレームの前記プライバシーマスクの前記プライバシーレベルより高い場合、前記参照画像フレームの前記プライバシーマスクの内部のピクセルと関係する画像データに基づいた前記画像の前記再定義されたプライバシーマスク内のピクセルの時間予測符号化をディセーブルにすることをさらに備える、請求項２または３に記載の方法。
【請求項５】
前記プライバシーマスクされた画像を符号化する前記動作は、前記画像の前記再定義されたプライバシーマスクの内部のピクセルと関係する画像フレームデータに基づいた前記画像の前記再定義されたプライバシーマスク内のピクセルの空間予測符号化を許すことをさらに備える、請求項１から４のいずれか一項に記載の方法。
【請求項６】
前記プライバシーマスクは、複数の別々の下位のプライバシーマスク領域を備え、再定義されたプライバシーマスクを形成する前記動作は、前記複数の別々の下位のプライバシーマスク領域の各々に関する下位の再定義されたプライバシーマスクを形成する動作を備え、前記方法は、
前記画像の異なる下位の再定義されたプライバシーマスクのピクセルと関係する画像データに基づく空間予測符号化をディセーブルにすることをさらに備える、請求項５に記載の方法。
【請求項７】
画像をビデオストリームの符号化された画像フレームに符号化するように構成された符号器（１００）と、
前記画像のピクセルを表すピクセル分割された画像データを記憶するように構成されたデータストレージ（１０）と、
前記画像のピクセルを符号化ユニットにグループ化するように構成されたピクセルグループ化モジュール（１２）であって、各符号化ユニットが複数の隣接ピクセルを備える、ピクセルグループ化モジュール（１２）と、
プライバシーマスクを定義するデータを受信し、前記プライバシーマスク内に位置する１つまたは複数のピクセルを有するすべての符号化ユニットを識別するように構成された符号化ユニットモジュール（１４）と、
前記プライバシーマスクを、前記識別された符号化ユニットと揃えられるように拡張して、その結果、前記識別された符号化ユニットを覆う再定義されたプライバシーマスクを形成するように構成されたプライバシーマスク再定義モジュール（１６）と、
前記プライバシーマスクのグラフィック特性を受信し、かつ前記再定義されたプライバシーマスク、および前記受信されたグラフィック特性を前記画像に適用することによってプライバシーマスクされた画像を生成するように構成されたプライバシーマスキングモジュール（１８）と、
前記符号器（１００）のための符号化命令を生成し、かつ前記符号化命令を前記符号器（１００）に送信するように構成された符号器インストラクタ（２０）であって、前記符号化命令が、
前記再定義されたプライバシーマスクの外部のピクセルと関係する画像データに基づいた前記画像の前記再定義されたプライバシーマスク内のピクセルの空間予測符号化をディセーブルにすること、
前記ビデオストリームにおけるいずれの参照画像フレームのいずれのプライバシーマスクの外部のピクセルと関係する画像データに基づいた前記画像の前記再定義されたマスク内のピクセルの時間予測符号化もディセーブルにすること、および
前記ビデオストリームにおける参照画像フレームのプライバシーマスクの内部のピクセルと関係する画像データに基づいた前記画像の前記再定義されたプライバシーマスク内のピクセルの時間予測符号化を許すことを備える、符号器インストラクタ（２０）と、
を備える符号化システムであって、
前記符号器（１００）は、前記符号化命令を受信し、かつ前記プライバシーマスクされた画像を符号化するように構成される、符号化システム。
【請求項８】
前記画像内の前記プライバシーマスクによって覆われるべき前記画像のピクセルを定義するデータを出力し、かつ前記プライバシーマスクのグラフィック特性を出力するように構成されたプライバシーマスクコントローラ（３０）をさらに備える、請求項７に記載の符号化システム。
【請求項９】
前記プライバシーマスクコントローラ（３０）は、ビデオ解析モジュール（３２）によって提供されるビデオ解析に基づいて前記プライバシーマスクによって覆われるべき前記画像のピクセルを定義する前記データを生成するように構成される、請求項８に記載の符号化システム。
【請求項１０】
前記プライバシーマスクコントローラ（３０）は、前記プライバシーマスクに分類を関連付けるようにさらに構成され、前記符号器インストラクタ（２０）は、前記時間予測符号化を許すことを前記プライバシーマスクの前記分類、および前記参照画像フレームの前記プライバシーマスクの分類に基づかせるようにさらに構成される、請求項８または９に記載の符号化システム。
【請求項１１】
ビデオカメラに配置される、請求項７から１０のいずれか一項に記載の符号化システム。
【請求項１２】
処理能力を有するデバイス上で実行された場合、請求項１から６のいずれか一項に記載の方法を実施するためのプログラムが、媒体上に記録されている非一時的コンピュータ可読記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像のプライバシーマスキングに関し、特に、プライバシーマスクされた画像の符号化に関する。
【背景技術】
【０００２】
監視カメラが、様々な環境を監視するために、屋内と屋内の両方で、異なる多くの用途において使用される。キャプチャされたシーンを描写する画像は、例えば、作業員または警備員によって監視され得る。或る状況において、個人保護のために画像の一部をマスクする必要がある場合など、キャプチャされた画像の一部分を別の部分とは異なるように扱う必要性があり得る。これは、例えば、カメラが建造物内に、またはバス内もしくは列車内に配置され、外部の環境がカメラによって行われる監視から排除されるべき場合に生じ得る。別の例が、窓を有する建造物が監視され、かつその窓を通してその建造物の内部を監視することを回避する必要がある場合である。
【０００３】
そのような実例において、プライバシーマスクが、観察機器のセットアップ中に作業員によって定義され得る。プライバシーマスクは、静的であっても、動的であってもよい。静的プライバシーマスクは、グラフィカルユーザインターフェースにおいて画像上でマスクされるべき区域に印を付ける作業員によって、通常、作成される。その後、静的プライバシーマスクは、作業員がそのマスクを移動させること、または除去することを決定するまで、その場に留まる。動的プライバシーマスクは、時とともに変化し得る。動的プライバシーマスクと同様に、作業員は、マスキングが所望される画像内の区域に印を付けてよい。また、作業員は、いつプライバシーマスクが適用されるべきかを決定する設定を入力してもよい。例えば、作業者は、画像内の窓の周囲に長方形を描いて、その印を付けられた区域内で顔が検出された場合、その顔がマスクされて消されるように設定を行うことも可能である。そのような動的プライバシーマスクは、プライバシーマスクに関して設定された条件が満たされない限り、視界を遮るマスクは存在しないが、例えば、顔検出アルゴリズム、被写体検出アルゴリズム、または動き検出アルゴリズムがそれらの条件が満たされたことを検出するとすぐに、プライバシーマスクが適用されるという点で有益であり得る。プライバシーマスクは、画像にオーバーレイとして適用され得る。いくつかのプライバシーマスクは、黒の、または他の着色された不透明な区域の形態をとる。他のプライバシーマスクは、画像データがプライバシーマスク区域にわたって「擦り付けられて」消される、ぼかしの形態をとり、またはプライバシーマスク内の画像がピクセル化ブロックに分割され、かつピクセル化ブロックのすべてのピクセルに同一の値が与えられて、画像がプライバシーマスク区域内でブロック様に見えるようにするピクセル化の形態をとる。プライバシーマスクは、多くの事例において長方形であり、または別の多角形であってよく、あるいは遮蔽すべき区域の形状に沿ったより近い他の任意の形状を有してよい。
【０００４】
カメラが画像をキャプチャすると、それらの画像は、それらの画像が見られ、かつ／または記憶されることが可能な管理センタなどの、使用の拠点に通常、伝送される。また、それらの画像は、いわゆる「エッジストレージ」、すなわち、ＳＤカードなどのカメラに搭載された、またはＮＡＳ（ネットワークアタッチトストレージ）などの、カメラと接続状態にある、カメラにおけるストレージに記憶されてもよい。伝送またはエッジストレージの前に、それらの画像は、帯域幅およびストレージを節約するために符号化される。符号化は、多くの異なる様態で、例えば、Ｈ．２６４標準または他の符号化標準により実行され得る。すべてではないとしても、ほとんどのビデオ符号化は、不可逆であり、すなわち、元の画像に存在する情報が符号化中に失われ、復号の際に再獲得され得ない。元の画像を表すのに要求されるビットの数の低減ともたらされる画像品質の間にトレードオフが存在する。利用可能なビットを可能な限り効率的に利用する符号化スキームを開発する取組みが行われてきた。
【０００５】
しかし、符号化中、符号器は、現在の画像フレームと以前の画像フレームの両方における利用可能なすべての情報を自由に使用してよい（いわゆる予測符号化）。故に、符号器は、例えば、現在の符号化された画像フレームまたは参照画像フレームの別の部分を参照することによってプライバシーマスクされた領域を符号化することを選択してよく、元のプライバシーマスクされた領域は、復号されたとき、元のプライバシーマスクされた領域とは異なる見た目を有することになる。特に、過度に巧妙な符号器アルゴリズムまたは過度の圧縮を使用すると、元のプライバシーマスキングが乱される可能性が高い。
【０００６】
以下に、プライバシーマスクされた画像を符号化することに関するいくつかの問題が議論される。
【０００７】
第１のシナリオによれば、シーンが、そのシーンのビデオシーケンスをキャプチャするビデオカメラによって監視される。そのシーンにおいて、そのシーンの上半分におけるすべての顔が、それらの顔がカメラによってキャプチャされるとおりに描写される。しかし、そのシーンの下半分は、検出された顔がプライバシーマスクされるべきプライバシーゾーンとして定義されている。個人が、そのシーンの上半分から下半分の方に歩いている。その個人がそのシーンの上半分に位置する、そのシーンの第１のフレームにおいて、顔は、明白に目に見える。その個人がそのシーンの下半分に、すなわち、定義されたプライバシーゾーンに位置する、そのシーンの第２のフレームにおいて、プライバシーマスクが第２のフレームに適用されて、個人の顔をマスクする。すなわち、その個人の顔は、隠される、または識別不能にされる。第１のフレームと、第２のフレームとを備えるそのビデオを符号化するとき、その個人は、おそらく、そのビデオにおける動く被写体として識別され、故に、Ｐブロック符号化され得る。この事例において、顔を描写する前のフレーム１を参照するＰブロックを用いて符号化することは、符号化の前に第２の画像にプライバシーマスクが適用されるものの、フレーム２においても顔が明白に目に見えるようにする。
【０００８】
第２のシナリオによれば、シーンが、そのシーンのビデオシーケンスをキャプチャするビデオカメラによって監視される。そのシーンにおいて、そのシーンの左半分におけるすべての顔が、それらの顔がカメラによってキャプチャされるとおりに描写される。しかし、そのシーンの右半分は、検出された顔がプライバシーマスクされるべきプライバシーゾーンとして定義されている。第１の個人がそのシーンの左半分に立っており、かつ第２の個人がそのシーンの右半分に立っている。故に、そのシーンのフレームにおいて、第２の個人の顔は、そのフレームを符号化する前にプライバシーマスクされる。しかし、符号化すると、第１の個人のマスクされない顔が、十分に類似しているものとして符号器によって知覚されて、第２の個人の顔の位置に単にコピーされることがある。このことは、顔のないプライバシーゾーンにおいて目に見える顔を生成することになり、この事例において、その顔は、「正しい」顔でさえない。
【０００９】
故に、ビデオのプライバシーマスクされた画像の改良された符号化の必要性が存在する。
【発明の概要】
【発明が解決しようとする課題】
【００１０】
以上に鑑みて、本発明の目的は、ビデオシーケンスのプライバシーマスクされた画像を符号化して、ビデオストリームの符号化された画像フレームにすることにおける改良を提供することである。
【課題を解決するための手段】
【００１１】
第１の態様によれば、複数のピクセルを備える画像を符号化して、ビデオストリームの符号化された画像フレームにするための方法が提供される。方法は、画像のピクセル分割された画像データを受信することであって、ピクセル分割された画像データは、画像のピクセルを表す、画像データを受信することと、画像のピクセルを符号化ユニットにグループ化することであって、各符号化ユニットは、複数の隣接ピクセルを備える、グループ化することと、プライバシーマスクを定義するデータ、およびプライバシーマスクのグラフィック特性を受信することと、プライバシーマスク内に位置する１つまたは複数のピクセルを有するすべての符号化ユニットを識別することと、プライバシーマスクを、識別された符号化ユニットと揃えられるように拡張することであって、その結果、識別された符号化ユニットを覆う再定義されたプライバシーマスクを形成する、拡張することと、再定義されたプライバシーマスク、および受信されたグラフィック特性を画像に適用することによってプライバシーマスクされた画像を生成することと、プライバシーマスクされた画像を、ビデオストリームの符号化された画像フレームに符号化することであって、再定義されたプライバシーマスクの外部のピクセルと関係する画像データに基づいた画像の再定義されたプライバシーマスク内のピクセルの空間予測符号化をディセーブルにすること、ビデオストリームにおけるいずれの参照画像フレームのいずれのプライバシーマスクの外部のピクセルと関係する画像データに基づいた画像の再定義されたマスク内のピクセルの時間予測符号化もディセーブルにすること、およびビデオストリームにおける参照画像フレームのプライバシーマスクの内部のピクセルと関係する画像データに基づいた画像の再定義されたプライバシーマスク内のピクセルの時間予測符号化を許すことに従って、符号化することとを備える。
【００１２】
故に、本方法は、プライバシーマスク符号化が、画像に挿入されるべきプライバシーマスクと少なくとも部分的に重なり合うすべての符号化ユニットを備えるものとして定義されるようにプライバシーマスクを再定義することに基づく。さらに、符号器は、以上のことにより命令されもするだろう。故に、符号器は、現在のフレームまたは参照フレームにおけるプライバシーマスクの外部からの予測符号化を、フレーム内であれ、フレーム間であれ、許さないように制限されるだろう。しかし、異なるフレームのプライバシーマスクされた領域の間のフレーム間符号化は、許される。
【００１３】
このため、符号化することに関連してプライバシーマスクされた画像のプライバシーマスクされた領域を汚染するリスクは、完全に除去されないとしても、最小限に抑えられる。
【００１４】
予測符号化制限を実施する１つの方法は、プライバシーマスクされた画像のプライバシーマスクされた領域を、これらの境界を越える予測はまったく許されないので、別個のスライス（および、またはタイル）として符号化することである。実施のための別の代替は、プライバシーマスクされた画像のプライバシーマスクされた領域を符号化するためにだけフレーム内符号化ユニットを使用するように符号器を設定することである。
【００１５】
画像および参照画像フレームのプライバシーマスクは、それぞれのプライバシーマスクの分類にさらに関連付けられてよく、時間予測符号化を許す動作は、それぞれのプライバシーマスクの分類にさらに基づき得る。例えば、さらなる制限が、異なるタイプもしくは異なる度合のマスキングを有するプライバシーマスクされた領域からの予測符号化を使用しないように設定されてよい。プライバシーマスクされた区域を分類することは、より多くのコーディング予測（フレーム間およびフレーム内）を許し、したがって、より高いコーディング効率を許す。さらに、異なるように分類された領域からの情報は、混合されないであろう。
【００１６】
それぞれのプライバシーマスクの分類は、それぞれのプライバシーマスクによってマスクされている被写体のタイプを備えてよく、方法は、画像のプライバシーマスクによってマスクされている被写体のタイプと参照画像フレームのプライバシーマスクによってマスクされている被写体のタイプが同一である場合、参照画像フレームのプライバシーマスクの内部のピクセルと関係する画像データに基づいた画像の再定義されたプライバシーマスク内のピクセルの時間予測符号化を促進することをさらに備え得る。このことは、マスクされた領域のより効率的な符号化を許すであろう。例えば、マスクされた顔と関係する画像データが、別のフレームにおいて再使用され得る。このことは、符号化をより効率的にし、メモリと帯域幅の両方を節約するであろう。
【００１７】
それぞれのプライバシーマスクの分類は、それぞれのプライバシーマスクのプライバシーレベルを備えてよく、方法は、画像のプライバシーマスクのプライバシーレベルが参照画像フレームのプライバシーマスクのプライバシーレベルより高い場合、参照画像フレームのプライバシーマスクの内部のピクセルと関係する画像データに基づいた画像の再定義されたプライバシーマスク内のピクセルの時間予測符号化をディセーブルにすることをさらに備え得る。
【００１８】
現在の領域より高いプライバシーレベルを有する領域からの情報を再使用することは、プライバシーマスクレベルが、向上させられないとしても、維持されることを確実にし、かつ、同時に、コーディング利得をもたらす。故に、符号器が符号化中にマスクされた領域のプライバシーレベルを低下させ、故に、想定されているより多くの見た目の特徴を明らかにすることに関する問題が回避される。このことは、以下により説明され得る。すなわち、１つのプライバシーゾーン（Ａ）が、そのゾーン内のすべての顔がぼかされるべきものとされるように定義され、かつ１つのプライバシーゾーン（Ｂ）が、そのゾーン内のすべてのテキストがぼかされるべきものとされるように定義されるものと想定されたい。プライバシーゾーン（Ａ）におけるマスクされた被写体とプライバシーゾーン（Ｂ）におけるマスクされた被写体の間で時間予測を許すことは、（Ａ）における顔が（Ｂ）におけるぼかされていない顔に基づいて予測される可能性を開くだろう。別の例によれば、２つのプライバシーマスクが異なるプライバシーレベルを有し、例えば、１つのプライバシーマスクが、２ピクセル平均プライバシーマスクとして定義され、別のプライバシーマスクが、１６ピクセル平均プライバシーマスクとして定義される。故に、１つのプライバシーゾーン（Ｃ）が、２ピクセル平均プライバシーマスクによってマスクされるものとして定義され、別のプライバシーゾーン（Ｄ）が、１６ピクセル平均プライバシーマスクによってマスクされるものとして定義される。プライバシー（Ｃ）におけるマスクされた被写体とプライバシー（Ｄ）におけるマスクされた被写体の間で時間予測を許すことは、（Ｄ）におけるピクセルが２ピクセル平均だけを使用してぼかされる可能性を開くだろう。
【００１９】
プライバシーマスクされた画像を符号化する動作は、画像の再定義されたプライバシーマスクの内部のピクセルと関係する画像フレームデータに基づいた画像の再定義されたプライバシーマスク内のピクセルの空間予測符号化を許すことをさらに備え得る。より効率的な符号化は、メモリ使用と帯域幅の両方を節約する結果となるだろう。
【００２０】
プライバシーマスクは、複数の別々の下位のプライバシーマスク領域を備えてよく、再定義されたプライバシーマスクを形成する動作は、複数の別々の下位のプライバシーマスク領域の各々に関する下位の再定義されたプライバシーマスクを形成することを備えてよく、方法は、画像の異なる下位の再定義されたプライバシーマスクのピクセルと関係する画像データに基づく空間予測符号化をディセーブルにすることをさらに備え得る。
【００２１】
第２の態様によれば、符号化システムが提供される。符号化システムは、画像をビデオストリームの符号化された画像フレームに符号化するように構成された符号器と、画像のピクセルを表すピクセル分割された画像データを記憶するように構成されたデータストレージと、画像のピクセルを符号化ユニットにグループ化するように構成されたピクセルグループ化モジュールであって、各符号化ユニットが複数の隣接ピクセルを備える、ピクセルグループ化モジュールと、プライバシーマスクを定義するデータを受信すること、およびプライバシーマスク内に位置する１つまたは複数のピクセルを有するすべての符号化ユニットを識別することを行うように構成された符号化ユニットモジュールと、プライバシーマスクを、識別された符号化ユニットと揃えられるように拡張して、その結果、識別された符号化ユニットを覆う再定義されたプライバシーマスクを形成することを行うように構成されたプライバシーマスク再定義モジュールと、プライバシーマスクのグラフィック特性を受信し、かつ再定義されたプライバシーマスク、および受信されたグラフィック特性を画像に適用することによってプライバシーマスクされた画像を生成することを行うように構成されたプライバシーマスキングモジュールと、符号器のための符号化命令を生成し、かつ符号化命令を符号器に送信するように構成された符号器インストラクタであって、符号化命令が、再定義されたプライバシーマスクの外部のピクセルと関係する画像データに基づいた画像の再定義されたプライバシーマスク内のピクセルの空間予測符号化をディセーブルにすること、ビデオストリームにおけるいずれの参照画像フレームのいずれのプライバシーマスクの外部のピクセルと関係する画像データに基づいた画像の再定義されたマスク内のピクセルの時間予測符号化もディセーブルにすること、およびビデオストリームにおける参照画像フレームのプライバシーマスクの内部のピクセルと関係する画像データに基づいた画像の再定義されたプライバシーマスク内のピクセルの時間予測符号化を許すことを備える、符号器インストラクタと、を備える符号化システムであって、符号器は、符号化命令を受信し、かつプライバシーマスクされた画像を符号化するように構成される。
【００２２】
符号化システムは、画像内のプライバシーマスクによって覆われるべき画像のピクセルを定義するデータを出力し、かつプライバシーマスクのグラフィック特性を出力するように構成されたプライバシーマスクコントローラをさらに備え得る。
【００２３】
プライバシーマスクコントローラは、ビデオ解析モジュールによって提供されるビデオ解析に基づいてプライバシーマスクによって覆われるべき画像のピクセルを定義するデータを生成するように構成され得る。
【００２４】
プライバシーマスクコントローラは、プライバシーマスクに分類を関連付けるようにさらに構成されてよく、符号器インストラクタは、時間予測符号化を許すことをプライバシーマスクの分類、および参照画像フレームのプライバシーマスクの分類に基づかせるようにさらに構成され得る。
【００２５】
本方法の前述の特徴は、適用可能な場合、この第２の態様にも当てはまる。必要以上の繰り返しを回避するため、前段を参照されたい。
【００２６】
符号化システムは、ビデオカメラにおいて配置され得る。
【００２７】
第３の態様によれば、非一時的コンピュータ可読記録媒体が提供される。非一時的コンピュータ可読記録媒体は、その媒体上に、処理能力を有するデバイス上で実行された場合、第１の態様による方法により方法を実施するためのプログラムが記録されている。
【００２８】
本方法および符号化システムの前述した特徴は、適用可能な場合、この第３の態様にも当てはまる。必要以上の繰り返しを回避するため、前段を参照されたい。
【００２９】
本発明の適用可能性のさらなる範囲は、後段で与えられる詳細な説明から明白となろう。しかし、詳細な説明および特定の例は、本発明の好ましい実施形態を示すが、この詳細な説明から、本発明の範囲内で様々な変更および変形が当業者には明白となるので、例示として与えられているに過ぎないことを理解されたい。
【００３０】
故に、本発明は、説明されるシステムの特定の構成部分、または説明される方法のステップには、そのようなシステムおよび方法が変化し得るので、限定されないことを理解されたい。また、本明細書において使用される術語は、特定の実施形態を説明することを目的とするに過ぎず、限定することは意図していないことも理解されたい。本明細書および添付の特許請求の範囲において使用される、「或る」および「その」という冠詞、ならびに「前記」は、文脈がそうでないことを明確に規定するのでない限り、それらの要素のうちの１つまたは複数が存在することを意味するように意図されることに留意されたい。このため、例えば、「或るユニット」または「そのユニット」について述べることは、いくつかのデバイス、および類似したものを含み得る。さらに、「備える」、「含む」、「包含する」、および類似した言い回しは、他の要素または他のステップも排除することはない。
【００３１】
次に、本発明の以上、およびその他の態様が、本発明の実施形態を示す添付の図面を参照して、より詳細に説明される。図は、本発明を特定の実施形態に限定するものと見なされるべきではなく、代わりに、それらの図は、本発明を説明するため、および理解するために使用される。
【００３２】
図に例示されるとおり、層および領域のサイズは、例示の目的で誇張されており、このため、本発明の実施形態の全体的な構造を例示するように与えられる。同様の参照符号は、すべての図にわたって同様の要素を参照する。
【図面の簡単な説明】
【００３３】
【図１】符号化システムを示す概略ブロック図である。
【図２Ａ】画像、および画像を覆うプライバシーマスクを示し、元のプライバシーマスクが例示される概略図である。
【図２Ｂ】画像、および画像を覆うプライバシーマスクを示し、再定義されたプライバシーマスクが例示される概略図である。
【図３】複数のピクセルを備える画像を符号化して、ビデオストリームの符号化された画像フレームにするための方法を示すブロック図である。
【発明を実施するための形態】
【００３４】
次に、本発明が、本発明の現在、好ましい実施形態が示される添付の図面を参照して以下により十分に説明される。しかし、本発明は、異なる多くの形態で実現されてよく、本明細書に記載される実施形態に限定されるものと解釈されるべきではなく、むしろ、これらの実施形態は、徹底および完全を期すために、かつ本発明の範囲を当業者に十分に伝えるように与えられる。
【００３５】
図１は、符号化システム２００を例示する。符号化システム２００は、ビデオシーケンスの画像を符号化して、ビデオストリームの符号化された画像フレームにするように構成される。ビデオシーケンスの画像、およびビデオシーケンス自体は、デジタルデータとして表される。ビデオシーケンスの画像を符号化する前に、符号化システム２００は、画像にプライバシーマスクを適用するように構成される。故に、符号化システム２００は、ビデオシーケンスのプライバシーマスクされた画像を符号化して、ビデオストリームの符号化された画像フレームにするように構成される。ビデオストリームは、通常、イントラフレームと、インタフレームとを備える。イントラフレームは、しばしば、Ｉフレームと呼ばれる。インタフレームは、しばしば、ＰフレームまたはＢフレームと呼ばれる。符号化システムは、例えば、ビデオカメラにおいて配置され得る。ビデオカメラは、例えば、ネットワーク対応の監視ビデオカメラであり得る。代替として、符号化システム２００は、アナログビデオカメラに接続されたデバイス（図示せず）において配置されてよい。そのデバイスは、アナログビデオ信号をビデオシーケンスの画像に変換するように構成された回路をさらに備え得る。符号化システム２００は、データストレージ１０と、ピクセルグループ化モジュール１２と、符号化ユニットモジュール１４と、プライバシーマスク再定義モジュール１６と、プライバシーマスキングモジュール１８と、符号器インストラクタ２０と、符号器１００とを備える。
【００３６】
データストレージ１０は、デジタルデータを記憶するように構成される。データストレージ１０は、任意の種類の揮発性データストレージまたは不揮発性データストレージであってよい。さらに、データストレージ１０は、複数のデータストレージユニットを備えてよい。その複数のデータストレージユニットのうちの少なくとも１つは、デジタルデータを処理している間、データをバッファリングするためのバッファメモリとして使用されてよい。データストレージ１０は、例えば、カメラの画像センサによってキャプチャされた画像を表すデジタルデータを記憶してよい。デジタルデータは、例えば、画像センサによってキャプチャされた画像に対してモザイク解除、ノイズフィルタリング、鮮明化、およびトーンマッピングなどの処理の実行を済ませていることがあり得る画像処理モジュールから受信されてよい。故に、データストレージ１０は、画像を表すデジタルデータを記憶するように構成される。画像は、複数のピクセルを備える。したがって、画像を表すデジタルデータは、ピクセル分割された画像データに分割される。故に、ピクセル分割された画像データは、画像のピクセルを表す。
【００３７】
データストレージ１０、ピクセルグループ化モジュール１２、符号化ユニットモジュール１４、プライバシーマスク再定義モジュール１６、プライバシーマスキングモジュール１８、符号器インストラクタ２０、および符号器は、データバス２１経由で互いに通信してよい。
【００３８】
データストレージ１０、ピクセルグループ化モジュール１２、符号化ユニットモジュール１４、プライバシーマスク再定義モジュール１６、プライバシーマスキングモジュール１８、符号器インストラクタ２０、データバス２１、および符号器１００は、符号器２００の回路２に備えられる。
【００３９】
ピクセルグループ化モジュール１２、符号化ユニットモジュール１４、プライバシーマスク再定義モジュール１６、プライバシーマスキングモジュール１８、符号器インストラクタ２０、および符号器１００のうちの１つまたは複数は、専用のハードウェア回路および／またはソフトウェアモジュールとして実装されてよい。ソフトウェア実装される事例において、ソフトウェアは、中央処理装置（ＣＰＵ）２２上、または専用の処理ユニット上で走らされてよい。ＣＰＵ２２は、デジタルデータ処理を実行するための任意の適切なＣＰＵであってよい。専用の処理ユニットは、デジタルデータ処理を実行するための任意の適切な処理ユニットであってよい。また、任意の専用のハードウェア回路が、専用の処理ユニット上、またはＣＰＵ２２上で走らされているソフトウェア部分を部分的に備えてよいことにも留意されたい。処理している最中、ピクセルグループ化モジュール１２、符号化ユニットモジュール１４、プライバシーマスク再定義モジュール１６、プライバシーマスキングモジュール１８、符号器インストラクタ２０、および符号器１００のうちの１つまたは複数は、データをデータストレージ１０に記憶するように、またはバッファリングするように構成されてよい。
【００４０】
ピクセルグループ化モジュール１２は、データストレージ１０における画像のピクセルを表すピクセル分割された画像データにアクセスするように構成される。ピクセルグループ化モジュール１２は、画像のピクセルを符号化ユニットにグループ化するように構成される。各符号化ユニットは、複数の隣接ピクセルを備える。符号化ユニットは、使用される符号化方法に依存して、複数の様態で説明され得る。例えば、Ｈ．２６４符号化を使用すると、符号化ユニットは、マクロブロックであり、Ｈ．２６５符号化を使用すると、符号化ユニットは、コーディングツリーユニットである。故に、符号化ユニットは、使用される符号化方法に依存して、異なる物として命名され得ることが認識される。また、画像のピクセルを符号化ユニットにグループ化することは、使用される符号化方法に依存して、異なる様態で行われてもよい。多くのそのような様態が、当業者には知られており、本明細書において詳細に説明されることはない。ピクセルグループ化モジュール１２は、画像の符号化ユニットに属するデータを符号化ユニットモジュール１４に送信するように構成される。代替として、または組合せにおいて、ピクセルグループ化モジュール１２は、画像の符号化ユニットに属するデータをデータストレージ１０に記憶するように構成される。
【００４１】
符号化ユニットモジュール１４は、プライバシーマスクを定義するデータを受信するように構成される。符号化ユニットモジュール１４は、ピクセルグループ化モジュール１２から画像の符号化ユニットに属するデータを受信するように構成される。代替として、または組合せにおいて、符号化ユニットモジュール１４は、データストレージ１０から画像の符号化ユニットに属するデータを取り出すように構成される。符号化ユニットモジュール１４は、プライバシーマスク内に位置する１つまたは複数のピクセルを有するすべての符号化ユニットを識別するようにさらに構成される。故に、符号化ユニットモジュール１４は、画像に挿入されるべきプライバシーマスクと少なくとも部分的に重なり合うすべての符号化ユニットを識別するように構成される。
【００４２】
符号化ユニットモジュール１４は、プライバシーマスク内に位置する１つまたは複数のピクセルを有する符号化ユニットに属するデータをプライバシーマスク再定義モジュール１６に送信するように構成される。プライバシーマスク内に位置する１つまたは複数のピクセルを有する符号化ユニットに属するデータは、例えば、これらの符号化ユニットに関する画像座標、またはこれらの符号化ユニットを囲む画像の区域を定義する画像座標であってよい。代替として、または組合せにおいて、符号化ユニットモジュール１４は、プライバシーマスク内に位置する１つまたは複数のピクセルを有する符号化ユニットに属するデータをデータストレージ１０に記憶するように構成される。
【００４３】
プライバシーマスクを定義するデータは、プライバシーマスクコントローラ３０から受信され得る。故に、符号化システム２００は、プライバシーマスクコントローラ３０をさらに備え得る。プライバシーマスクコントローラ３０は、画像のいずれのピクセルがプライバシーマスクによってマスクされるべきかを制御するように構成される。故に、プライバシーマスクを定義するデータは、プライバシーマスクによってマスクされるべき画像のピクセルを備える。非限定的な例によれば、プライバシーマスクを定義するデータは、プライバシーマスクされるべき画像内の領域を識別する画像座標を備える。
【００４４】
プライバシーマスクコントローラ３０は、プライバシーマスクされるべき被写体を検出するビデオ解析モジュール３２から入力を受信することが可能である。ビデオ解析モジュール３２の非限定的な例は、動く被写体検出器、顔検出器、およびライセンスプレート検出器である。非限定的な例によれば、プライバシーマスクを定義するデータは、検出された被写体のシルエットをたどる画像座標を備え得る。代替として、プライバシーマスクを定義するデータは、検出された被写体を備える境界ボックスの画像座標を備えてよい。
【００４５】
プライバシーマスクコントローラ３０は、作業者から入力を受け取ってよい。作業者からの入力は、プライバシーマスクされるべき被写体を検出する解析モジュールがそれらの被写体を検出すべきカメラ視界におけるプライバシーゾーンを定義し得る。代替として、視界全体が関心対象であることも可能である。
【００４６】
プライバシーマスクコントローラ３０は、専用のハードウェア回路および／またはソフトウェアモジュールとして実装され得る。ソフトウェア実装される事例において、ソフトウェアは、中央処理装置（ＣＰＵ）２２上、または専用の処理ユニット上で走らされてよい。専用の処理ユニットは、デジタルデータ処理を実行するための任意の適切な処理ユニットであってよい。また、任意の専用のハードウェア回路が、専用の処理ユニット上、またはＣＰＵ２２上で走らされているソフトウェア部分を部分的に備えてよいことにも留意されたい。処理している最中、プライバシーマスクコントローラ３０は、データをデータストレージ１０に記憶するように、またはバッファリングするように構成されてよい。
【００４７】
ビデオ解析モジュール３２は、専用のハードウェア回路および／またはソフトウェアモジュールとして実装されてよい。ソフトウェア実装される事例において、ソフトウェアは、中央処理装置（ＣＰＵ）２２上、または専用の処理ユニット上で走らされてよい。専用の処理ユニットは、デジタルデータ処理を実行するための任意の適切な処理ユニットであってよい。また、任意の専用のハードウェア回路が、専用の処理ユニット上、またはＣＰＵ２２上で走らされているソフトウェア部分を部分的に備えてよいことにも留意されたい。処理している最中、ビデオ解析モジュール３２は、データをデータストレージ１０に記憶するように、またはバッファリングするように構成されてよい。
【００４８】
プライバシーマスクコントローラ３０とビデオ解析モジュール３２のうちの１つ、または両方が、回路２に備えられてよい。
【００４９】
プライバシーマスクによって覆われるべき画像のピクセルは、単一のプライバシーマスク領域にグループ化され得る。故に、プライバシーマスクは、単一のプライバシーマスク領域を備える。代替として、プライバシーマスクによって覆われるべき画像のピクセルは、複数の別々の下位のプライバシーマスク領域にグループ化されてよい。下位のプライバシーマスク領域は、異なる被写体に関するプライバシーマスク領域であってよい。代替として、または組合せにおいて、下位のプライバシーマスク領域は、１つの被写体の異なる部分に関するプライバシーマスク領域であってよい。故に、プライバシーマスクは、複数の下位のプライバシーマスク領域を備える。プライバシーマスク領域は、長方形または他の形状であってよい。下位のプライバシーマスク領域は、長方形または他の形状であってよい。
【００５０】
プライバシーマスクコントローラ３０は、プライバシーマスクのグラフィック特性を決定するようにさらに構成され得る。故に、プライバシーマスクを定義するデータは、プライバシーマスクのグラフィック特性をさらに備え得る。グラフィック特性の非限定的な例が、不変の着色（例えば、黒のボックスによって）、擦り付け、またはピクセル化である。故に、プライバシーマスクは、異なる形態をとってよい。不変の着色が意味するのは、画像のプライバシーマスクされた領域が黒くされる、またはそれ以外で着色されることである。擦り付けが意味するのは、各ピクセルのピクセル値を当該のピクセルの近隣におけるピクセル値の平均で置き換えること、すなわち、かなりぎこちないノイズフィルタを適用することである。ピクセル化が意味するのは、プライバシーマスク領域内のピクセルが隣接ピクセルのピクセル化グループにグループ化されることである。隣接ピクセルのピクセル化グループは、例えば、マクロブロックであってよい。それぞれのピクセル化グループの各ピクセルのピクセル値が、それぞれのピクセル化グループを表す共通のピクセル値に設定される。ピクセル化と擦り付けの両方が、時として、ぼかしと呼ばれる。
【００５１】
プライバシーマスクコントローラ３０は、プライバシーマスクに分類を関連付けるようにさらに構成され得る。
【００５２】
プライバシーマスクの分類は、プライバシーマスクによってマスクされるべき被写体のタイプを備え得る。被写体の異なるタイプは、顔、ナンバープレート、動く被写体、個人、窓、その他であってよい。被写体のタイプは、１つまたは複数のビデオ解析モジュールを使用して識別され得る。さらに、プライバシーマスクの分類は、作業者によって定義されたプライバシーゾーンに結び付けられてもよい。或る定義されたプライバシーゾーンにおけるプライバシーマスクが、第１の特定のクラスに関連付けられてよく、別の定義されたプライバシーゾーンにおけるプライバシーマスクが、別の特定のクラスに関連付けられてよい。
【００５３】
代替として、または組合せにおいて、プライバシーマスクの分類は、プライバシーマスクのプライバシーレベルを備え得る。非限定的な例によれば、顔は、高いプライバシーレベルを常に有してよい。プライバシーレベルは、プライバシーマスクされた画像のプライバシーマスクされた領域において明らかにされ得る特徴の数の尺度である。
【００５４】
非限定的な例によれば、最高のプライバシーレベルは、不変の着色マスクである（故に、プライバシーマスクされた画像のプライバシーマスク領域におけるすべての情報が除去される）。すると、次のプライバシーレベルまたは次の複数のプライバシーレベルは、ピクセル化されたマスクであってよい。隣接ピクセルのピクセル化グループのサイズが、マスクのプライバシーレベルを決定する。隣接ピクセルのピクセル化グループが小さいほど、プライバシーレベルは低くなる。ピクセル化を使用する場合、ピクセルレベルは、画像におけるプライバシーマスクされるべき被写体のサイズとピクセル化グループのサイズの間の関係に関連付けられてもよい。
【００５５】
故に、プライバシーレベルは、プライバシーマスクされるべき画像のプライバシーマスク領域に適用されるべきプライバシーマスクの特定のグラフィック特性に関連付けられてよい。例えば、グラフィック特性として不変の着色を有するプライバシーマスクが、グラフィック特性としてぼかしを有するプライバシーマスクより高いプライバシーレベルを有してよい。代替として、または組合せにおいて、長方形形状のプライバシーマスクが、プライバシーマスクされるべき被写体の輪郭をなぞるプライバシーマスクより高いプライバシーレベルを有してよい。
【００５６】
プライバシーマスク再定義モジュール１６は、プライバシーマスク内に位置する１つまたは複数のピクセルを有する符号化ユニットに属するデータを符号化ユニットモジュール１４から受信するように構成される。代替として、または組合せにおいて、プライバシーマスク再定義モジュール１６は、プライバシーマスク内に位置する１つまたは複数のピクセルを有する符号化ユニットに属するデータをデータストレージ１０から取り出すように構成される。プライバシーマスク再定義モジュール１６は、プライバシーマスクを、プライバシーマスク内に位置する１つまたは複数のピクセルを有する符号化ユニットと揃えられるように拡張するように構成される。故に、プライバシーマスク再定義モジュール１６は、プライバシーマスクを、符号化ユニットモジュール１４によって識別された符号化ユニットと揃えられるように拡張するように構成される。その結果、プライバシーマスク再定義モジュール１６は、識別された符号化ユニットを覆う再定義されたプライバシーマスクを形成するように構成される。故に、プライバシーマスク再定義モジュール１６は、再定義されたプライバシーマスクが全部の符号化ユニットを覆うようにプライバシーマスクをサイズ変更するように構成される。さらに、プライバシーマスクが、複数の下位のプライバシーマスク領域を備えるとき、プライバシーマスク再定義モジュール１６は、その複数の下位のプライバシーマスク領域の各々に関して下位の再定義されたプライバシーマスクを形成するように構成される。
【００５７】
プライバシーマスク再定義モジュール１６は、再定義されたプライバシーマスクを定義するデータをプライバシーマスキングモジュール１８に送信するように構成される。画像における再定義されたマスクの頂点を記述する画像座標が、再定義されたマスクを定義するために使用され得る。代替として、または組合せにおいて、プライバシーマスク再定義モジュール１６は、再定義されたプライバシーマスクを定義するデータをデータストレージ１０に記憶するように構成される。
【００５８】
プライバシーマスクを再定義することが、図２Ａおよび図２Ｂに概略で示される。図２Ａおよび図２Ｂにおいて、ピクセル３０２に分割された画像３００の一部分が例示される。画像３００のピクセル３０２は、符号化ユニット３０４にさらにグループ化される。プライバシーマスクコントローラ３０によって出力されるプライバシーマスク３０６が、図２Ａに例示される。この例によれば、プライバシーマスク３０６は、符号化ユニット３０４ａ〜ｆに属するピクセルを覆う。言い換えると、プライバシーマスク３０６は、符号化ユニット３０４ａ〜ｆと少なくとも部分的に重なり合う。再定義されたプライバシーマスク３０８が、図２Ｂにおいて符号化ユニット３０４ａ〜ｆを全部覆う区域として例示される。図２Ｂに見られるとおり、再定義されたプライバシーマスク３０８は、符号化ユニット３０４全部を覆っている。
【００５９】
プライバシーマスキングモジュール１８は、プライバシーマスクのグラフィック特性をプライバシーマスクコントローラ３０から受信するように構成される。プライバシーマスキングモジュール１８は、再定義されたプライバシーマスクを定義するデータをプライバシーマスク再定義モジュール１６から受信するようにさらに構成される。代替として、または組合せにおいて、プライバシーマスキングモジュール１８は、再定義されたプライバシーマスクを定義するデータをデータストレージ１０から取り出すように構成される。プライバシーマスキングモジュール１８は、再定義されたプライバシーマスク、および受信されたグラフィック特性を画像に適用することによってプライバシーマスクされた画像を生成するようにさらに構成される。
【００６０】
プライバシーマスキングモジュール１８は、プライバシーマスクされた画像に属するデータを符号器１００に送信するように構成される。プライバシーマスクされた画像に属するデータは、好ましくは、デジタルデータである。プライバシーマスクされた画像は、複数のピクセルを備える。したがって、プライバシーマスクされた画像を表すデジタルデータは、ピクセル分割された画像データに分割される。故に、ピクセル分割された画像データは、プライバシーマスクされた画像のピクセルを表す。代替として、または組合せにおいて、プライバシーマスキングモジュール１８は、プライバシーマスクされた画像に属するデータをデータストレージ１０に記憶するように構成される。
【００６１】
符号器インストラクタ２０は、プライバシーマスクされた画像に属するデータ、再定義されたプライバシーマスクを定義するデータ、プライバシーマスクデータ内に位置する１つまたは複数のピクセルを有する符号化ユニットに属するデータをストレージ１０から取り出すように構成される。代替として、または組合せにおいて、符号器インストラクタ２０は、これらのデータのうちの１つまたは複数を、それぞれのデータを生成するように構成されたそれぞれのモジュール１４、１６、１８から受信するように構成される。
【００６２】
符号器インストラクタ２０は、画像を符号化して、ビデオストリームの符号化された画像フレームにするよう符号器１００のための符号化命令を生成するように構成される。符号化命令は、現在の画像フレームまたはいずれの参照画像フレームのいずれのプライバシーマスクの外部のピクセルと関係する画像データに基づいた画像の再定義されたプライバシーマスク内のピクセルの空間予測符号化および時間予測符号化もディセーブルにすることを備える。このため、符号化命令は、再定義されたプライバシーマスクの外部のピクセルと関係する画像データに基づいた画像の再定義されたプライバシーマスク内のピクセルの空間予測符号化をディセーブルにすること、およびビデオストリームにおけるいずれの参照画像フレームのいずれのプライバシーマスクの外部のピクセルと関係する画像データに基づいた画像の再定義されたプライバシーマスク内のピクセルの時間予測符号化もディセーブルにすることを備える。符号化命令は、ビデオストリームにおける参照画像フレームのプライバシーマスクの内部のピクセルと関係する画像データに基づいた画像の再定義されたプライバシーマスク内のピクセルの時間予測符号化を許すことをさらに備え得る。
【００６３】
符号器インストラクタ２０は、時間予測符号化を許すことをプライバシーマスクの分類、および参照画像フレームのプライバシーマスクの分類に基づかせるようにさらに構成され得る。
【００６４】
どのように符号器インストラクタ２０が、時間予測符号化を許すことを分類に基づかせるようにさらに構成され得るかに関して多くのシナリオが存在する。
【００６５】
一例によれば、分類は、プライバシーマスクによってマスクされるべき被写体のタイプを備える。この例において、画像のプライバシーマスクによってマスクされている被写体のタイプと参照画像フレームのプライバシーマスクによってマスクされている被写体のタイプが同一である場合、符号器インストラクタ２０は、参照画像フレームのプライバシーマスクの内部のピクセルと関係する画像データに基づいた画像の再定義されたプライバシーマスク内のピクセルの時間予測符号化を促進するための符号化命令を生成するように構成される。故に、被写体のタイプに基づく分類に関して、同一のタイプの被写体をマスクする２つのプライバシーマスクの間の時間予測符号化が促進される。このことは、符号化をより効率的にするためであり、同時に、それでも、マスクされた区域のプライバシーを確実にする。
【００６６】
別の例によれば、分類は、プライバシーマスクのプライバシーレベルを備える。この例において、画像のプライバシーマスクのプライバシーレベルが参照画像フレームのプライバシーマスクのプライバシーレベルより高い場合、符号器インストラクタ２０は、参照画像フレームのプライバシーマスクの内部のピクセルと関係する画像データに基づいた画像の再定義されたプライバシーマスク内のピクセルの時間予測符号化をディセーブルにするための符号化命令を生成するように構成される。したがって、画像のプライバシーマスクのプライバシーレベルが参照画像フレームのプライバシーマスクのプライバシーレベル以下である場合、符号器インストラクタ２０は、参照画像フレームのプライバシーマスク内部のピクセルと関係する画像データに基づいた画像の再定義されたプライバシーマスク内のピクセルの時間予測符号化を促進するための符号化命令を生成するように構成される。
【００６７】
符号器インストラクタ２０は、符号化命令を符号器１００に送信するようにさらに構成される。
【００６８】
符号器１００は、符号化命令を符号器インストラクタ２０から受信するように構成される。符号器１００は、プライバシーマスクされた画像に属するデータをプライバシーマスキングモジュール１８から受信するようにさらに構成される。代替として、または組合せにおいて、符号器１００は、プライバシーマスクされた画像に属するデータをデータストレージ１０から取り出すようにさらに構成される。符号器１００は、符号化命令によりプライバシーマスクされた画像を符号化するようにさらに構成される。
【００６９】
図３を参照して、複数のピクセルを備える画像を符号化して、ビデオストリームの符号化された画像フレームにするための方法が説明される。方法は、
画像のピクセル分割された画像データを受信すること（Ｓ４００）であって、ピクセル分割された画像データは、画像のピクセルを表すこと、
画像のピクセルを符号化ユニットにグループ化すること（Ｓ４０２）であって、各符号化ユニットは、複数の隣接ピクセルを備えること、
プライバシーマスク、およびプライバシーマスクのグラフィック特性を定義するデータを受信すること（Ｓ４０４）、
プライバシーマスク内に位置する１つまたは複数のピクセルを有するすべての符号化ユニットを識別すること（Ｓ４０６）、
プライバシーマスクを、識別された符号化ユニットと揃えられるように拡張して（Ｓ４０８）、その結果、識別された符号化ユニットを覆う再定義されたプライバシーマスクを形成すること、
再定義されたプライバシーマスク、および受信されたグラフィック特性を画像に適用することによってプライバシーマスクされた画像を生成すること（Ｓ４１０）、および
プライバシーマスクされた画像を符号化して（Ｓ４１２）、ビデオストリームの符号化された画像フレームにすることを備える。符号化する動作Ｓ４１２は、以下の符号化命令、すなわち、
再定義されたプライバシーマスクの外部のピクセルと関係する画像データに基づいた画像の再定義されたプライバシーマスク内のピクセルの空間予測符号化をディセーブルにすること、
ビデオストリームにおけるいずれの参照画像フレームのいずれのプライバシーマスクの外部のピクセルと関係する画像データに基づいた画像の再定義されたマスク内のピクセルの時間予測符号化もディセーブルにすること、および
ビデオストリームにおける参照画像フレームのプライバシーマスクの内部のピクセルと関係する画像データに基づいた画像の再定義されたプライバシーマスク内のピクセルの時間予測符号化を許すことにより実行される。
【００７０】
本方法は、画像のプライバシーマスク、および参照画像フレームのプライバシーマスクがそれぞれのプライバシーマスクの分類にさらに関連付けられた場合、それぞれのプライバシーマスクの分類にさらに基づいた時間予測符号化を許す動作をさらに備え得る。
【００７１】
本方法は、それぞれのプライバシーマスクの分類が、それぞれのプライバシーマスクによってマスクされている被写体のタイプを備える場合、かつ画像のプライバシーマスクによってマスクされている被写体のタイプと参照画像フレームのプライバシーマスクによってマスクされている被写体のタイプが同一である場合、参照画像フレームのプライバシーマスクの内部のピクセルと関係する画像データに基づいた画像の再定義されたプライバシーマスク内のピクセルの時間予測符号化を促進することをさらに備え得る。
【００７２】
本方法は、それぞれのプライバシーマスクの分類がそれぞれのプライバシーマスクのプライバシーレベルを備える場合、かつ画像のプライバシーマスクのプライバシーレベルが参照画像フレームのプライバシーマスクのプライバシーレベルより高い場合、参照画像フレームのプライバシーマスクの内部のピクセルと関係する画像データに基づいた画像の再定義されたプライバシーマスク内のピクセルの時間予測符号化をディセーブルにすることをさらに備え得る。
【００７３】
本発明は、前述した好ましい実施形態にはまったく限定されないことが当業者には認識される。それどころか、多くの変形形態および変更形態が、添付の特許請求の範囲の範囲内で可能である。
【００７４】
例えば、符号器インストラクタ２０は、画像の再定義されたプライバシーマスクの内部のピクセルと関係する画像フレームデータに基づいた画像の再定義されたプライバシーマスク内のピクセルの空間予測符号化を許す符号化命令を生成するようにさらに構成され得る。
【００７５】
プライバシーマスクが複数の下位のプライバシーマスク領域を備える場合、符号器インストラクタ２０は、画像の異なる下位の再定義されたプライバシーマスクのピクセルと関係する画像データに基づく空間予測符号化をディセーブルにする符号化命令を生成するようにさらに構成され得る。しかし、この事例において、符号器インストラクタ２０は、画像の下位の再定義されたプライバシーマスクの内部のピクセルと関係する画像フレームデータに基づく画像の下位の再定義されたプライバシーマスク内のピクセルの空間予測符号化を許す符号化命令を生成するようにさらに構成され得る。
【００７６】
さらに、符号器インストラクタ２０は、プライバシーマスクの符号化に関して新規の開始を強制するために新たなプライバシーマスクが生成される場合、新たなＩフレームを生成する符号化命令を生成するようにさらに構成され得る。
【００７７】
さらに、符号器インストラクタ２０は、プライバシーマスクの境界上でブロック解除することを許さない符号化命令を生成するようにさらに構成され得る。
【００７８】
加えて、開示される実施形態の変更形態が、図面、本開示、および添付の特許請求の範囲の検討から、請求される発明を実施する際に当業者によって理解され、実施され得る。
【符号の説明】
【００７９】
２  回路
１０  データストレージ
１２  ピクセルグループ化モジュール
１４  符号化ユニットモジュール
１６  プライバシーマスク再定義モジュール
１８  プライバシーマスキングモジュール
２０  符号器インストラクタ
２１  データバス
２２  中央処理装置（ＣＰＵ）
３０  プライバシーマスクコントローラ
３２  ビデオ解析モジュール
１００  符号器
２００  符号化システム
【図１】
2018137730.tif 000003
【図２Ａ】
2018137730.tif 000004
【図２Ｂ】
2018137730.tif 000005
【図３】
2018137730.tif 000006
【外国語明細書】
2018137730000001.pdf
2018137730000002.pdf
2018137730000003.pdf
2018137730000004.pdf