(57)【要約】【課題】人物の画像が背景化することによりプライバシーを保護できなくなることを低減する。【解決手段】画像生成装置は、入力画像に含まれる動体に基づいて生成された前景マスク画像が背景画像に重畳された出力画像を生成する生成部と、背景画像の内の少なくとも一部の領域を入力画像に基づいて更新する更新処理を行う更新部と、出力画像における少なくとも一部の領域である抑制領域において、他の領域よりも更新処理が反映されることを抑制する抑制部と、を有する。【選択図】図５
2018148368.tif 000002
【特許請求の範囲】
【請求項１】
入力画像に含まれる動体に基づいて生成された前景マスク画像が背景画像に重畳された出力画像を生成する生成手段と、
前記背景画像の内の少なくとも一部の領域を前記入力画像に基づいて更新する更新処理を行う更新手段と、
前記出力画像における少なくとも一部の領域である抑制領域において、他の領域よりも前記更新処理が反映されることを抑制する抑制手段と、を有することを特徴とする画像生成装置。
【請求項２】
ユーザによる操作に基づいて前記抑制領域を設定する設定手段をさらに有することを特徴とする請求項１に記載の画像生成装置。
【請求項３】
前記入力画像に含まれる人体領域を検出する検出手段を有し、
前記抑制手段は、前記検出手段によって検出された人体領域を前記抑制領域とすることを特徴とする請求項１または２に記載の画像生成装置。
【請求項４】
前記入力画像は、撮像装置によって撮影されているストリーム画像であることを特徴とする請求項１乃至３のいずれか１項に記載の画像生成装置。
【請求項５】
前記入力画像は、撮像装置によって過去に撮影され格納された画像であることを特徴とする請求項１乃至３のいずれか１項に記載の画像生成装置。
【請求項６】
前記抑制領域は前記他の領域よりも長い背景化時間が設定される領域であることを特徴とする請求項１乃至５のいずれか1項に記載の画像生成装置。
【請求項７】
前記抑制手段は、前記抑制領域に対して、ぼかし処理及びモザイク処理の少なくともいずれかを施すことによって、前記更新処理が反映されることを抑制することを特徴とする請求項１乃至６のいずれか１項に記載の画像生成装置。
【請求項８】
前記抑制手段は、前記抑制領域において、前記更新処理が行われないようにすることで、前記更新処理が反映されることを抑制することを特徴とする請求項１乃至７のいずれか１項に記載の画像生成装置。
【請求項９】
画像生成装置の制御方法であって、
入力画像に含まれる動体に基づいて生成された前景マスク画像が背景画像に重畳された出力画像を生成する生成工程と、
前記背景画像の内の少なくとも一部の領域を前記入力画像に基づいて更新する更新処理を行う更新工程と、
前記出力画像における少なくとも一部の領域である抑制領域において、他の領域よりも前記更新処理が反映されることを抑制する抑制工程と、を有することを特徴とする画像生成装置の制御方法。
【請求項１０】
コンピュータを、請求項１乃至８のいずれか１項に記載された画像生成装置の各手段として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像生成装置およびその制御方法に関し、特に、プライバシー保護画像を生成する技術に関する。
【背景技術】
【０００２】
監視カメラの設置が広まる一方で、監視カメラ映像に映る個人のプライバシーを保護することの重要性が高まっている。特許文献１では、入力画像から人物の画像である前景画像と人物のいない背景画像とを生成し、前景画像にマスク処理やフィルタ処理を行った画像を背景画像に重畳することによってプライバシーを保護する技術が記載されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００９−２２５３９８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
特許文献１は、保護対象となる目的の人物が存在しない状態で背景画像が作成されることを前提としている。人物が存在する状態で監視カメラ映像より背景画像が作成された場合、背景画像にその人物の画像が含まれてしまう。すなわち、当該人物の画像は背景と判別され、前景画像として生成されない。結果、当該人物のプライバシーを保護できない場合がある。また、椅子に座るなどして人物が長時間静止したことにより人物領域が時間の経過と共に背景化する場合がある。そのような場合も、その人物領域が保護対象の領域とならず、当該人物のプライバシーを保護できなくなってしまう。
【０００５】
本発明は上述した問題を解決するためになされたものであり、人物の画像が背景化することによりプライバシーを保護できなくなることを低減することを目的とする。
【課題を解決するための手段】
【０００６】
本発明の一態様による画像生成装置は以下の構成を備える。すなわち、
入力画像に含まれる動体に基づいて生成された前景マスク画像が背景画像に重畳された出力画像を生成する生成手段と、
前記背景画像の内の少なくとも一部の領域を前記入力画像に基づいて更新する更新処理を行う更新手段と、
前記出力画像における少なくとも一部の領域である抑制領域において、他の領域よりも前記更新処理が反映されることを抑制する抑制手段と、を有する。
【発明の効果】
【０００７】
本発明によれば、人物の画像が背景化することによりプライバシーを保護できなくなってしまうことを低減することができる。
【図面の簡単な説明】
【０００８】
【図１】プライバシー保護画像の生成原理を説明するための図。
【図２】第１実施形態におけるプライバシー保護画像の生成方法を説明する図。
【図３】第１実施形態における映像生成装置の機能構成例を示すブロック図。
【図４】第１実施形態の映像生成装置による処理手順を示すフローチャート。
【図５】プライバシー保護領域の設定画面例を示す図。
【図６】プライバシー保護領域の設定動作を示すフローチャート。
【図７】第２実施形態におけるプライバシー保護領域の設定画面例を示す図。
【図８】第２の実施形態の映像生成装置の機能構成例を示すブロック図。
【図９】人体検出に基づく初期マスク領域の登録処理を示すフローチャート。
【図１０】マスク領域毎に背景化速度を制御する処理を示すフローチャート。
【図１１】映像生成装置のハードウェア構成例を示すブロック図。
【発明を実施するための形態】
【０００９】
以下、添付の図面を参照して、実施形態について詳細に説明する。なお、以下の実施形態において示す構成は一例に過ぎず、本発明は、実施形態で示された構成に限定されるものではない。
【００１０】
＜第１実施形態＞
本実施形態は、検出した動体領域をシルエット化して、背景画像に重畳するプライバシー保護画像生成手法において、動体検出困難な領域を事前に指定する。そして、当該領域の初期背景画像をぼかした保護画像を事前に準備し、プライバシー保護画像生成時に、その時点の背景画像に重畳する。その後シルエット画像を透過重畳することによってプライバシー保護画像を生成する。
【００１１】
図１はプライバシー保護画像の生成原理を示す模式図である。（１１ａ）、（１１ｂ）、（１１ｃ）、（１１ｄ）は、それぞれ時刻ｔ１における、入力画像１１０、背景画像１３０、前景マスク画像１５０、出力画像としてのプライバシー保護画像１７０である。同様に、（１２ａ）、（１２ｂ）、（１２ｃ）、（１２ｄ）は、それぞれ時刻ｔ２における、入力画像１２０、背景画像１４０、前景マスク画像１６０、出力画像としてのプライバシー保護画像１８０である。
【００１２】
時刻ｔ１の入力画像１１０と時刻ｔ２の入力画像１２０には人物１１１と人物１１２が存在する。人物１１１は入力画像１１０（時刻ｔ１）と入力画像１２０（時刻ｔ２）において移動している。これに対し、人物１１２は静止しており、その位置姿勢が入力画像１１０と入力画像１２０でほぼ同じに保たれている。
【００１３】
背景画像１３０，１４０は、入力画像に基づいて周知の方法で生成された背景モデルから生成される。人物１１１の位置は時刻ｔ１〜時刻ｔ２の間で移動しており、動体と判別される。そのため、背景画像１３０，１４０の両方に人物１１１の画像は出現していない。一方、人物１１２は時刻ｔ１から時刻ｔ２に至るまで静止したままなので、時刻ｔ２において背景１４２と判別される。すなわち、所定の時間にわたって静止し続けた物体（移動しない物体）は背景の一部とみなされ、その物体の画像が背景画像に現れる。これを背景化といい、上記の所定の時間を背景化時間という。
【００１４】
時刻ｔ１の前景マスク画像１５０は入力画像１１０と背景画像１３０に基づいて生成される。たとえば、入力画像１１０と背景画像１３０の比較により、動体領域を抽出し、抽出した動体領域を所定のパターンに変換することで前景マスク１５１，１５２を含む前景マスク画像１５０が得られる。時刻ｔ２の前景マスク画像１６０では、入力画像１２０と背景画像１４０の比較により、前景マスク１６１が生成されている。前景マスク画像１６０では、人物１１２が背景１４２として背景画像１４０の一部になっているため、人物１１２に対応する前景マスクは存在しない。
【００１５】
時刻ｔ１におけるプライバシー保護画像１７０は、前景マスク画像１５０を背景画像１３０に透過重畳して生成される。従って、時刻ｔ１のプライバシー保護画像１７０では、人物１１１、１１２がシルエット化された画像１７１，画像１７２として表示され、プライバシー保護される。対して、時刻ｔ２におけるプライバシー保護画像１８０は、前景マスク画像１６０を背景画像１４０に透過重畳して生成される。そのため、人物１１１はシルエット化された画像１８１として表示されることによりプライバシー保護されるが、人物１１２はプライバシー保護されずに背景１４２として表示されてしまう。
【００１６】
図２は、上記のような課題（人物１１２がプライバシー保護されないこと）を解決するための、本実施形態によるプライバシー保護画像の生成原理を示す模式図である。図１と同様に、（２１ａ）、（２１ｂ）、（２１ｃ）、（２１ｄ）は、それぞれ入力画像２１０、背景画像２２０、前景マスク画像２３０、プライバシー保護画像２４０である。入力画像２１０の人物２１１は、移動しており、背景画像２２０には現れない。結果、前景マスク画像２３０において人物２１１に対応する前景マスク２３１が生成される。そのため、プライバシー保護画像２４０において、人物２１１はシルエット化された画像２４１として表示され、プライバシー保護される。
【００１７】
一方、入力画像２１０中の人物２１２は、例えば椅子に座っていることから、長時間（背景化時間を超えて）静止状態にあるものとする。なお、静止状態とは、領域の変化量が所定閾値未満である場合をいう。この場合、入力画像２１０における人物２１２の画像は背景化され、背景画像２２０に人物２１２の画像２２１が現れる。前景マスク画像２３０において人物２１２の前景マスクは生成されず、人物２１２のプライバシー保護ができなくなる。
【００１８】
本実施形態では、人物２１２のプライバシー保護を実現するために、人物２１２を含む部分領域を部分画像２１３として入力画像２１０から切り出し、背景マスク画像２１４を生成する。背景マスク画像２１４は、ぼかしまたはモザイク処理が施され、プライバシーが保護された状態となっている。プライバシー保護画像２４０は、背景画像２２０に対して背景マスク画像２１４を重畳し、その後、前景マスク画像２３０を透過重畳することにより生成される。その結果、人物２１１はシルエット化された画像２４１として表示され、人物２１２はモザイク化された画像２４２に含まれる。結果として、人物２１１，２１２のいずれに対してもプライバシー保護がなされる。
【００１９】
以上のように、部分画像２１３に対応するプライバシー保護画像２４０の部分領域は、背景画像への更新結果（背景画像２２０に現れた画像２２１）の反映が抑制されることになる。このように、背景画像の更新の反映が抑制される領域を抑制領域と称する。
【００２０】
図３は、第１実施形態による、画像生成装置としての映像生成装置３００の機能構成例を示すブロック図である。映像生成装置３００は、画像取得部３０１、背景モデル更新部３０２、前景背景判別部３０３、マスク画像生成部３０４、背景画像生成部３０５、画像合成部３０６、出力部３０７、パラメータ設定部３０８を有する。
【００２１】
画像取得部３０１は、撮像装置によって撮像された撮像画像を入力画像２１０として取得する。入力画像の取得フォーマットや取得方法に何ら制約はない。たとえば、入力画像は、静止画ファイル、動画ファイル、ストリーム画像など、いかなるフォーマットで取得されてもよいし、その取得方法もネットワーク、メモリカードなどの記録媒体などいかなる形態でもよい。なお、ストリーム画像を取得する場合は、撮像装置によって現在撮影されている撮像画像が取得されることにある。また、静止画ファイル、動画ファイルの場合は、入力画像は、撮像装置によって過去に撮影され、記憶装置に格納された画像となる。
【００２２】
背景モデル更新部３０２は、画像取得部３０１により取得された入力画像２１０をもとに背景モデルを更新する更新処理を行う。前景背景判別部３０３は直前の入力画像と背景モデルを比較して、部分領域毎に前景と背景を判別する。この判別処理では入力画像の画像特徴量と背景モデルの画像特徴量とを比較する。比較される画像特徴量としては、画素単位の輝度値やブロック単位の周波数成分などがあり、また、それらを多重に持つ方式がある。この判別処理はいわゆる背景差分処理であり、いかなる方式の背景差分処理が用いられてもよい。
【００２３】
マスク画像生成部３０４は、前景背景判別部３０３による前景背景の判別結果に基づいて、前景マスク画像２３０を生成する。これは例えば動体領域（前景）を単色のシルエットとする処理である。背景画像生成部３０５は背景モデルから背景画像２２０を生成する。また、背景画像生成部３０５は、パラメータ設定部３０８が入力画像２１０から生成した背景マスク画像２１４を、背景モデルから生成した背景画像２２０に重畳し、プライバシーが保護された背景画像を生成する。なお、背景マスク画像２１４の合成は、画像合成部３０６で行われてもよい。
【００２４】
画像合成部３０６は、背景マスク画像が重畳された背景画像に、マスク画像生成部３０４が生成した前景マスク画像を透過重畳することによりプライバシー保護画像を生成する。あるいは入力画像の前景マスク領域に対応する部分をぼかして、背景に透過重畳する。出力部３０７は、画像合成部３０６で生成されたプライバシー保護画像を出力する。出力方法としては、ディスプレイへの表示、ファイルへの保存、ネットワーク配信などが挙げられる。ただし、出力部３０７の出力方式は特定の出力方式に限定されるものではない。なお、上述のように画像合成部３０６が背景マスク画像を合成するようにしてもよい。その場合、画像合成部３０６は、（背景マスク画像が重畳されていない）背景画像に前景マスク画像を透過重畳するとともに、背景マスク画像２１４を対応する位置に重畳してプライバシー保護画像を生成する。
【００２５】
パラメータ設定部３０８は背景モデル更新部３０２、背景画像生成部３０５のパラメータを設定する。また、パラメータ設定部３０８は、図５などにより後述するユーザインターフェースを提供し、ユーザに抑制領域を設定させる。パラメータ設定部３０８は、入力画像２１０から設定された抑制領域に対応する部分画像２１３を取得し、取得した部分画像にぼかし処理を施して背景マスク画像２１４を準備する。上述のように、背景画像生成部３０５は、背景画像２２０に背景マスク画像２１４を重畳、あるいは、背景画像２２０の抑制領域に対応する部分領域を背景マスク画像２１４で置き換える。
【００２６】
図１１は、映像生成装置３００のハードウェア構成の一例を示す図である。映像生成装置３００は、ＣＰＵ１１、ＲＯＭ１２、ＲＡＭ１３、表示装置１４、入力装置１５、外部メモリ１６、通信Ｉ／Ｆ１７、システムバス１８を備える。
【００２７】
ＣＰＵ１１は、映像生成装置３００における動作を統括的に制御するものであり、システムバス１８を介して、各構成部（１２〜１７）を制御する。ＲＯＭ１２は、ＣＰＵ１１が処理を実行するために必要な制御プログラム等を記憶する不揮発性メモリである。なお、当該プログラムは、外部メモリ１６や着脱可能な記憶媒体に記憶されていてもよい。ＲＡＭ１３は、ＣＰＵ１１の主メモリ、ワークエリア等として機能する。すなわち、ＣＰＵ１１は、処理の実行に際してＲＯＭ１２または外部メモリ１６から必要なプログラム等をＲＡＭ１３にロードし、当該プログラム等を実行することで、例えば図３により上述した各種の機能部を実現する。
【００２８】
表示装置１４は例えば液晶表示装置であり、ＣＰＵ１１の制御下で各種表示を行う。たとえば、図５により後述される設定ダイアログ画面は表示装置１４に表示される。入力装置１５は映像生成装置３００に対してユーザ操作を入力する。入力装置１５はマウスなどのポインティングデバイスを備える。外部メモリ１６は、例えば、ＣＰＵ１１がプログラムを用いた処理を行う際に必要な各種データや各種情報等を記憶している。また、外部メモリ１６には、例えば、ＣＰＵ１１がプログラム等を用いた処理を行うことにより得られた各種データや各種情報等が記憶される。
【００２９】
通信Ｉ／Ｆ１７は、外部装置と通信するためのインターフェースである。通信Ｉ／Ｆ１７は、例えばＬＡＮインターフェースである。本実施形態では、通信Ｉ／Ｆ１７はＬＡＮなどのネットワーク２１と接続し、ネットワーク２１に接続された撮像装置２２やサーバ２３から撮像画像を取得する。なお、撮像装置２２としては、たとえばネットワークカメラが想定される。システムバス１８は、ＣＰＵ１１、ＲＯＭ１２、ＲＡＭ１３、表示装置１４、入力装置１５、外部メモリ１６、通信Ｉ／Ｆ１７を通信可能に接続する。
【００３０】
以上のような構成を備えた映像生成装置３００の動作について、以下、説明する。
【００３１】
図４は第１実施形態によるプライバシー保護画像の生成手順を示すフローチャートである。以下、図４のフローチャートと図２に示した画像を用いてプライバシー保護画像の生成手順を説明する。まず、Ｓ４０１で画像取得部３０１が入力画像２１０を取得する。次にＳ４０２で背景モデル更新部３０２が、取得した入力画像２１０に基づいて背景モデルを更新する。続いてＳ４０３で、前景背景判別部３０３が、背景モデルと入力画像２１０の特徴量を比較して背景前景判別を行う。Ｓ４０４でマスク画像生成部３０４が背景前景判別の結果として得られた前景画像に基づいてから前景マスク画像２３０を生成する。また、パラメータ設定部３０８が入力画像２１０から抑制領域に対応する部分画像２１３を切り出し、これにぼかし処理を施して背景マスク画像２１４を生成する。なお、背景マスク画像２１４の生成は、Ｓ４０１における画像取得以降、後述のＳ４０６（画像合成）までの間であればどのタイミングで行われてもよく、Ｓ４０２〜Ｓ４０５と並列に実行されてもよい。
【００３２】
続いて、Ｓ４０５で背景画像生成部３０５が背景モデルから背景画像２２０を生成する。Ｓ４０６では、まず、背景画像生成部３０５が背景画像２２０に背景マスク画像２１４を重畳し、次いで、画像合成部３０６が背景画像２２０と前景マスク画像２３０を透過重畳する。続いてＳ４０７で出力部３０７がその合成結果を出力する。最後にＳ４０８で、処理終了判定を行い、終了する場合はＹ分岐してソフトウェアの処理を終了する。なお、処理終了は、例えばユーザによる撮影の停止指示などである。終了しない場合、処理はＳ４０１に戻り、上述の処理が繰り返される。以上の処理は特定のＯＳやプラットフォームに依存するものでないことは言うまでもない。
【００３３】
図５は、第１実施形態のパラメータ設定部３０８が提供する抑制領域の設定画面例である。設定ダイアログ５００は画像表示部５１０、ボタン配置部５３０を含む。画像表示部５１０に表示される画像は不図示の別の設定ダイアログによって、初期背景画像、入力画像など、任意の画像を指定できる。なお、初期背景画像とは、画像取得部３０１が一連の画像の取得を開始してから最初に生成された背景画像であり、画像取得部３０１が最初に取得した画像であってもよい。
【００３４】
追加ボタン５３１または５３２を押下すると、ユーザは領域指定コントロール５２１を操作することが可能になる。領域指定コントロール５２１は始点５２２と複数の頂点５２３から構成され、ユーザはこれらを用いて多角形の領域を抑制領域として指定することが可能である。始点、頂点はマウスなどのポインティングデバイスを用いた画面上の位置指定により移動、追加することができる。マウスポインタにより再び始点５２２が指定されると、多角形の抑制領域が確定する。その結果はたとえば抑制領域５２０のように表示される。
【００３５】
本実施形態では抑制領域の効果は２種類ある。追加ボタン５３１による抑制領域の効果は、指定された抑制領域にぼかし処理を適用することにより、当該領域における背景画像の更新を抑制する。この方式は、上述した背景マスク画像２１４の生成方式であり、たとえば、入力画像の抑制領域に対応する部分画像にぼかし処理を適用することで背景マスク画像２１４が生成される。他方、追加ボタン５３２による抑制領域の効果は、指定された抑制領域の画像をそのまま用いることで背景画像の更新を抑制することである。たとえば、初期背景画像において抑制領域５２０を指定すると、初期背景画像の抑制領域５２０に対応する部分画像が背景マスク画像２１４として用いられる。
【００３６】
削除ボタン５３３が押下されると、選択されている抑制領域の設定が削除される。抑制領域の選択は、たとえば、抑制領域内の任意の位置をマウスポインタにより指定することでなされる。ＯＫボタン５４１が押下されると、抑制領域の設定を保存される。キャンセルボタン５４２が押下されると、抑制領域の設定は保存せずに設定ダイアログ５００が終了する。この場合、設定ダイアログ５００の起動前の設定状態が維持される。
【００３７】
図６は設定ダイアログ５００に関わる処理を示すフローチャートである。設定ダイアログ５００の起動が指示されると、パラメータ設定部３０８は、不図示の初期化を行い、設定ダイアログ５００を表示する。次にＳ６１０で、パラメータ設定部３０８は操作イベントの入力を待つ。操作イベント入力が生じると、パラメータ設定部３０８はイベント判別を行う。
【００３８】
まずＳ６１１で抑制領域の追加イベントであると判定された場合、Ｓ６１２で、パラメータ設定部３０８は抑制領域の追加処理を行う。これは、追加ボタン５３１，５３２の押下操作と、これに続く領域指定コントロール５２１の操作によって多角形の領域を生成する処理である。ここでマスクの種別（ぼかし、無処理）に関する処理は同一であるため、まとめて図示する。
【００３９】
マスク追加イベントでない場合は、Ｓ６１３で抑制領域の削除イベントか否かが判定される。削除イベントであると判定された場合、Ｓ６１４で、パラメータ設定部３０８は選択されている抑制領域マスク削除処理を行う。これは、削除ボタン５３３の押下操作に応じた処理である。
【００４０】
抑制領域削除イベントでない場合は、Ｓ６１５で抑制領域選択イベントであるか否かが判定される。抑制領域選択イベントであると判定された場合、Ｓ６１６で、パラメータ設定部３０８は、ユーザからの指示に応じて領域指定コントロール５２１の始点５２２、頂点５２３を編集する（移動する）。抑制領域選択イベントは画面上の既存の抑制領域（たとえば抑制領域５２０）をマウスポインタで指定することにより生じる。なお、上述のＳ６１４で削除の対象となる抑制領域は、たとえばＳ６１５の抑制領域選択によって選択された抑制領域である。
【００４１】
抑制領域選択イベントでない場合、Ｓ６１７でＯＫボタン押下イベント（ＯＫボタン５４１の押下で発生したイベント）か否かが判定される。ＯＫボタン押下イベントの場合、Ｓ６１８で、パラメータ設定部３０８は、設定ダイアログ５００における現在の設定を確定する。そして、パラメータ設定部３０８は、設定ダイアログ５００を消去し、ダイアログを終了する。ＯＫボタン押下イベントでない場合、Ｓ６２１でキャンセルボタン押下イベント（キャンセルボタン５４２の押下で発生したイベント）か否かが判定される。キャンセルボタン押下イベントの場合、Ｓ６１９において、パラメータ設定部３０８は、設定状態を更新することなくダイアログを終了する。
【００４２】
以上のような第１実施形態によれば、背景差分に基づくプライバシー保護画像の生成において、常に保護表示する領域として、背景画像の入力画像に基づく更新の反映が抑制される抑制領域が指定される。これにより、前景背景判別結果によらず、例えば、長時間静止している人物のプライバシー保護表示が可能である。
【００４３】
＜第２実施形態＞
第１実施形態では、設定ダイアログ５００においてユーザが抑制領域を指定する構成を説明したが、抑制領域の設定方法はこれに限られるものではない。第２実施形態では、抑制領域の設定方法の他の一例として、人体領域を抑制領域として自動的に追加する構成を説明する。
【００４４】
図７は第２実施形態における設定ダイアログ５００の初期状態の例である。第１実施形態との違いは、自動追加ボタン７３４が設けられたことである。自動追加ボタン７３４が押下されると、画像表示部５１０に表示されている画像について人体検出処理が実行され、検出された人体領域７１１、７１２が候補領域として示される。この状態で、ＯＫボタン５４１が押下されると、パラメータ設定部３０８は、人体領域７１１と人体領域７１２を抑制領域として登録する。また、ユーザは、不要な候補領域を削除することができる。たとえば、人体領域７１２を指定して削除ボタン５３３を押下することで、人体領域７１１のみを抑制領域として設定することができる。ユーザは、領域指定コントロール５２１を操作して抑制領域を特定する必要がなく、抑制領域の設定操作が簡略化される。
【００４５】
図８は第２実施形態による映像生成装置３００の機能構成例を示すブロック図である。第１実施形態との違いは人体検出部８１０が追加され、その検出結果に基づいて抑制領域の設定が行われることである。
【００４６】
図９は、人体検出部８１０とパラメータ設定部３０８による抑制領域の自動設定処理を示すフローチャートである。自動追加ボタン７３４の押下により本処理が開始されると、Ｓ９０１で、人体検出部８１０は画像を取得する。画像は、画像表示部５１０に表示される画像であり、ここでは、画像取得部３０１により取得された入力画像である。Ｓ９０２において、人体検出部８１０は、Ｓ９０１で取得した画像から人体検出を行う。そして、Ｓ９０３において、人体検出部８１０は、検出した人体に対する追尾処理を行う。ここで人体検出は、人画像を用いたパターンマッチングの手法、特徴量に基づく手法、機械学習に基づく手法などが適用可能であり、特定の人体検出手法に依存しない。次に誤検出を防止するために、Ｓ９０４で人体検出部８１０は、所定のフレーム数以上追尾が行われた人体を抽出する。Ｓ９０５において、パラメータ設定部３０８は、抽出された人体の領域を候補領域として登録する。
【００４７】
候補領域に登録にあたっては、追尾結果を確認して、動き量が所定値より少ない人体に限定することも可能である。これによりたとえば図７において、動きのない人物に対応する人体領域７１１の周囲をマスク領域として自動登録し、動きのある人物に対応する人体領域７１２を対象から除外することができる。
【００４８】
以上述べたように、第２実施形態によれば、プライバシー保護画像における表示用背景画像の設定において、プライバシー保護の効果の高い領域を抑制領域として簡便に設定することができる。
【００４９】
＜第３実施形態＞
第１、第２実施形態では、抑制領域の画像にぼかし処理またはモザイク処理を加えた画像を背景マスク画像として用いることにより、あるいは、初期背景画像の抑制領域に対応する部分画像を背景マスク画像として用いることにより、プライバシー保護を図った。第３実施形態では、抑制領域における背景化時間を他の領域よりも長く設定することにより、抑制領域におけるプライバシー保護を図る。
【００５０】
すなわち、第３実施形態では、領域毎に異なる背景化時間を設定することにより、プライバシー保護効果を継続する。例えば、椅子の周辺など現時点では画像中に静止人物は存在しないが、将来存在しそうな領域をマスク領域として設定し、背景化時間を周辺領域より長く設定する。椅子に人物が座ってから、当該人物が背景化するまでの時間は周辺領域よりも長いので、長時間、プライバシー保護効果が継続する。
【００５１】
第３実施形態の機能構成は第１実施形態（図３）と同様である。また設定ダイアログも第１実施形態（図５）と同様である。以下、抑制領域に設定された領域に対する処理について説明する。上述したように、第１、第２実施形態は表示用の背景画像を加工する（背景マスク画像を重畳する）ことでプライバシー保護を行うが、第３実施形態は背景モデルの背景化速度を領域単位で変更することでプライバシー保護を行う。
【００５２】
背景化速度について説明する。背景差分方式では、入力画像から特徴量を抽出し、背景モデルと重み付きで混合する。このとき既存背景の寄与率を高くすることによって、背景化を遅くできる。従って、背景化速度とは背景モデルに対する入力画像の寄与率と定義できる。ここで寄与率をゼロにすると、完全な固定背景が選択される。
【００５３】
図１０は、第３実施形態の背景モデル更新部３０２による背景差分処理を示すフローチャートである。Ｓ１００１において、背景モデル更新部３０２は、入力画像を取得する。次のＳ１００２の処理では、画像中の全ての部分領域に対してＳ１００３からＳ１００６が実行される。Ｓ１００３において、背景モデル更新部３０２は、初期値として規定の背景化速度を適用する。次にＳ１００４において、背景モデル更新部３０２は、対象の部分領域が抑制領域に所属するか否かを判別する。たとえば、部分領域の５０％以上が抑制領域に含まれている場合に、その部分領域は抑制領域に属すると判定される。対象の部分領域が抑制領域に属していれば、背景モデル更新部３０２は、Ｓ１００５で抑制領域用の背景化速度（他の領域よりも遅い背景化速度）を適用する。最後に、Ｓ１００６において、設定された背景化速度に基づいて当該部分領域の背景モデルを更新する。こうして、抑制領域に属する部分領域には、他の領域よりも遅い背景化速度が適用されることになる。
【００５４】
以上述べたように、第３実施形態によれば、プライバシー保護の対象となる抑制領域の背景化時間を長く設定することができる。これにより、抑制領域において長時間静止している人物の背景化が遅くなり、結果としてプライバシーを保護できる。
【００５５】
（変形例）
第３実施形態では、ユーザにより設定された抑制領域について背景化時間を他の領域よりも長くするようにしたが、第２実施形態のように人体検出の結果に基づいて抑制領域が設定されてもよいことは言うまでもない。この場合、所定の閾値よりも長い時間にわたって人体を検出した領域を抑制領域とし、他の領域よりも長い背景化速度を設定する。また、第２実施形態では現在の映像を対象に、人体検出に基づく背景マスク候補領域を求めたがこれに限られるものではない。過去の録画映像に対して人体検出を行って抑制領域の設定を行うようにしてもよい。その場合、過去の録画映像において人体が検出された時間の累積値が所定の閾値を超える領域を抑制領域に設定するようにしてもよい。また、第３実施形態ではこのようにして設定された抑制領域に対して他の領域よりも長い背景化時間を設定するようにしてもよい。このようにすれば、過去において人体が頻回に人体が検出された領域において人物画像の背景化が抑制され、より正しいプライバシー保護を生成できる。
【００５６】
＜その他の実施形態＞
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
【符号の説明】
【００５７】
３００:映像生成装置、３０１：画像取得部、３０２：背景モデル更新部、３０３：前景背景判別部、３０４：保護画像生成部、３０５：背景画像生成部、３０６：画像合成部、３０８：パラメータ設定部、３１０：人体検出部
【図１】
2018148368.tif 000003
【図２】
2018148368.tif 000004
【図３】
2018148368.tif 000005
【図４】
2018148368.tif 000006
【図５】
2018148368.tif 000007
【図６】
2018148368.tif 000008
【図７】
2018148368.tif 000009
【図８】
2018148368.tif 000010
【図９】
2018148368.tif 000011
【図１０】
2018148368.tif 000012
【図１１】
2018148368.tif 000013