(57)【要約】【課題】プライバシーマスクの挿入が自動的に行えるとともに、ベース動画像への復元を可能とする、動画像分離装置、動画像結合装置および動画像分離・結合システムを提供する。【解決手段】動画像分離装置１は、プライバシー画像領域検出部１１が、入力されたベース動画像から、画像辞書１３に予め登録されている顔画像との一致度が予め設定した閾値以上となる領域をプライバシー画像領域として検出し、動画像分離部１２が、ベース動画像を、プライバシー画像領域検出部１１により検出されたプライバシー画像領域の画像で形成されるプライベート動画像と、上述のプライバシー画像領域以外の領域の画像で形成されるパブリック動画像と、に分離する。【選択図】図１
2009239718.tif 000002
【特許請求の範囲】
【請求項１】
入力されたベース動画像から、予め設定されたプライバシー情報を含むプライバシー画像領域の位置と範囲を検出するプライバシー画像領域検出手段と、
前記ベース動画像を、前記プライバシー画像領域検出手段により検出された前記プライバシー画像領域の画像で形成されるプライベート動画像と、前記プライバシー画像領域以外の領域の画像で形成されるパブリック動画像と、に分離する動画像分離手段と
を備えることを特徴とする動画像分離装置。
【請求項２】
前記プライバシー画像領域検出手段が、
画像辞書に予め登録されている顔画像との一致度が予め設定した閾値以上となる領域を前記プライバシー画像領域として検出する
ことを特徴とする請求項１に記載の動画像分離装置。
【請求項３】
前記動画像分離手段が、
前記ベース動画像の前記プライバシー画像領域以外の領域の輝度および色差の値をともに０とした画像を前記プライベート動画像として出力し、
前記ベース動画像の前記プライバシー画像領域の輝度および色差の値をともに０とした画像を前記パブリック動画像として出力する
ことを特徴とする請求項１または２に記載の動画像分離装置。
【請求項４】
予め設定されたプライバシー情報を含むプライバシー画像領域の画像で形成されるプライベート動画像と、前記プライバシー画像領域以外の領域の画像で形成されるパブリック動画像とが入力され、
前記パブリック動画像の前記プライバシー画像領域に前記プライベート動画像の前記プライバシー画像領域の画像を結合する動画像結合手段
を備えることを特徴とする動画像結合装置。
【請求項５】
入力されたベース動画像を、予め設定されたプライバシー情報を含むプライバシー画像領域の画像で形成されるプライベート動画像と、前記プライバシー画像領域以外の領域の画像で形成されるパブリック動画像と、に分離する動画像分離装置と、
前記プライベート動画像のコピー制御付き符号化を行ってプライベート動画像符号化ストリームの生成、および前記パブリック動画像の符号化を行ってパブリック動画像符号化ストリームの生成を行う符号化装置と、
前記プライベート動画像符号化ストリームのコピー制御付き復号化を行って復号化プライベート動画像の生成、および前記パブリック動画像符号化ストリームの復号化を行って復号化パブリック動画像の生成を行う復号化装置と、
前記復号化プライベート動画像と前記復号化パブリック動画像が入力されて、
前記復号化パブリック動画像の前記プライバシー画像領域に前記復号化プライベート動画像の前記プライバシー画像領域の画像を結合して復号化ベース動画像を出力する動画像結合手段と
を備えることを特徴とする動画像分離・結合システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、動画像分離装置、動画像結合装置および動画像分離・結合システムに関する。
【背景技術】
【０００２】
近年、デジタルカメラや携帯型端末に搭載のカメラなどの小型動画撮影装置の普及により、手軽に動画像を撮影することが可能になってきた。また、電子メールでの送信やウェッブサイトへの登録などにより、撮影した動画像を配信することも容易に行えるようになっている。その反面、本来は個人的な情報であるはずの人物画像が、撮影者の意図する範囲を超えて流布され、被写体人物のプライバシーが侵害される恐れも大きくなっている。
【０００３】
そこで、従来、被写体のプライバシー保護のため、撮像した被写体の画像につき出力画面上において遮蔽するための遮蔽画像領域を生成し、当該被写体の画像に対して遮蔽画像領域が優先されるように合成し、合成した画像を遮蔽画像領域関する情報と関連付けて録画システムへ送信する撮像装置が提案されている（例えば、特許文献１参照。）。
【０００４】
この提案された撮像装置では、プライバシーを保護したい領域にはプライバシーマスクが合成され、その部分だけが、例えば、黒塗りの画像となる。
【０００５】
しかし、この従来の方式では、プライバシーマスク生成位置を目視作業で特定し、手作業で合成するため、その作業に時間がかかる、という問題があった。特に、上述の小型動画撮影装置には小型の表示装置しか備えられていないため、その表示装置上でプライバシーマスクの挿入作業を行うことは非常に困難、という問題があった。
【０００６】
また、上述のプライバシーマスクを一旦挿入してしまうと、元の動画像（ベース動画像）に戻せない、という問題も発生する。そのため、動画投稿サイトなどに公開するためにプライバシーマスクを挿入した動画像を生成してしまうと、その後、プライバシーを開示しても構わない相手、例えば近親者などへ、ベース動画像を提供したいと思っても、提供することができない、という問題があった。
【特許文献１】特開２００５−１０９７２４号公報  （第４−５ページ、図１）
【発明の開示】
【発明が解決しようとする課題】
【０００７】
そこで、本発明の目的は、プライバシーマスクの挿入が自動的に行えるとともに、ベース動画像への復元を可能とする、動画像分離装置、動画像結合装置および動画像分離・結合システムを提供することにある。
【課題を解決するための手段】
【０００８】
本発明の一態様によれば、入力されたベース動画像から、予め設定されたプライバシー情報を含むプライバシー画像領域の位置と範囲を検出するプライバシー画像領域検出手段と、前記ベース動画像を、前記プライバシー画像領域検出手段により検出された前記プライバシー画像領域の画像で形成されるプライベート動画像と、前記プライバシー画像領域以外の領域の画像で形成されるパブリック動画像と、に分離する動画像分離手段とを備えることを特徴とする動画像分離装置が提供される。
【０００９】
また、本発明の別の一態様によれば、予め設定されたプライバシー情報を含むプライバシー画像領域の画像で形成されるプライベート動画像と、前記プライバシー画像領域以外の領域の画像で形成されるパブリック動画像とが入力され、前記パブリック動画像の前記プライバシー画像領域に前記プライベート動画像の前記プライバシー画像領域の画像を結合する動画像結合手段を備えることを特徴とする動画像結合装置が提供される。
【００１０】
さらに、本発明の別の一態様によれば、入力されたベース動画像を、予め設定されたプライバシー情報を含むプライバシー画像領域の画像で形成されるプライベート動画像と、前記プライバシー画像領域以外の領域の画像で形成されるパブリック動画像と、に分離する動画像分離装置と、前記プライベート動画像のコピー制御付き符号化を行ってプライベート動画像符号化ストリームの生成、および前記パブリック動画像の符号化を行ってパブリック動画像符号化ストリームの生成を行う符号化装置と、前記プライベート動画像符号化ストリームのコピー制御付き復号化を行って復号化プライベート動画像の生成、および前記パブリック動画像符号化ストリームの復号化を行って復号化パブリック動画像の生成を行う復号化装置と、前記復号化プライベート動画像と前記復号化パブリック動画像が入力されて、前記復号化パブリック動画像の前記プライバシー画像領域に前記復号化プライベート動画像の前記プライバシー画像領域の画像を結合して復号化ベース動画像を出力する動画像結合手段とを備えることを特徴とする動画像分離・結合システムが提供される。
【発明の効果】
【００１１】
本発明によれば、プライバシーマスクの挿入を自動的に行うことができ、また、ベース動画像を復元することが可能である。
【発明を実施するための最良の形態】
【００１２】
以下、本発明の実施例を図面を参照して説明する。
【実施例１】
【００１３】
図１は、本発明の実施例１に係る動画像分離装置の構成の例を示すブロック図である。
【００１４】
本実施例の動画像分離装置１は、入力されたベース動画像から、画像辞書１３に予め登録されている顔画像との一致度が予め設定した閾値以上となる領域をプライバシー画像領域として検出するプライバシー画像領域検出部１１と、ベース動画像を、プライバシー画像領域検出部１１により検出されたプライバシー画像領域の画像で形成されるプライベート動画像と、上述のプライバシー画像領域以外の領域の画像で形成されるパブリック動画像と、に分離する動画像分離部１２と、を備える。
【００１５】
ここで、ベース動画像は、図２に示すように、フレーム単位の画像が、時間軸上に並んでいる。
【００１６】
そこで、プライバシー画像領域検出部１１は、ベース動画像のフレームごとに、そのフレームの画像にプライバシーに関わる情報が含まれていないか、画像辞書１３に予め登録されている画像と比較しながら検証する。ここでは、プライバシーに関わる情報を顔画像として、ベース動画像のフレーム画像に顔画像が含まれていないか、画像辞書１３に予め登録されている顔画像と比較しながら検証する。
【００１７】
その検証の結果、画像辞書１３に登録されている顔画像との一致度が予め設定した閾値以上となる領域を、プライバシー画像領域として検出する。
【００１８】
動画像分離部１２は、ベース動画像の各フレームの画像から、プライバシー画像領域検出部１１によりプライバシー画像領域として検出された領域の画像を切り出す。この切り出した画像を、新たなフレームの同じ座標位置に貼り付け、その領域以外を輝度および色差の信号レベルが０の値（すなわち、黒）で塗りつぶす。このプライバシー画像領域の画像を含むフレームで構成される動画像をプライベート動画像と称する。
【００１９】
一方、プライバシー画像領域の画像が切り取られたフレームに対しては、そのプライバシー画像領域を輝度および色差の信号レベルが０の値（すなわち、黒）で塗りつぶす。このプライバシー画像領域の画像が切り取られたフレームで構成される動画像をパブリック動画像と称する。
【００２０】
図３に、本実施例の動画像分離装置１の処理フローの例をフロー図で示す。
【００２１】
まず、ベース動画像のフレーム画像をプライバシー画像領域検出部１１へ入力する（ステップＳ０１）。
【００２２】
プライバシー画像領域検出部１１は、入力されたフレーム画像の中から、画像辞書１３に予め登録されている顔画像との一致度が高い領域を、プライバシー画像領域として検出する（ステップＳ０２）。
【００２３】
続いて、動画像分離部１２が、ベース動画像のフレーム画像から、上述のプライバシー画像領域の画像を切り出し、別の新たなフレームに貼り付け、ベース動画像のフレームから分離する（ステップＳ０３）。
【００２４】
さらに、動画像分離部１２は、プライバシー画像領域の画像を貼り付けたフレームのプライバシー画像領域以外を輝度および色差の信号レベルが０の値（すなわち、黒）で塗りつぶす。（ステップＳ０４）。
【００２５】
この処理をベース動画像の各フレームで行うことにより、プライベート動画像が生成される。
【００２６】
上述の処理とともに、動画像分離部１２は、プライバシー画像領域の画像を切り取ったフレームに対して、そのプライバシー画像領域を輝度および色差の信号レベルが０の値（すなわち、黒）で塗りつぶす。（ステップＳ０５）。これが、プライバシーマスクの挿入処理に当たる。
【００２７】
この処理をベース動画像の各フレームで行うことにより、パブリック動画像が生成される。
【００２８】
なお、プライバシー画像領域検出部１１におけるプライバシー画像領域の検出の手法としては、画像辞書に所定サイズの平均顔画像を用意し、この平均顔画像と一致度の高い画像領域を探索する手法や、画像辞書に平均的な目鼻位置の基準点からのベクトルを用意し、このベクトルとの内積が最小となる目鼻位置候補から目の位置を推定し、その目の位置からプライバシー画像領域を決定する手法、などが知られている。
【００２９】
これらの手法のうち、画像辞書の平均顔画像との一致度の高い画像領域を探索する手法は、図４に示すように、ベース画像を所定のα％ずつ縮小した複数の画像と、辞書画像との間の差分和を算出し、その差分和が所定の閾値以下で最小となる縮尺および位置を探索する。（原理的には、総ての縮小画像の総ての点を開始位置として、差分和を計算する。）
この探索の結果からベース画像に含まれる顔画像の領域を判定し、その顔領域の中の目に相当する領域（顔の上から２５〜５０％の領域）をプライバシー画像領域として抽出する。
【００３０】
なお、目に相当する領域をプライバシー画像領域とするのは、目の周辺が個人の特定に大きく関わる領域であるからである。
【００３１】
上述の顔領域の抽出のみでもプライバシー画像領域の抽出は可能であるが、誤抽出の可能性もある。そこで、さらに抽出の精度を高めるため、目および鼻孔が黒い円形であることに着目して、目鼻の位置候補を抽出し、その中から幾何学的位置関係により目の位置を推定し、プライバシー画像領域を決定する手法が用いられる。その手法を図５を用いて説明する。この手法では、画像辞書１３に、平均的な目鼻位置の基準点からのベクトルを用意しておく。
【００３２】
まず、図５（ａ）に示すように、ベース画像上で黒い円形部分を探索し、目鼻点候補（図中の×印）として抽出する。
【００３３】
次に、図５（ｂ）に示すように、各目鼻点の基準点からのベクトル（図中の点線矢印）を算出し、画像辞書１３に用意してあるベクトルとの内積を算出する。
【００３４】
その内積が最小となる４点によって目鼻位置の整合性を確認し、図５（ｃ）に示すように、目鼻点の決定を行う。これにより目の位置の抽出精度が高まる。
【００３５】
目鼻点の決定により目の位置が確定したら、図５（ｄ）に示すように、両目の重心位置（図中の◇印）を求め、その重心位置を中心に、横幅は顔幅と同一に、縦幅は横幅の上下１２．５〜１５％の高さをプライバシー画像領域として抽出する。
【００３６】
このようにして、プライバシー画像領域が抽出されたら、動画像分離部１２が、ベース動画像のフレーム画像から、そのプライバシー画像領域の画像を切り出し、別の新たなフレームに貼り付け、プライバシー動画像を生成する。また、動画像分離部１２は、プライバシー画像領域が切り出されたフレーム画像から、パブリック動画像を生成する。
【００３７】
図６に、パブリック動画像とプライバシー動画像の生成例を示す。
【００３８】
パブリック動画像は、プライバシー画像領域が切り出されたフレームのプライバシー画像領域部分を輝度および色差の信号レベルが０の値で塗りつぶしたフレームを時間軸上に並べる形で構成される。
【００３９】
プライバシー動画像は、プライバシー画像領域の画像を貼り付け、プライバシー画像領域以外を輝度および色差の信号レベルが０の値で塗りつぶしたフレームを時間軸上に並べる形で構成される。
【００４０】
このような本実施例によれば、予め用意された画像辞書のデータとの比較により、ベース画像に含まれるプライバシー画像領域を自動的に抽出し、そのプライバシー画像領域を自動的に黒く塗りつぶしたパブリック動画像を自動的に生成することができる。
【００４１】
また、同時に、ベース画像からプライバシー画像領域を分離し、このプライバシー画像領域が貼り付けられたフレームから構成されるプライベート動画像も自動的に生成することができる。
【実施例２】
【００４２】
本実施例では、実施例１に示したような動画像分離装置により分離されたパブリック動画像とプライベート動画像をフレームごとに結合させ、元のベース動画像を出力する動画像結合装置の例を示す。
【００４３】
図７は、本発明の実施例２に係る動画像結合装置の構成の例を示すブロック図である。
【００４４】
本実施例の動画像結合装置２は、入力されたパブリック動画像とプライベート動画像のフレーム変化のタイミングを検出し、フレームが同時刻に変化するようにフレーム変化の同期合わせを行う同期調整部２１と、同期調整部２１により調整された同期時刻ごとに、パブリック動画像のフレーム画像とプライベート動画像のフレーム画像を足し合わせる動画像結合部２２と、を備える。
【００４５】
パブリック動画像はプライバシー画像領域の輝度および色差の信号レベルが０であり、プライベート動画像はプライバシー画像領域以外の領域の輝度および色差の信号レベルが０であるので、動画像結合部２２により、パブリック動画像とプライベート動画像を足し合わせると、動画像結合部２２からの出力は元のベース画像となる。
【００４６】
図８に、本実施例の動画像結合装置２による画像結合の例を示す。
【００４７】
同期調整部２２により、パブリック動画像とプライベート動画像のフレーム変化のタイミングが同時刻となるよう同期合わせが行われるため、パブリック動画像の各フレームの黒塗り領域（プライバシーマスク挿入領域）の元の画像が、プライベート動画像の同時刻のフレームに現れる。そこで、この２つのフレームの画像を動画像結合部２２により結合すると、元のベース動画像のフレーム画像が得られる。
【００４８】
このような本実施例によれば、プライバシーマスクを挿入した後であっても、元のベース画像を容易に復元することができる。
【実施例３】
【００４９】
本実施例では、実施例１の動画像結合装置１および実施例２の動画像結合装置２を用いて、プライバシー非公開者に対してはパブリック動画像を提供し、プライバシー公開者に対してはベース動画像を提供することのできる動画像分離・結合システムの例を示す。
【００５０】
本実施例の動画像分離・結合システムは、ベース動画像をパブリック動画像とプライベート動画像に分離する動画像分離装置１と、動画像分離装置１から出力されるパブリック動画像およびプライベート動画像を別々にエンコードし、それぞれのエンコード結果をパブリック動画像符号化ストリームおよびプライベート動画像符号化ストリームとして出力する符号化装置３と、符号化装置３から出力されるパブリック動画像符号化ストリームおよびプライベート動画像符号化ストリームを別々にデコードし、それぞれのデコード結果を復号化パブリック動画像および復号化プライベート動画像として出力する復号化装置４と、復号化装置４から出力される復号化パブリック動画像と復号化プライベート動画像を結合し、復号化ベース動画像を出力する動画像結合装置２と、を備える。
【００５１】
ここで、動画像分離装置１および符号化装置３は、画像の送信者側に配置され、復号化装置４および動画像結合装置２は、画像の送信者がプライバシーの公開を認めたプライバシー公開者側に配置される。
【００５２】
動画像分離装置１は、実施例１で説明したように、入力されたベース動画像を、プライバシー画像領域にプライバシーマスクを挿入（黒塗り）したパブリック動画像と、プライバシー画像領域の画像を貼り付けたプライベート動画像と、に分離して出力する。
【００５３】
符号化装置３は、パブリック動画像とプライベート動画像とを別々にエンコードする。その際、パブリック動画像はそのままエンコードするが、プライベート動画像はコピー制御付きエンコードを行う。すなわち、プライベート動画像は、エンコード出力が暗号化され、暗号解除キーの入力がないと復号化できないようにする。
【００５４】
本実施例では、符号化装置３でエンコードされたパブリック動画像符号化ストリームは、ウェッブサーバー１００へアップロードされるものとする。このウェッブサーバー１００からパブリック動画像符号化ストリームをダウンロードすることにより、画像の送信者がプライバシーの公開を認めていないプライバシー非公開者であっても、パブリック動画像の映像を見ることができる。
【００５５】
これに対して、符号化装置３でコピー制御付きエンコードされたプライベート動画像符号化ストリームは、画像の送信者からプライバシー公開者へ直接送信される。このとき、暗号解除キーも同時に送信される。
【００５６】
プライバシー非公開者では、ウェッブサーバー１００からダウンロードしたパブリック動画像符号化ストリームと、画像の送信者から直接送信されたプライベート動画像符号化ストリームおよび暗号解除キーを復号化装置４へ入力する。
【００５７】
復号化装置４は、パブリック動画像符号化ストリームを通常のデコードにより復号化し、復号化パブリック動画像を出力するとともに、プライベート動画像符号化ストリームを、暗号解除キーで暗号を解除しながらデコードするコピー制御付きデコードにより復号化して、復号化プライベート動画像を出力する。
【００５８】
この復号化パブリック動画像および復号化プライベート動画像を動画像結合装置２へ入力する。
【００５９】
動画像結合装置２は、実施例２で説明したように、入力された復号化パブリック動画像と復号化プライベート動画像の各フレームの画像を結合させ、復号化ベース動画像を出力する。
【００６０】
これにより、プライバシー公開者は、プライバシー画像領域の画像もそのまま表示されるベース動画像の映像を見ることができる。
【００６１】
このような本実施例によれば、プライバシー非公開者に対してはプライバシー画像領域にプライバシーマスクを挿入したパブリック動画像のみを提供して被写体のプライバシーを保護しつつ、プライバシー公開者に対してはプライバシー画像領域の画像もそのまま表示されるベース動画像を提供することができる。
【図面の簡単な説明】
【００６２】
【図１】本発明の実施例１に係る動画像分離装置の構成の例を示すブロック図。
【図２】ベース動画像の例を示す図。
【図３】実施例１の動画像分離装置の処理フローの例を示すフロー図。
【図４】顔領域抽出法の説明図。
【図５】目鼻点抽出法の説明図。
【図６】パブリック画像とプライベート画像の関係を示す図。
【図７】本発明の実施例２に係る動画像結合装置の構成の例を示すブロック図。
【図８】実施例２の動画像結合装置の動作の例を示す図。
【図９】本発明の実施例３に係る動画像分離・結合システムの構成の例を示すブロック図。
【符号の説明】
【００６３】
１  動画像分離装置
２  動画像結合装置
３  符号化装置
４  復号化装置
１１  プライバシー画像領域検出部
１２  動画像分離部
１３  画像辞書
２１  同期調整部
２２  動画像結合部
【図１】
2009239718.tif 000003
【図２】
2009239718.tif 000004
【図３】
2009239718.tif 000005
【図４】
2009239718.tif 000006
【図５】
2009239718.tif 000007
【図６】
2009239718.tif 000008
【図７】
2009239718.tif 000009
【図８】
2009239718.tif 000010
【図９】
2009239718.tif 000011