(57)【要約】【課題】撮影画像内の人物が写りこんだ領域に対し、状況に応じて必要な画像処理を施すことで、映像を後で閲覧する際に必要な情報のみを提供する。【解決手段】少なくとも映像と音声を取得可能な情報記録装置で記録された撮影画像データにおける撮影画像から人体領域を抽出する抽出手段と、前記抽出された人体領域に対応する人物を特定する特定手段と、前記撮影画像の撮影者と会話している人物を判定する判定手段と、前記判定手段による判定結果に基づいて、前記撮影画像の所定の領域に対し、人物の識別を阻害するための画像処理を行なう画像処理手段と、を備えることを特徴とする。【選択図】図１３
2015056727.tif 000002
【特許請求の範囲】
【請求項１】
少なくとも映像と音声を取得する情報記録装置で記録された撮影画像データにおける撮影画像から人体領域を抽出する抽出手段と、
前記抽出された人体領域に対応する人物を特定する特定手段と、
前記撮影画像の撮影者と会話している人物を判定する判定手段と、
前記判定手段による判定結果に基づいて、前記撮影画像の所定の領域に対し、人物の識別を阻害するための画像処理を行なう画像処理手段と、
を備えることを特徴とする装置。
【請求項２】
前記特定手段は、前記撮影者の位置情報、前記撮影画像内に存在し得る人物の位置情報及び前記撮影画像における前記人体領域の位置情報に基づいて、前記人体領域に対応する人物を特定することを特徴とする請求項１に記載の装置。
【請求項３】
前記所定の領域は、前記判定手段で前記撮影画像の撮影者と会話していると判定された人物以外の人物に対応する人体領域であることを特徴とする請求項１又は２に記載の装置。
【請求項４】
前記画像処理手段は、前記判定手段で前記撮影画像の撮影者と会話していると判定された人物と、前記抽出された人体領域に対応する人物として前記特定手段で特定された人物との差分を求めることにより、前記所定の領域に対し前記画像処理を行なうことを特徴とする請求項３に記載の装置。
【請求項５】
前記所定の領域は、前記判定手段で前記撮影者と会話していると判定された人物に対応する人体領域以外の領域であることを特徴とする請求項１又は２に記載の装置。
【請求項６】
前記情報記録装置は当該情報記録装置の角速度を取得する機能を有し、
前記撮影画像が撮影されたときの角速度が所定の閾値以上の場合の前記所定の領域は、前記撮影画像の全面であることを特徴とする請求項１又は２に記載の装置。
【請求項７】
前記画像処理手段によって前記画像処理がなされた領域に対し、前記撮影画像の撮影位置に対応する位置から撮影された背景画像を合成する手段をさらに備えることを特徴とする請求項１乃至５の何れか１項に記載の装置。
【請求項８】
前記画像処理は、マスク処理又はモザイク処理であることを特徴とする請求項１乃至７のいずれか１項に記載の装置。
【請求項９】
少なくとも映像と音声を取得する情報記録装置で記録された撮影画像データにおける撮影画像から人体領域を抽出する抽出ステップと、
前記抽出された人体領域に対応する人物を特定する特定ステップと、
前記撮影画像の撮影者と会話している人物を判定する判定ステップと、
前記判定ステップにおける判定結果に基づいて、前記撮影画像の所定の領域に対し、人物の識別を阻害するための画像処理を行なう画像処理ステップと、
を含むことを特徴とする方法。
【請求項１０】
コンピュータを、請求項１乃至８の何れか１項に記載の装置として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、記録すべき画像に対して、状況に応じて人物が写りこんだ領域をマスクするための装置、方法、プログラムに関する。
【背景技術】
【０００２】
人の頭部に装着することで、その人物が実際に見ている光景を動画や静止画として記録するデバイスがある（例えば特許文献１）。このようなデバイスを日常的に利用しておけば、自分の体験を他者に伝えたい時に、記録しておいた映像を見せる事によってそれを実現できる。例えば誰かとの会話や会議の様子を記録しておき、そこで興味深い話題となった時に、あとからその映像を他者に見せる事で、正確にその話題を伝える事ができる。
【０００３】
しかし、このような映像には記録されることが望ましくない人物が写り込んでしまう場合がある（一例として、たまたま通りかかった顧客等）。このような人物が写り込んでいる場合、その映像を勝手に他人に見せて共有する事はその人物のプライバシーや肖像権を侵害する行為となりかねない。
【０００４】
この点、動画や静止画に含まれる顔を、予め登録された特定人物の顔画像と照合して検出し、特定人物（又は特定人物以外）だけをマスクする事でプライバシーを保護する技術が種々考案されている（例えば特許文献２）。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開平８−８４２８０号公報
【特許文献２】特開２００４−６２５６０号公報
【特許文献３】特開２０１２−２３０６３９号公報
【特許文献４】特開２０１２−１５５３７４号公報
【非特許文献】
【０００６】
【非特許文献１】暦本 純一，"2次元マトリックスコードを利用した拡張現実感システムの構成手法"，インタラクティブシステムとソフトウェア IV， 近代科学社，1996．
【非特許文献２】Yasutaka Furukawa，Brian Curless，Steven M. Seitz，Richard Szeliski，"Reconstructing Building Interiors from Images"，ICCV 2009．
【発明の概要】
【発明が解決しようとする課題】
【０００７】
上述の特許文献２の技術は、予め登録された人物を静的に検出するものであり、その人物の置かれた状況などを加味して動的にマスク対象を切り替えるものではない。そのため、ある状況下ではマスクする必要のない人物であったとしても一律にマスクしてしまうことになる。例えば、会話の様子を撮影する場合において、同一人物について、会話に参加している場合には当該人物の映る画像をそのまま記録し、その人物が会話に参加しておらず偶然に映り込んでいる場合はマスクして記録する、といった状況に応じた対応はできない。
【課題を解決するための手段】
【０００８】
本発明に係る装置は、少なくとも映像と音声を取得する情報記録装置で記録された撮影画像データにおける撮影画像から人体領域を抽出する抽出手段と、前記抽出された人体領域に対応する人物を特定する特定手段と、前記撮影画像の撮影者と会話している人物を判定する判定手段と、前記判定手段による判定結果に基づいて、前記撮影画像の所定の領域に対し、人物の識別を阻害するための画像処理を行なう画像処理手段と、を備えることを特徴とする。
【発明の効果】
【０００９】
本発明によれば、人物が写りこんだ撮影画像に対し、状況に応じて必要な画像処理を施すので、映像を後で閲覧する際に必要な情報のみを提供することができる。
【図面の簡単な説明】
【００１０】
【図１】映像記録システムの構成例を示す図である。
【図２】ロガーのハードウェア構成を示すブロック図である。
【図３】処理サーバのハードウェア構成を示すブロック図である。
【図４】ロガーによって取得される撮影画像の一例を示す図である。
【図５】撮影画像情報テーブルの一例を示す図である。
【図６】位置情報の一例を示す図である。
【図７】位置情報テーブルの一例を示す図である。
【図８】位置情報を基に作成した撮影画像の俯瞰図である。
【図９】人体領域抽出処理の結果の一例を示す図である。
【図１０】ロガーによって撮影された撮影画像の位置関係を説明するための図である。
【図１１】人物特定処理の流れを示すフローチャートである。
【図１２】会話情報テーブルの一例を示す図である。
【図１３】実施例１に係る、指定された撮影画像内の会話非参加者をマスクする処理の流れを示すフローチャートである。
【図１４】会話に参加していなかった人物の人体領域に対しマスク処理を行った結果の一例を示す図である。
【図１５】実施例２に係る、指定された撮影画像内の会話非参加者をマスクする処理の流れを示すフローチャートである。
【図１６】実施例２における、マスク処理された撮影画像が生成される様子を説明する図である。
【図１７】実施例３に係る、指定された撮影画像内の会話非参加者をマスクする処理の流れを示すフローチャートである。
【図１８】会話に参加していた人物の人体領域以外の領域に対しマスク処理を行った結果の一例を示す図である。
【図１９】背景画像情報テーブルの一例を示す図である。
【図２０】実施例４に係る、指定された撮影画像内の会話非参加者をマスクした上で、背景画像を合成する処理の流れを示すフローチャートである。
【図２１】撮影者の位置に対応する背景画像を特定する様子を説明する図である。
【図２２】（ａ）は会話参加者の人体領域以外の領域にマスク処理を施した撮影画像に対し背景画像を合成した場合の図であり、（ｂ）はその背景画像を示す図である。
【発明を実施するための形態】
【００１１】
以下、本発明を実施するための形態について図面を用いて説明する。
【実施例１】
【００１２】
＜実施例１のシステム構成＞
図１は、本実施例に係る、映像記録システムの構成例を示す図である。映像記録システム１００は、ユーザが装着している情報記録装置（以後、ロガー）１１０、ワイヤレスアクセスポイント１２０、処理サーバ１３０で構成されている。そして、ロガー１１０とワイヤレスアクセスポイント１２０とは無線通信を行い、ロガー１１０はワイヤレスアクセスポイント１２０を介して有線のネットワークと接続されている。また、処理サーバ１３０とワイヤレスアクセスポイント１２０とは有線のネットワークを介して接続されている。図１にあるように、ユーザは複数存在し得る。
【００１３】
＜ロガー＞
図２は、ロガー１１０のハードウェア構成を示すブロック図である。ロガー１１０は、コントローラ２００、カメラ２１０、マイク２２０、ジャイロスコープ２３０を有する。
【００１４】
本実施例におけるロガー１１０は、図１にあるようにフレームで頭部に装着するようになっており、カメラ２１０によって、ユーザの目に近い視点で撮影することが可能である。また、マイク２２０によって、装着者本人や近くにいる人の声、周囲の音といった音声を拾うことができる。
【００１５】
まず、コントローラ２００について説明する。
【００１６】
コントローラ２００は、ＣＰＵ２０１、ＲＯＭ２０２、メインメモリ２０３、データ記憶領域２０４、バッテリー２０５、Ｉ／Ｏコントローラ２０６、ＬＡＮＩ／Ｆ２０７で構成されている。
【００１７】
バッテリー２０５は、電力をロガー１１０全体に供給する。
【００１８】
Ｉ／Ｏコントローラ２０６は、カメラ２１０、マイク２２０、ジャイロスコープ２３０との間で情報の送受信を行う。
【００１９】
ＬＡＮＩ／Ｆ２０７は、ワイヤレスアクセスポイント１２００１００及び／又はネットワークを介して接続されている処理サーバ１３０などの他の機器とＣＰＵ２０１との間で情報の送受信を行う。
【００２０】
ＲＯＭ２０２は、ブートローダプログラム及びロガー制御プログラムが格納されている。
【００２１】
データ記憶装置２０４は、書き換え可能な記憶領域であり、カメラ２１０で撮影された画像のデータやマイクで拾った音声データなどが格納される。
【００２２】
メインメモリ２０３は、揮発性メモリであり、ＲＯＭ２０２に記憶されているプログラムや一時的に使用するデータなどの情報が格納される。ロガー０１１０の電源投入時には、ＣＰＵ２０１がＲＯＭ２０２からブートローダプログラムを読み出して実行し、ＲＯＭ２０２に格納されているロガー制御プログラムを取り出し、メインメモリ２０３に格納する。そして、ＣＰＵ２０１がメインメモリ２０３に格納されているロガー制御プログラムを実行し、ロガー１１０の有する各機能を実行する。また、ＣＰＵ２０１がこのロガー制御プログラムを実行することで、ロガー１１０における各種処理が実行される。
【００２３】
以上がコントローラ２００についての説明である。
【００２４】
カメラ２１０は、レンズから入ってきた光を撮像素子によって電気信号に変換し、さらにデジタルデータに変換して画像データを生成する。
【００２５】
マイク２２０は、周囲の音声を電気信号に変換し、さらにデジタルデータに変換して音声データを生成する。
【００２６】
ジャイロスコープ２３０は、ロガー１１０本体の角速度を検出する。角速度の変化を調べる事で、ロガー１１０の動きを検出する。
【００２７】
＜処理サーバ＞
図３は、処理サーバ１３０のハードウェア構成を示すブロック図である。処理サーバ１３０は、ＣＰＵ３０１、メインメモリ３０２、ＨＤＤ３０３及びＬＡＮ Ｉ／Ｆ３０４で構成される。
【００２８】
ＬＡＮ Ｉ／Ｆ３０４は、ネットワークやワイヤレスアクセスポイント１２０を介して接続されている他の機器、ＣＰＵ０３０１との間で情報の送受信を行う。
【００２９】
ＨＤＤ３０３は、ブートローダプログラム及び処理サーバ制御プログラムが格納されている。また後述する各種のテーブル（位置情報テーブル、会話情報テーブル、背景画像情報テーブル、撮影画像情報テーブル）を格納する。
【００３０】
メインメモリ３０２は、揮発性メモリであり、ＨＤＤ３０３に記憶されている情報や一時的に使用する情報が格納される。処理サーバ１３０の電源投入時には、ＣＰＵ３０１がブートローダプログラムを読み出して実行し、ＨＤＤ３０３に格納されている処理サーバ制御プログラムを取り出し、メインメモリ３０２に格納する。そして、ＣＰＵ３０１がメインメモリ３０２に格納された処理サーバ制御プログラムを実行し、処理サーバ１３０の有する各機能を実行する。また、ＣＰＵ３０１がこの処理サーバ制御プログラムを実行することで、処理サーバ１３０における各種処理が実行される。
【００３１】
＜撮影処理＞
会議等の参加者である各ユーザが装着するロガー１１０は、カメラ２１０によって視界範囲の光景を撮影し、マイク２２０によって音声を取得して、取得された撮影画像データ及び音声データを、ネットワークを通じて処理サーバ１３０に送信する。また、その時ジャイロスコープ２３０によってヨー・ロール・ピッチ方向の角速度を取得する。ピッチはロガーの正面方向（カメラが向いている方向）に対して左右を軸とした回転方向、ロールは前後を軸にした回転方向、ヨーは上下を御軸にした回転方向である。取得した角速度の２乗平均値が、ロガー１１０の角速度情報として撮影画像データと共に処理サーバ１３０に送信される。角速度の２乗平均値が大きいほど、ロガー１１０は大きく動いた事を示す。
【００３２】
図４は、ユーザＡ〜Ｃの３者間での会話を記録する際の、ユーザＡが装着したロガー１１０によって取得される撮影画像の一例を示す図である。図４に示す撮影画像４００には、撮影者であるユーザＡ自身は映っておらずユーザＢとＣが映っており、さらに偶然に居合わせた人物Ｄが映り込んでいる。また、撮影画像４００には、壁等に貼り付けられた位置測定用の二次元コード４０１が映り込んでいる。本実施例においては、ロガー１１０を装着した各ユーザの視界の範囲内に位置測定用二次元コードが映り込むように、会議等を行なう部屋の壁等に複数の位置測定用二次元コードが貼り付けられる。処理サーバ１３０は、ロガー１１０から受信した撮影画像データと共に、そのファイル名、受信した時刻、撮影者の人物ＩＤ、ロガー１１０の角速度の情報を撮影画像情報テーブルとして、ＨＤＤ３０３に格納する。図５は、撮影画像情報テーブルの一例を示している。撮影者の人物ＩＤは、人物を一意に識別するために用いられる情報であり、各ユーザが装着しているロガー１１０に固有のＩＤや、ロガー１１０の装着時のユーザ認証によって与えられるＩＤなどを指す。角速度の単位はｒａｄ／ｓである。図５の例における撮影画像情報テーブルは、撮影画像データとして静止画像が１秒間隔で１時間分（すなわち、１のユーザあたり60×60＝3600枚の静止画像）撮影された場合に対応するテーブルとなっているが、これに限るものではない。撮影間隔を十分短くし、ＣＰＵ２０１によって圧縮処理を施した動画像データを撮影画像データとして処理サーバ１３０に送信し、処理サーバ１３０はこの動画像データを順次記録する構成としても良い。
【００３３】
＜位置情報＞
位置情報は、各ユーザが装着しているロガー１１０のｘ方向、ｙ方向、ｚ方向の位置、向き、及び測定時刻を示す情報である。本実施例において軸は、東の方向をｘ軸、北の方向をｙ軸、高さ方向をｚ軸、数値の単位はcmとし、向きは北方向を０°、南方向を１８０°とし、時計回りに増加するものとする。これらの定義や原点は設置環境に応じて任意に変える事ができる。また、高さ方向の角度は必須ではないが、測定内容としてこれを導入することでさらに精度を向上させることができる。本実施例では、ロガー１１０の位置情報は、カメラ２１０と上述の位置測定用二次元コード４０１を利用して検出するようにしている。位置測定用二次元コード４０１をカメラ２１０で撮影して検出し、カメラ２１０からその２次元コードまでの距離と向き（角度）を導出する技術としては、例えば非特許文献１の方法がある。本実施例では、予め位置情報を付加した二次元コードを部屋の壁等に貼り付けておき（図４を参照）、例えば非特許文献１の技術を用いて取得した当該二次元コードまでの距離と向きを逆算する事で、ロガー１１０の位置情報を取得する。
【００３４】
図６は、上述のような方法で取得される位置情報の一例を示している。人物ＩＤはそのロガー１１０を装着している人物のＩＤを示している。x座標、y座標、z座標はそれぞれロガー１１０の位置を示している。向きはロガー１１０の向き（角度）を示している。時刻は測定時刻を示している。
【００３５】
位置情報は、各ユーザのロガー１１０から送られてくる撮影画像データに対して、処理サーバ１３０が上述した位置測定用二次元コードの検出処理を逐次行う事で取得される。取得された各ユーザの位置情報は位置情報テーブルで管理され、処理サーバ１３０は位置情報を取得する度に位置情報テーブルに追記する。図７は、位置情報テーブルの一例を示している。図７に示す位置情報テーブルでは、事前に登録された人物ＩＤに紐づけられた名前も同時に記録している。図８は、図７の位置情報テーブルにおける位置情報７０１を基に作成した、ユーザＡによる撮影画像の０９：００：００の時点での俯瞰図であり、図４に示した撮影画像４００に対応している。
【００３６】
なお、位置測定用二次元コード４０１の検出に失敗した場合、他の計測手段によって位置情報を補間しても良い。例えば顔の向きの変化は、ロガー１１０のジャイロスコープ２３０によって取得される角速度の積分値を用いて補完する事が可能である。
【００３７】
＜人体領域抽出処理＞
人体検出処理は、撮影画像内から人体であると推定される領域（以下、人体領域）を抽出する処理であり、後述する会話非参加者のマスク処理の中で実行される。人体領域抽出処理には公知の技術を適用すればよく、例えば、特許文献３の技術などがある。人体領域抽出処理によって、撮影画像の中に含まれる人体領域の画素位置X’i,Y’i（撮影画像の左上端を起点）及び、各人体領域の幅画素数wi、高さ画素数hiが取得される(i=1,2,….m)。図９は、図４に示される撮影画像４００に対して人体領域抽出処理を行なった結果を示す図であり、人物Ｂ〜Ｄに対応した破線で示される矩形の領域９０１~９０３が、人体領域としてそれぞれ示されている。なお、前述のとおり本実施例では、会話の参加者であってロガー１１０を装着しているユーザは、撮影者本人である人物Ａを除いては人物Ｂと人物Ｃであり、人物Ｄはたまたま映り込んでしまった無関係の人物である。
【００３８】
＜人物特定処理＞
人物特定処理は、撮影画像に映っている人物が誰であるかを特定する処理であり、後述する会話非参加者のマスク処理の中で実行される。撮影画像内の人物の特定は、前述の位置情報テーブルと撮影画像から抽出された人体領域の情報を利用してなされる。図１０は、図８で示した俯瞰図と同じ時刻における、ユーザＡが装着しているロガー１１０によって撮影された撮影画像の位置関係を説明するための図である。以下、図８の俯瞰図及び図１０の位置関係図に基づいて、本実施例に係る人物特定処理について説明する。図１１は、人物特定処理の流れを示すフローチャートである。この処理は、処理サーバ１３０のＣＰＵ３０１が処理サーバ制御プログラムを実行することにより実施される。なお、ここでは人物Ｃの人体領域９０２に対応する人物を特定する場合を例に説明することとし、人物Ｂ及びＤについては説明を省略するが、他の人物についても同様である。
【００３９】
ステップ１１０１において、ＣＰＵ３０１は、撮影画像データをＨＤＤ３０３から読み込み、当該撮影画像の画角の左端を基準としたときの、処理対象となる人体領域（ここでは矩形９０２）の位置する角度φ’を求める。具体的には、角度φ’は、以下の式（１）により求められる。
【００４０】
【数１】
2015056727.tif 000003
【００４１】
上記式（１）において、ｒｃは処理対象となっている人体領域の横方向の中心画素位置、ｗは撮影画像の幅、θはカメラ２１０の画角である。また、上記式（１）におけるｒｃは、以下の式（２）で求めることができる。
【００４２】
【数２】
2015056727.tif 000004
【００４３】
上記式（２）において、X’iは撮影画像の左上端を起点としたときの当該人体領域の画素位置、wiは各人体領域の幅画素数である。いま、処理対象の人体領域は人物Ｃの人体領域９０２であるので、ｒｃは以下のようになる（図１０を参照）。
【００４４】
【数３】
2015056727.tif 000005
【００４５】
処理対象の人体領域が、人物Ｂの人体領域９０１である場合や人物Ｄの人体領域９０３である場合も上記と同様にｒｃを求めた上で、角度φ’を上記式（１）により求めることになる。
【００４６】
ステップ１１０２において、ＣＰＵ０３０１は、前述の位置情報テーブルをＨＤＤ３０３から読み込み、撮影者を除く近傍の人物（ここでは、Ｂ、Ｃ、Ｄ）の中から、まだ処理をしていない人物を選択する。
【００４７】
ステップ１１０３において、ＣＰＵ３０１は、ステップ１１０２で選択した人物について、画角の左端を基準としたときの当該人物の位置する角度φnを求める。具体的には、角度φnは、次の式（３）により求められる。
【００４８】
【数４】
2015056727.tif 000006
【００４９】
上記式（３）において、（Ｘ０，Ｙ０）は撮影者の位置、（Ｘｎ，Ｙｎ）は選択中の人物の位置である。なお、図８では人物Ｃに対応するφnをφ3で表している。
【００５０】
ステップ１１０４において、ＣＰＵ３０１は、撮影画像内の全ての人物についてφnを求めたかどうかを判定する。まだφnを求めていない人物がいる場合はステップ１１０２に戻り、処理を続ける。一方、撮影画像内の全ての人物についてφnを求めた場合は、ステップ１１０５に進む。
【００５１】
ステップ１１０５において、ＣＰＵ３０１は、全ての人物についてφn−φ’を求め、求めた値が最小になる人物を処理対象の人体領域に対応する人物であると決定し、決定された人物の人物ＩＤを当該人体領域に紐づける。
【００５２】
以上が、人物特定処理の内容である。
【００５３】
＜会話参加者判定処理＞
会話参加者を判定する処理は、ロガー１１０から逐次送信されてくる音声データを解析して、会話の発生状況や、各人物の各会話への参加状況を把握する処理であり、例えば特許文献４にあるような公知の技術によって実現することができる。特許文献４の技術では、近隣にいる人物で、かつ会話の衝突が少ない人同士を同じ会話に参加している人物（会話グループ）として決定している。処理サーバ１３０は、ロガー１１０からの音声データに対しこのような技術を適用して会話参加者を判定し、その判定結果を、会話情報テーブルとしてＨＤＤ３０３に格納する。図１２は、会話情報テーブルの一例を示している。会話情報テーブルにおける１行が、一つの会話を示す１レコードであり、その会話を識別するＩＤ（会話ＩＤ）、その会話に参加している人物の人物ＩＤ（参加者ＩＤ）、その会話の開始時刻（会話開始時刻）、その会話の終了時刻（会話終了時刻）から構成される。図１２に示す会話情報テーブルにおいて、会話ＩＤ：００１が、上述の人物Ａ〜Ｃによる３者間の会話を記録した１時間分の音声データに対応している。なお、会話参加者の判定処理は、逐次送信されてくる音声データに対して予め定めた時刻（例えば、夜に１回或いは昼と夜の２回など）に定期的に実施するようにしてもよいし、ユーザからの指示を受けて実施するようにしてもよい。その度、会話情報テーブルの内容は更新されることになる。
【００５４】
＜会話非参加者のマスク処理＞
次に、撮影画像内に映っている人物のうち会話に参加していない人物の識別を阻害するためのマスク処理について説明する。処理サーバ１３０は、ＨＤＤ３０３に保存されている撮影画像を指定したユーザ指示を不図示のユーザ端末から受け付けることで、以下に述べるマスク処理を施した撮影画像データ及びそれに対応する音声データをユーザに提供する。なお、ユーザ端末としては、デスクトップＰＣ、タブレット型ＰＣ、スマートフォンなど、ネットワークを介して撮影画像データと音声データを送受信可能な情報処理端末であればよい。
【００５５】
図１３は、本実施例に係る、指定された撮影画像内の会話非参加者をマスクする処理の流れを示すフローチャートである。以下の一連の処理は、処理サーバ１３０のＣＰＵ３０１が処理サーバ制御プログラムを実行することにより実施される。
【００５６】
ステップ１３０１において、ＣＰＵ３０１は、ユーザの指示に係る撮影画像データをＨＤＤ３０３から読み込み、メインメモリ３０２に格納する。ここでは、ユーザＡ（人物ＩＤ：１）によって撮影された、撮影時刻が０９：００：００〜１０：００：００までの１時間分の撮影画像データ（60×60＝3600枚の静止画像）が指定されたものとして、以下説明する。
【００５７】
ステップ１３０２において、ＣＰＵ３０１は、読み込んだ撮影画像データ内の処理対象とするデータ（１枚の静止画像）に対し前述の人体領域抽出処理を施し、当該撮影画像内における人体領域を抽出する。
【００５８】
ステップ１３０３において、ＣＰＵ３０１は、撮影画像から抽出された人体領域（未処理の人体領域）の中から処理対象とする一の人体領域を選択する。
【００５９】
ステップ１３０４において、ＣＰＵ３０１は、選択中の人体領域に対し前述の人物特定処理を実行して当該人体領域に対応する人物が誰であるかを特定する。人物が特定されると、処理対象の人体領域と特定された人物の人物ＩＤとが紐づけられる。
【００６０】
ステップ１３０５において、ＣＰＵ３０１は、撮影画像内から抽出された全ての人体領域について人物の特定が完了したかどうかを判定する。まだ人物を特定していない人体領域がある場合は、ステップ１３０３に戻り、処理を続行する。一方、全ての人体領域について人物の特定が完了していた場合は、ステップ１３０６に進む。
【００６１】
ステップ１３０６において、ＣＰＵ３０１は、会話参加者リストを作成する。具体的には、まず前述の撮影画像情報テーブル（図５）をＨＤＤ３０３から読み込み、ユーザが指定した撮影画像の撮影時刻と撮影者の人物ＩＤを取得する。次に、前述の会話情報テーブル（図１２）をＨＤＤ３０３から読み込み、取得した撮影時刻と撮影者の人物ＩＤとに基づいて、当該撮影時刻に撮影者と会話していた人物の人物ＩＤを抽出し、当該抽出された人物ＩＤで構成されるリストを作成する。本実施例の場合、撮影者本人である人物Ａとの会話に参加していた人物Ｂ及びＣに対応する人物ＩＤ：２及び人物ＩＤ：３で構成されるリストが、会話参加者リストとして作成されることになる。作成された会話参加者リストはメインメモリ３０２に格納される。
【００６２】
ステップ１３０７において、ＣＰＵ３０１は、ステップ１３０６で作成した会話参加者リストの中に含まれる人物ＩＤと、ステップ１３０４で求めた各人体領域に紐づけられた人物ＩＤとの差分を抽出する。これにより、撮影画像内に映っているものの会話には参加していない人物が割り出される。そして、当該割り出された人物ＩＤに対応する人体領域に対してマスク処理（当該人体領域内の画素を全て黒画素に置き換える処理）を施す。こうして、会話非参加者（会話参加者と判定された人物以外の人物）に対応する人体領域を撮影画像から削除する。図１４は、図４に示した撮影画像の１シーンにおいて、ユーザＡとの会話に参加していなかった人物Ｄの人体領域に対しマスク処理を行った結果の一例であり、人物Ｄの人体領域９０３がマスク処理によって黒く表示されている。
【００６３】
なお、例えばモザイク処理などマスク処理以外の画像処理を適用して、会話非参加者とされた人物が誰であるかを識別できないようにしても良い。これによってもプライバシーの保護は達成される。
【００６４】
ステップ１３０８において、ＣＰＵ３０１は、ステップ１３０１で読み込んだ撮影画像データ内に未処理の撮影画像があるかどうかを判定する。未処理の撮影画像があれば、ステップ１３０９に進む。一方、すべての撮影画像について処理が完了していれば、本処理を終える。
【００６５】
ステップ１３０９において、ＣＰＵ３０１は、処理対象とする撮影画像を更新し、新たな撮影画像についてステップ１３０２以降の処理を繰り返す。
【００６６】
以上が、本実施例に係る、会話非参加者のマスク処理の内容である。
【００６７】
そして、上記のようにしてマスク処理が施された撮影画像データとそれに対応する音声データが、指示を受けたユーザ端末に対しネットワークを介して送信される。
【００６８】
本実施例によれば、記録された撮影画像の中で会話に参加していないと判定される人物が映り込んでいる部分がマスク処理された上でユーザに提供される。これにより、会話とは無関係の人物のプライバシーを守りつつ、必要な情報を含む映像を後で閲覧することができる。
【実施例２】
【００６９】
実施例１では、会話に参加していない人物を撮影画像から削除することで、会話とは無関係の人物のプライバシーが保護されるようにしていた。しかし、人体領域の抽出は必ず成功するとは限らず、例えば撮影者が首を振ったことにより撮影画像がブレてしまったような場合は、人体領域の抽出に失敗してしまうことも考えられる。このような場合に、人間の眼で見てもそれが誰なのか識別できない程度にブレがひどいようなケースではプライバシーの観点で問題は無いといえる。しかしながら、人体領域の抽出には失敗したものの人間の眼には誰であるかが識別できる程度のブレであった場合には、当該人物はマスク処理されることが無いため、プライバシーが守られないことになる。
【００７０】
そこで、撮影者の首振り動作を検知した場合には、ブレによって人体領域が正確に抽出されない可能性があると看做して撮影画像全体をマスク処理する態様を実施例２として説明する。なお、実施例１と共通する部分については説明を省略ないしは簡略化し、以下では差異点を中心に説明することとする。
【００７１】
図１５は、本実施例に係る、指定された撮影画像内の会話非参加者をマスクする処理の流れを示すフローチャートである。
【００７２】
ステップ１５０１において、ＣＰＵ３０１は、ユーザの指示に係る撮影画像データをＨＤＤ３０３から読み込み、メインメモリ３０２に格納する。
【００７３】
ステップ１５０２において、ＣＰＵ３０１は、撮影情報テーブル（図５）を読み込み、読み込んだ撮影画像データ内の処理対象とするデータ（例えば１枚の静止画像）についての、当該撮影画像が撮影された時の角速度の情報を取得する。
【００７４】
ステップ１５０３において、ＣＰＵ３０１は、取得した角速度が所定の閾値より小さいかどうかを判定する。ここで、所定の閾値は、経験的に人体領域の抽出に影響がでるようなブレを生じさせる程度の角速度であるかどうかを基準に予め設定される。取得した角速度が所定の閾値未満であれば、人体領域を正確に抽出できる可能性が高いので、実施例１と同様の処理を行なうべく、ステップ１５０５に進む。一方、取得した角速度が所定の閾値以上であれば、人体領域を正確に抽出できない可能性があるので、ステップ１５０４に進む。
【００７５】
ステップ１５０４において、ＣＰＵ３０１は、処理対象の撮影画像に対し全面マスク処理（撮影画像の全画素を黒画素で置き換える処理）を行なう。
【００７６】
図１６は、本実施例によってマスク処理された撮影画像が生成される様子を説明する図である。グラフ１６００は、ロガー１１０で取得される角速度ωの時間変化を示すグラフであり、撮影者である人物Ａが静止状態（図４の状態）から右（人物Ｃの側）を向き、その位置で再び静止するまでの角速度ωの時間変化を示している。両方向矢印１６０１は首振り前静止期間、両方向矢印１６０２は首振り期間、両方向矢印１６０３は首振り後静止期間をそれぞれ表している。そして、撮影画像１６０４は首振り動作がなされる前に撮影された画像であって両方向矢印１６０１に対応し、撮影画像１６０６は首振り動作がなされた後に撮影された画像であって両方向矢印１６０３に対応している。撮影画像１６０１では右にいた人物Ｃが、撮影画像１６０６では左に位置していることから、人物Ａが右を向いた（右方向に首を振った）ということがこれら撮影画像から確認できる。撮影画像１６０５は、角速度が所定の閾値Th以上となった両方向矢印１６０２の首振り期間中に撮影された画像であって、撮影画像の全面がマスク処理された画像である。このように、撮影者の首振りが検知された時間に撮影された画像にはその全面にマスク処理がなされる。
【００７７】
ステップ１５０５〜ステップ１５１０の各処理は、実施例１で説明した会話非参加者のマスク処理（図１３のフローチャートのステップ１３０２〜１３０７）と同じであるので説明は省略する。
【００７８】
以上が、本実施例に係る、会話非参加者のマスク処理の内容である。
【００７９】
なお、本実施例においては、首振り期間中に撮影された画像に対する全面マスキング処理を処理サーバ１３０上で行っているが、この処理をロガー１１０側で行うようにしてもよい。
【００８０】
本実施例によれば、例えば頭部に装着するタイプのロガーなどで頻繁に起こり得る首振り動作などによって画像にブレが生じるようなケースでの、会話非参加者のプライバシー保護が可能となる。
【実施例３】
【００８１】
実施例２では、撮影者の首振り動作によって撮影画像の人体領域の抽出に失敗してしまう場合を考慮した態様について説明した。しかし、人体領域の抽出に失敗する要因には、例えば人体の一部が隠れる場合など他にも種々考えられる。ロバスト性の高い人体領域抽出技術によってある程度の隠れに対しての対応は可能であるが、それでもなお隠れの度合いが大きい場合は人体領域がうまく抽出できない事もあり得る。そして、このような場合でも、人間の眼では十分に人物を識別できる場合がある。
【００８２】
そこで、会話参加者の人体領域（会話参加者領域）以外の領域を全てマスクする事によって、より強いプライバシー保護を実現する態様について実施例３として説明する。なお、実施例１及び２と共通する部分については説明を省略ないしは簡略化し、以下では差異点を中心に説明することとする。
【００８３】
図１７は、本実施例に係る、指定された撮影画像内の会話非参加者をマスクする処理の流れを示すフローチャートである。
【００８４】
ステップ１７０１〜１７０６の各処理は、実施例１で説明した会話非参加者のマスク処理（図１３のフローチャートのステップ１３０１〜１３０６）と同じであるので説明は省略する。
【００８５】
ステップ１７０７において、ＣＰＵ３０１は、ステップ１７０６で作成した会話参加者リストの中に含まれる人物ＩＤと、ステップ１７０４で求めた各人体領域に紐づけられた人物ＩＤとを対比し、共通する人物ＩＤを抽出する。これにより、撮影画像内に映っている人物であって会話に参加している人物が割り出される。そして、当該割り出された人物ＩＤに対応する人体領域をマスク処理の非対象領域とし、その他の領域にマスク処理を施して、会話参加者に対応する人体領域以外の領域を撮影画像から削除する。図１８は、図４に示した撮影画像の１シーンにおいて、ユーザＡとの会話に参加していた人物Ｂ及び人物Ｃの人体領域以外の領域に対しマスク処理を行った結果の一例であり、会話非参加者である人物Ｄの人体領域を含むほとんどの領域がマスク処理によって黒く表示されている。
【００８６】
なお、例えばモザイク処理などマスク処理以外の方法を適用してもよい点は実施例１と同じである。
【００８７】
ステップ１７０８において、ＣＰＵ３０１は、読み込んだ撮影画像データ内に未処理の撮影画像があるかどうかを判定し、未処理の撮影画像があればステップ１７０９に進む。一方、すべての撮影画像について処理が完了していれば、本処理を終える。
【００８８】
ステップ１７０９において、ＣＰＵ３０１は、処理対象とする撮影画像を更新し、新たな撮影画像についてステップ１７０２以降の処理を繰り返す。
【００８９】
以上が、本実施例に係る、会話非参加者のマスク処理の内容である。
【００９０】
なお、本実施例の場合、会話が途切れている間は会話参加者がいない状態ということになり、その間の撮影画像に対しては常に全面マスク処理がなされてしまう。そこで、実施例１のように非会話参加者の人体領域だけを削除する処理と、本実施例のように会話参加者の人体領域だけを残す処理とを、シーン毎に切り替えてもよい。すなわち、会話を継続している間は会話参加者以外を削除する構成（本実施例）にし、会話を中断している間は非会話参加者を消す構成（実施例１）としても良い。
【００９１】
本実施例によれば、会話参加者の人体領域以外の領域を全てマスク処理するので、より強いプライバシー保護が実現できる。
【実施例４】
【００９２】
実施例１において非会話参加者が多く映り込んでいる場合や、実施例３の構成の場合には、マスク処理される領域が広範に及ぶため、その現場の雰囲気が損なわれてしまうというマイナス面がある。そこで、マスク処理の対象となる領域に対し、事前に撮影しておいた背景画像を合成する事で、なるべく元の撮影画像の雰囲気を残すようにする態様について、実施例４として説明する。なお、実施例１〜３と共通する部分については説明を省略ないしは簡略化し、以下では差異点を中心に説明することとする。
【００９３】
本実施例では、まず、誰も人物がいない状況の部屋内をロガー１１０を装着して歩き回り、会話等を行なう環境の撮影を行なって、背景画像として使用する画像データを事前に取得しておく。そして、取得した背景画像データは処理サーバ１３０に送られる。処理サーバ１３０は、受信した背景画像データと共に、その画像ファイル名や当該撮影画像から得られる位置情報を背景画像情報テーブルとして、ＨＤＤ３０３に格納する。図１９は、背景画像情報テーブルの一例を示している。位置情報テーブルと同様、x座標、y座標、z座標はそれぞれロガー１１０の位置を示しており、向きはロガー１１０の向き（角度）を示している。
【００９４】
ここで、背景画像データは可能な限り多く収集する事が好ましく、例えば歩行可能な領域を５０ｃｍ間隔で撮影し、かつ各位置で５°ずつ方向を変えて撮影するといった具合である。なお、背景画像の撮影をロガー１１０とは別の撮影機器により行なっても良い（例えば360°の方向を同時に撮影可能なカメラ等）。ただし、その場合は画角などの撮影に用いたカメラの特性を考慮し、ユーザが装着するロガー１１０で撮影した場合と同等の画像になるよう加工する必要がある。さらに、処理サーバ１３０のＨＤＤ３０３に格納されている他の画像のうち背景画像として利用可能な画像を用いてもよい。
【００９５】
図２０は、本実施例に係る、指定された撮影画像内の会話非参加者をマスクした上で、背景画像を合成する処理の流れを示すフローチャートである。なお、ここでは、実施例３に係る図１７のフローチャートをベースとして説明を行なうものとするが、実施例１に係る図１３のフローチャートの場合も同様に適用可能である。
【００９６】
ステップ２００１〜２００７の各処理は、実施例３で説明した会話非参加者のマスク処理（図１７のフローチャートのステップ１７０１〜１３０７）と同じであるので説明は省略する。
【００９７】
会話参加者の人体領域以外の領域に対するマスク処理を終えると、ステップ２００８において、ＣＰＵ３０１は、処理対象の撮影画像が撮影された時刻における撮影者の位置を特定する。具体的には、まず、撮影画像情報テーブルと位置情報テーブルとをＨＤＤ３０３から読み込み、撮影画像情報テーブルを参照して当該撮影画像の撮影時刻の情報を取得すると共に、位置情報テーブルを参照して当該撮影時刻における撮影者の位置情報を取得する。
【００９８】
ステップ２００９において、ＣＰＵ３０１は、ステップ２００８で取得した撮影者の位置に対応する背景画像データを取得する。具体的には、まず、ＨＤＤ３０１から背景画像情報テーブルを読み込んで参照し、撮影者の後方で所定の角度ψの範囲内にある最も近い位置かつ最も近い方向から撮影された背景画像を特定し、そのデータを取得する。図２１は、撮影者の位置に対応する背景画像を特定する様子を説明する図である。図２１において、複数の黒丸のそれぞれが、各背景画像が撮影された位置を示している。図２１の例では、撮影者は人物Ａであり、０°の方向（図中の上方向）に撮影を行っているので、人物Ａの後方であって角度ψの範囲内で最も近い位置である黒丸２１００の位置から撮影された画像が背景画像として取得されることを示している。
【００９９】
ステップ２０１０において、ＣＰＵ３０１は、ステップ２００７でマスク処理された領域に対し、ステップ２００９で取得した背景画像を合成する処理を行なう。具体的には、マスク処理された領域（ここでは会話参加者の人体領域以外の領域）と同じ位置・大きさの図形を取得した背景画像から切り出して、処理対象の撮影画像の同じ位置に上書きする。
【０１００】
図２２の（ａ）は、図１８で示した会話参加者の人体領域以外の領域にマスク処理を施した撮影画像に対し、図２２の（ｂ）に示す背景画像を合成して得られた画像を示している。図２２の（ａ）における合成画像では、元々の撮影画像４００（図４を参照）に映っていた会話に参加していない人物Ｄが背景画像によって上書きされ、存在していない。
【０１０１】
ステップ２０１１において、ＣＰＵ３０１は、読み込んだ撮影画像データ内に未処理の撮影画像があるかどうかを判定し、未処理の撮影画像があればステップ２０１に進む。一方、すべての撮影画像について処理が完了していれば、本処理を終える。
【０１０２】
ステップ２０１２において、ＣＰＵ３０１は、処理対象とする撮影画像を更新し、新たな撮影画像についてステップ２００２以降の処理を繰り返す。
【０１０３】
以上が、本実施例に係る、会話非参加者をマスク後に背景画像を合成する処理の流れの内容である。
【０１０４】
なお、本実施例では背景画像として２次元の撮影画像を利用する場合について説明したが、例えば、３次元モデルを予め取得し、このモデルを利用して撮影位置からの背景画像を生成し、これを合成するようにしても良い（非特許文献２を参照）。これにより、撮影者の位置と背景画像撮影位置とのずれによる合成画像の品位低下を抑制することができる。
【０１０５】
本実施例によれば、マスク処理の対象となる領域が広い場合でも、撮影時の雰囲気を残しながらプライバシーの保護を実現できる。
【０１０６】
（その他の実施例）
本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施例の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。
【図１】
2015056727.tif 000007
【図２】
2015056727.tif 000008
【図３】
2015056727.tif 000009
【図４】
2015056727.tif 000010
【図５】
2015056727.tif 000011
【図６】
2015056727.tif 000012
【図７】
2015056727.tif 000013
【図８】
2015056727.tif 000014
【図９】
2015056727.tif 000015
【図１０】
2015056727.tif 000016
【図１１】
2015056727.tif 000017
【図１２】
2015056727.tif 000018
【図１３】
2015056727.tif 000019
【図１４】
2015056727.tif 000020
【図１５】
2015056727.tif 000021
【図１６】
2015056727.tif 000022
【図１７】
2015056727.tif 000023
【図１８】
2015056727.tif 000024
【図１９】
2015056727.tif 000025
【図２０】
2015056727.tif 000026
【図２１】
2015056727.tif 000027
【図２２】
2015056727.tif 000028