(57)【要約】【課題】撮影部が固定されない場合においても撮影部で取得した映像データに対応する映像から人物の顔を抽出して背景をぼかすことができる処理装置を提供する。【解決手段】処理装置は、フレーム内の第１領域と、第１領域に含まれる第２領域を決定する決定手段であって、第１領域は、フレーム内の人物の顔を完全に含み、かつ、当該顔以外の部分を含み、第２領域は、顔の部分のみを含む領域である、決定手段と、第１領域に含まれるが、第２領域には含まれない画素を処理対象画素それぞれについて、重みを判定する判定手段であって、処理対象画素の重みは、当該処理対象画素の位置が第１領域の端部に近い程、小さく、かつ、当該処理対象画素の輝度値と、当該処理対象画素の周囲の画素の輝度値との差が小さい程、小さくなる、判定手段と、処理対象画素の画素値を、当該処理対象画素の前記重みにより変換する変換手段と、を備えている。【選択図】図１
2017027462.tif 000002
【特許請求の範囲】
【請求項１】
映像データの処理装置であって、
前記映像データが示す映像のフレーム内の第１領域と、前記第１領域に含まれる第２領域を決定する決定手段であって、前記第１領域は、前記フレーム内の人物の顔を完全に含み、かつ、当該顔以外の部分を含む領域であり、前記第２領域は、前記顔の部分のみを含む領域である、前記決定手段と、
前記第１領域に含まれるが、前記第２領域には含まれない画素を処理対象画素とし、処理対象画素それぞれについて、重みを判定する判定手段であって、処理対象画素の前記重みは、当該処理対象画素の位置が前記第１領域の端部に近い程、小さく、かつ、当該処理対象画素の輝度値と、当該処理対象画素の周囲の画素の輝度値との差が小さい程、小さくなる、前記判定手段と、
処理対象画素の画素値を、当該処理対象画素の前記重みにより変換する変換手段と、
を備えていることを特徴とする処理装置。
【請求項２】
映像データの処理装置であって、
前記映像データが示す映像のフレーム内の第１領域と、前記第１領域に含まれる第２領域を決定する決定手段であって、前記第１領域は、前記フレーム内の人物の顔を完全に含み、かつ、当該顔以外の部分を含む領域であり、前記第２領域は、前記顔の部分のみを含む領域である、前記決定手段と、
前記第１領域に含まれるが、前記第２領域には含まれない画素を処理対象画素とし、処理対象画素それぞれについて、重みを判定する判定手段であって、処理対象画素の前記重みは、当該処理対象画素の位置が前記第１領域の中心から遠い程、小さく、かつ、当該処理対象画素の画素値と、当該処理対象画素の周囲の画素の画素値との差が小さい程、小さくなる、前記判定手段と、
処理対象画素の画素値を、当該処理対象画素の前記重みにより変換する変換手段と、
を備えていることを特徴とする処理装置。
【請求項３】
前記重みは０以上、かつ、１以下の値であり、
前記変換手段は、処理対象画素の画素値に当該処理対象画素の前記重みを乗ずることで変換することを特徴とする請求項１又は２に記載の処理装置。
【請求項４】
前記判定手段は、処理対象画素それぞれについて、周囲の画素との輝度値の差の最大値を求め、各最大値を０以上、かつ、１以下の値となる様に正規化し、処理対象画素の前記正規化後の最大値を、当該処理対象画素の前記第１領域の中心からの距離、或いは、前記第１領域の端部からの距離に基づき補正することで、当該処理対象画素の前記重みを判定することを特徴とする請求項３に記載の処理装置。
【請求項５】
前記変換手段による変換後の画素値に基づくフレームと、所定画像を合成する合成手段をさらに備えており、
前記合成手段は、前記処理対象画素に合成される前記所定画像の画素の画素値に、１から前記処理対象画素の重みを減じた値を乗じて、前記変換手段による変換後の画素値に基づくフレームと合成することを特徴とする請求項３又は４に記載の処理装置。
【請求項６】
処理装置における映像データの処理方法であって、
前記映像データが示す映像のフレーム内の第１領域と、前記第１領域に含まれる第２領域を決定する決定ステップであって、前記第１領域は、前記フレーム内の人物の顔を完全に含み、かつ、当該顔以外の部分を含む領域であり、前記第２領域は、前記顔の部分のみを含む領域である、前記決定ステップと、
前記第１領域に含まれるが、前記第２領域には含まれない画素を処理対象画素とし、処理対象画素それぞれについて、重みを判定する判定ステップであって、処理対象画素の前記重みは、当該処理対象画素の位置が前記第１領域の端部に近い程、小さく、かつ、当該処理対象画素の輝度値と、当該処理対象画素の周囲の画素の輝度値との差が小さい程、小さくなる、前記判定ステップと、
処理対象画素の画素値を、当該処理対象画素の前記重みにより変換する変換ステップと、
を含むことを特徴とする処理方法。
【請求項７】
処理装置における映像データの処理方法であって、
前記映像データが示す映像のフレーム内の第１領域と、前記第１領域に含まれる第２領域を決定する決定ステップであって、前記第１領域は、前記フレーム内の人物の顔を完全に含み、かつ、当該顔以外の部分を含む領域であり、前記第２領域は、前記顔の部分のみを含む領域である、前記決定ステップと、
前記第１領域に含まれるが、前記第２領域には含まれない画素を処理対象画素とし、処理対象画素それぞれについて、重みを判定する判定ステップであって、処理対象画素の前記重みは、当該処理対象画素の位置が前記第１領域の中心から遠い程、小さく、かつ、当該処理対象画素の画素値と、当該処理対象画素の周囲の画素の画素値との差が小さい程、小さくなる、前記判定ステップと、
処理対象画素の画素値を、当該処理対象画素の前記重みにより変換する変換ステップと、
を含むことを特徴とする処理方法。
【請求項８】
請求項１から５のいずれか１項に記載の処理装置としてコンピュータを機能させることを特徴とするプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、例えば、テレビ電話といった、映像通信を行う際の映像データの処理技術に関する。
【背景技術】
【０００２】
例えば、スマートフォンの様に、カメラ機能を備えた映像端末の普及により、音声のみの通信ではなく、例えば、テレビ電話の様な、音声を含む映像通信を簡易に行える様になっている。しかしながら、この様な映像通信においては、通信を行っている人の顔のみならず、その服装や、その背景、例えば、自宅で通信を行っている場合には、その部屋の様子も相手側に映像として伝わってしまい、映像通信が普及しない原因の１つとなっている。
【０００３】
したがって、映像通信を普及させるためには、スマートフォン等の端末のカメラ機能で撮影した映像から顔のみを抽出し、それ以外の領域については、他の画像と置換したりぼかしたりして送信する必要がある。特許文献１は、映像通信で使用されるカメラが固定されていることを前提に、予め人物が含まれない背景画像を取得しておき、映像通信の際には背景画像との差分から人物領域を抽出する構成を開示している。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１４−６７３７２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
特許文献１の構成は、カメラといった撮影部又は撮影装置が固定されていることが前提となっており、手持ちの携帯端末で撮影する場合の様に、撮影部が固定されていない場合には適用できない。
【０００６】
本発明は、撮影部が固定されない場合においても撮影部で取得した映像データに対応する映像から人物の顔を抽出して背景を隠す、または、ぼかすことができる処理装置、処理方法及びプログラムを提供するものである。
【課題を解決するための手段】
【０００７】
映像データの処理装置は、前記映像データが示す映像のフレーム内の第１領域と、前記第１領域に含まれる第２領域を決定する決定手段であって、前記第１領域は、前記フレーム内の人物の顔を完全に含み、かつ、当該顔以外の部分を含む領域であり、前記第２領域は、前記顔の部分のみを含む領域である、前記決定手段と、前記第１領域に含まれるが、前記第２領域には含まれない画素を処理対象画素とし、処理対象画素それぞれについて、重みを判定する判定手段であって、処理対象画素の前記重みは、当該処理対象画素の位置が前記第１領域の端部に近い程、小さく、かつ、当該処理対象画素の輝度値と、当該処理対象画素の周囲の画素の輝度値との差が小さい程、小さくなる、前記判定手段と、処理対象画素の画素値を、当該処理対象画素の前記重みにより変換する変換手段と、を備えていることを特徴とする。
【発明の効果】
【０００８】
本発明によると、撮影部が固定されない場合においても撮影部で取得した映像データに対応する映像から人物の顔を抽出できる。
【図面の簡単な説明】
【０００９】
【図１】一実施形態による処理装置の構成図。
【図２】一実施形態による処理部の構成図
【図３】一実施形態による領域決定部での処理の説明図。
【図４】一実施形態による重み判定部での処理の説明図。
【図５】一実施形態による重み判定部での処理の説明図。
【図６】一実施形態による重み判定部での処理の説明図。
【発明を実施するための形態】
【００１０】
以下、本発明の例示的な実施形態について図面を参照して説明する。なお、以下の実施形態は例示であり、本発明を実施形態の内容に限定するものではない。また、以下の各図においては、実施形態の説明に必要ではない構成要素については図から省略する。
【００１１】
図１は、本実施形態による処理装置の構成図である。撮影部１０は、映像を撮影して映像データを顔認識部２０に出力する。顔認識部２０は、映像データが示す映像の各フレームに関し、フレーム内の人物の顔を認識して、顔を含む矩形領域を判定する。顔認識処理には、任意の公知の方法、例えば、Ｈａｒｒ−ｌｉｋｅ特徴量を使用して行うことができる。
【００１２】
図２は、処理部３０の構成図である。領域決定部３１は、各フレームについて、顔認識部２０が認識した人物１の顔を含む矩形領域を拡大させて、図３に示す矩形領域２を決定し、かつ、顔認識部２０が認識した矩形領域を縮小させて図３に示す矩形領域３を決定する。ここで、矩形領域２は、人物の顔を完全に含み、さらに、顔以外の領域も含む大きさとする。一方、矩形領域３は、その領域内においては人物の顔のみが含まれる大きさとする。つまり、顔の部分のみを含む領域とする。顔認識部２０が認識する矩形領域をどの程度拡大或いは縮小するかは、あらかじめ顔認識部２０が判定する矩形領域の特性に基づき決定しておく。なお、顔認識部２０が認識する矩形領域が常に人物の顔を完全に含み、さらに、顔以外の領域も含む大きさの場合には、顔認識部２０が認識する矩形領域をそのまま矩形領域２として使用できる。逆に、顔認識部２０が認識する矩形領域が常に、その領域内においては人物の顔のみを含むものであると、顔認識部２０が認識する矩形領域をそのまま矩形領域３として使用できる。なお、図２に示す様に、矩形領域３は、矩形領域２内の領域である。
【００１３】
重み判定部３２は、図３の矩形領域３と矩形領域２に挟まれた領域、つまり、矩形領域２内ではあるが、矩形領域３には含まれない領域にある画素を処理対象画素とし、処理対象画素それぞれについて、上下左右の４方向の画素との輝度値の差を４次元ベクトルとして求める。例えば、図４に示す輝度値の、中心に示す処理対象画素の輝度値は１００であり、処理対象の上、下、右、左の画素の輝度値は、それぞれ、１２０、１００、１０５、１０３であるので、当該処理対象画素の４次元ベクトルは、（２０、０、５、３）となる。なお、本例では、処理対象画素の上、下、右、左の画素との差を順に並べて４次元ベクトルとしたが、この順番は任意である。
【００１４】
重み判定部３２は、総ての処理対象画素について４次元ベクトルを求め、その要素の最大値で各ベクトルの要素の値を正規化する。例えば、処理対象画素が、画素＃１から＃Ｎの計Ｎ個あり、その４次元ベクトルが図５（Ａ）で示すものであったとする。なお、図５（Ａ）において、４次元ベクトルの要素の最大値は、画素＃１の１０であるものとする。この場合、重み判定部３２は、図４（Ｂ）に示す様に、各４次元ベクトルの各要素を１０で割って正規化後の４次元ベクトル（正規化ベクトル）を求める。
【００１５】
続いて、重み判定部３２は、各処理対象画素について、矩形領域２の中心からの距離を求める。図６に示す例において、画素＃１の中心からの距離は１０であり、画素＃Ｎの中心からの距離は１である。重み判定部３２は、中心からの距離に基づき、当該画素に対する乗数を（１−ｄ／Ｄ）で計算する。ここで、ｄは画素の中心からの距離であり、Ｄは処理対象画素の中心からの距離の最大値である。図６の例において、中心からの距離の最大値を、画素＃１の１０であるものとすると、画像＃１に対する乗数は０であり、画素＃Ｎに対する乗数は０.９となる。
【００１６】
重み判定部３２は、画素の正規化ベクトルの４つの要素の最大値に、当該画素の乗数を乗じて、当該画素の重みとする。例えば、画素＃１については、正規化ベクトルの４つの要素の最大値は１であるが、乗数は０であるため重みは０となる。また、画像＃Ｎについては、正規化ベクトルの４つの要素の最大値は０．６であり、乗数は０．９であるため重みは０．５４となる。
【００１７】
変換部３３は、処理対象画素の画素値に、当該画素の重みを乗ずる。本実施形態において重みは、矩形領域２の中心からの距離が遠くなる程小さくなる。つまり、矩形領域２の端部に近い程小さくなる。また、隣接画素との輝度値との差が小さい程、重みは小さくなる。したがって、矩形領域２と矩形領域３とにはさまれた画素の画素値を、当該画素の重みにより変更することで、顔の輪郭（隣接画素との輝度値の差が大きい）については元の画素値に近く、背景については、矩形領域２の中心からの距離が大きいため、元の画素値より小さくなる様に変更される。なお、顔の領域内の輝度値の変化が平坦な部分、例えば、髪の毛の部分等の画素は、隣接画素との輝度値の差は大きくないが、矩形領域２の中心からの距離がそれ程大きくないので、元の画素値から大きく変更されることはない。
【００１８】
以上の処理を、フレーム毎に実行することで、撮影部１０が固定されていなくとも顔部分を抽出して残りの部分を大きくぼかすことができる。なお、変換部３３による変換後の映像データを、例えば、通信相手の装置に送信して映像通信を行う構成とすることもできるが、図１に示す様に、さらに、合成部４０を設ける構成とすることもできる。合成部４０は、予め用意された所定の背景画像を、処理部３０が処理した後の各フレームに合成する。これにおり、顔以外の部分を隠すことができる。このとき、合成する背景画像の内、矩形領域３内に対応する領域の画素については画素値を総て０にする。また、背景画像の内、矩形領域２の外部の領域の画素については、そのままの画素値を使用する。そして、背景画像の内、矩形領域２の内部、かつ、矩形領域３の外部の領域の画素、つまり、重み判定部３２の処理対象画素と合成される画素については、１から当該処理対象画素の重みを減じた値で重み付けする。具体的には、例えば、図６に示す様に、画素＃２の重みは０．２４であるため、画素＃２に合成される背景画像の画素の画素値は、１−０．２４＝０．７６倍される。
【００１９】
なお、上記実施形態においては矩形領域２及び矩形領域３を四角形とした。しかしながら、矩形領域２に代えて、人物の顔を完全に含み、かつ、それ以外の領域を含む、例えば、円、楕円等の任意の形状の領域を使用することができる。また、同様に、矩形領域３に代えて、人物の顔のみを含む任意の形状の領域とすることができる。また、乗数を矩形領域２の中心からの距離により求めたが、矩形領域２、或いは、矩形領域２代えて使用する任意の形状の領域の端部からの距離により重みを求めることができる。なお、端部からの距離を使用する場合には、処理対象画素と領域の端部との距離の最小値を使用することができる。
【００２０】
なお、本発明による処理装置は、コンピュータを上記処理装置として動作させるプログラムにより実現することができる。これらコンピュータプログラムは、コンピュータが読み取り可能な記憶媒体に記憶されて、又は、ネットワーク経由で配布が可能なものである。
【符号の説明】
【００２１】
３１：領域決定部、３２：重み判定部、３３：変換部
【図１】
2017027462.tif 000003
【図２】
2017027462.tif 000004
【図３】
2017027462.tif 000005
【図４】
2017027462.tif 000006
【図５】
2017027462.tif 000007
【図６】
2017027462.tif 000008