(57)【特許請求の範囲】
【請求項１】
動画の処理装置であって、
第１フレームにおいて人物の顔を含む所定形状の第１領域を決定する決定手段と、
前記第１フレームの前記第１領域に基づき、前記第１フレームから前記人物の前記顔を含む所定の人物領域を抽出する抽出手段と、
を備え、
前記決定手段は、前記第１フレームの複数の第１画素それぞれに対応する、前記第１フレームより時間的に前の第２フレームの第２画素を判定し、前記第２画素それぞれから対応する前記第１画素に向かう複数のベクトルの方向に基づき、前記第１フレームの前記第１領域を、パターンマッチングにより決定するか前記第２フレームの前記第１領域に基づき決定するかを判定し、
前記決定手段は、前記複数のベクトルの所定方向に対する角度の分散が閾値より小さいと、前記第１フレームの前記第１領域を前記第２フレームの前記第１領域に基づき決定し、前記複数のベクトルの前記所定方向に対する角度の分散が前記閾値以上であると、前記第１フレームの前記第１領域をパターンマッチングにより決定することを特徴とする処理装置。
【請求項２】
前記決定手段は、前記第１フレームの前記第１領域を前記第２フレームの前記第１領域に基づき決定する場合、前記複数のベクトルの内、前記第２フレームの前記第１領域内の画素を始点とするベクトルに基づき、前記顔の移動状態を判定し、判定した移動状態と、前記第２フレームの前記第１領域に基づき、前記第１フレームの前記第１領域を決定することを特徴とする請求項１に記載の処理装置。
【請求項３】
前記決定手段は、前記顔の移動状態が静止であると判定すると、前記第２フレームの前記第１領域と同じ領域を前記第１フレームの前記第１領域として決定することを特徴とする請求項２に記載の処理装置。
【請求項４】
前記決定手段は、前記顔の移動状態がスライドであると判定すると、前記第２フレームの前記第１領域をスライドさせることで前記第１フレームの前記第１領域を決定することを特徴とする請求項２又は３に記載の処理装置。
【請求項５】
前記決定手段は、前記顔の移動状態が水平方向の振りであると判定すると、前記第２フレームの前記第１領域の水平方向の長さを短くすることで前記第１フレームの前記第１領域を決定することを特徴とする請求項２から４のいずれか１項に記載の処理装置。
【請求項６】
前記決定手段は、前記顔の移動状態が垂直方向の振りであると判定すると、前記第２フレームの前記第１領域の垂直方向の長さを短くすることで前記第１フレームの前記第１領域を決定することを特徴とする請求項２から５のいずれか１項に記載の処理装置。
【請求項７】
前記抽出手段は、前記第１フレームの前記第１領域に基づきグラフカット法により前記顔の領域を抽出することを特徴とする請求項１から６のいずれか１項に記載の処理装置。
【請求項８】
前記抽出手段は、前記第１フレームの前記第１領域を縮小させた第２領域を判定し、前記第２領域に基づきグラフカット法により前記顔の領域を抽出することを特徴とする請求項１から６のいずれか１項に記載の処理装置。
【請求項９】
前記抽出手段は、前記人物領域のテンプレートを示す情報を保持しており、前記テンプレートと、前記抽出した前記顔の領域に基づき、前記第１フレームの前記人物領域を抽出することを特徴とする請求項７又は８に記載の処理装置。
【請求項１０】
処理装置における動画の処理方法であって、
第１フレームにおいて人物の顔を含む所定形状の第１領域を決定する決定ステップと、
前記第１フレームの前記第１領域に基づき、前記第１フレームから前記人物の前記顔を含む所定の人物領域を抽出する抽出ステップと、
を含み、
前記決定ステップは、前記第１フレームの複数の第１画素それぞれに対応する、前記第１フレームより時間的に前の第２フレームの第２画素を判定するステップと、前記第２画素それぞれから対応する前記第１画素に向かう複数のベクトルの方向に基づき、前記第１フレームの前記第１領域を、パターンマッチングにより決定するか前記第２フレームの前記第１領域に基づき決定するかを判定するステップと、を含み、
前記決定ステップにおいては、前記複数のベクトルの所定方向に対する角度の分散が閾値より小さいと、前記第１フレームの前記第１領域を前記第２フレームの前記第１領域に基づき決定し、前記複数のベクトルの前記所定方向に対する角度の分散が前記閾値以上であると、前記第１フレームの前記第１領域をパターンマッチングにより決定することを特徴とする処理方法。
【請求項１１】
請求項１から９のいずれか１項に記載の処理装置としてコンピュータを機能させることを特徴とするプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、動画通信を行う際の動画の処理技術に関する。
【背景技術】
【０００２】
動画通信は、例えば、テレビ会議システム等で使用される。また、インターネットの普及により、例えば、自宅からテレビ会議に参加することも容易に行える様になっている。しかしながら、動画通信においては、通信を行っている人のみならず、その背景、例えば、自宅でテレビ会議システムに参加している様な場合、その部屋の様子も相手側に伝わってしまう。
【０００３】
このため、撮影した動画から、例えば、上半身といった、顔を含む人体の一部のみを抽出し、それ以外の領域については、他の画像と置換したりぼかしたりして送信することが求められる。背景画像が変化しない場合、予め用意した背景画像に基づき人物領域を抽出することが可能である。しかしながら、光の当たり具合等で背景画像も通常変化し、この場合には背景画像そのものも動的に更新する必要がある。ここで、検出したい人物が頻繁に移動する場合には、移動する人物を検出することで背景画像を動的に更新できるが、検出したい人物の移動が僅かであると、人物自体が背景として検出されるため、人物領域の検出精度が劣化する。
【０００４】
一方、非特許文献１は、パターンマッチングにより人物の顔を含む領域を検出することを開示している。例えば、非特許文献１に記載の構成により検出した顔を含む領域からグラフカット法により人物領域を抽出することが考えられる。
【先行技術文献】
【非特許文献】
【０００５】
【非特許文献１】Ｖｉｏｌａ  Ｐａｕｌ  ｅｔ  ａｌ，"Ｒａｐｉｄ  ｏｂｊｅｃｔ  ｄｅｔｅｃｔｉｏｎ  ｕｓｉｎｇ  ａ  ｂｏｏｓｔｅｄ  ｃａｓｃａｄｅ  ｏｆ  ｓｉｍｐｌｅ  ｆｅａｔｕｒｅｓ"，Ｃｏｍｐｕｔｅｒ  Ｖｉｓｉｏｎ  ａｎｄ  Ｐａｔｔｅｒｎ  Ｒｅｃｏｇｎｉｔｉｏｎ，ＣＶＰＲ  ２００１，Ｐｒｏｃｅｅｄｉｎｇｓ  ｏｆ  ｔｈｅ  ２００１  ＩＥＥＥ  Ｃｏｍｐｕｔｅｒ  Ｓｏｃｉｅｔｙ  Ｃｏｎｆｅｒｅｎｃｅ  ｏｎ．Ｖｏｌ．１  ２００１年
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、パターンマッチングによる検出は、人物がカメラの方向を向いている場合には精度良く行うことができるが、人物がカメラに対して横方向や、下方向等を向いた場合には精度良く行うことができない。
【０００７】
本発明は、顔を含む人物領域を精度良く抽出可能な動画の処理装置、処理方法及びプログラムを提供するものである。
【課題を解決するための手段】
【０００８】
本発明の一側面によると、動画の処理装置は、第１フレームにおいて人物の顔を含む所定形状の第１領域を決定する決定手段と、前記第１フレームの前記第１領域に基づき、前記第１フレームから前記人物の前記顔を含む所定の人物領域を抽出する抽出手段と、を備え、前記決定手段は、前記第１フレームの複数の第１画素それぞれに対応する、前記第１フレームより時間的に前の第２フレームの第２画素を判定し、前記第２画素それぞれから対応する前記第１画素に向かう複数のベクトルの方向に基づき、前記第１フレームの前記第１領域を、パターンマッチングにより決定するか前記第２フレームの前記第１領域に基づき決定するかを判定し、前記決定手段は、前記複数のベクトルの所定方向に対する角度の分散が閾値より小さいと、前記第１フレームの前記第１領域を前記第２フレームの前記第１領域に基づき決定し、前記複数のベクトルの前記所定方向に対する角度の分散が前記閾値以上であると、前記第１フレームの前記第１領域をパターンマッチングにより決定することを特徴とする。
【発明の効果】
【０００９】
本発明によると、顔を含む人物領域を精度良く抽出することができる。
【図面の簡単な説明】
【００１０】
【図１】一実施形態による処理装置の構成図。
【図２】一実施形態による処理装置における処理のフローチャート。
【図３】一実施形態による矩形領域決定処理のフローチャート。
【図４】一実施形態によるコア領域決定処理の説明図。
【図５】一実施形態によるテンプレートを示す図。
【図６】一実施形態による評価値算出処理の説明図。
【図７】一実施形態による矩形領域追跡処理の説明図。
【発明を実施するための形態】
【００１１】
以下、本発明の例示的な実施形態について図面を参照して説明する。なお、以下の実施形態は例示であり、本発明を実施形態の内容に限定するものではない。また、以下の各図においては、実施形態の説明に必要ではない構成要素については図から省略する。
【００１２】
図１は、本実施形態による処理装置の構成図である。撮影部１０は、人物を含む動画を撮影して動画データを矩形領域決定部２０に出力する。矩形領域決定部２０は、動画データが示す動画の各フレームについて、人物の顔を含む矩形領域を決定する。処理部３０は、矩形領域決定部２０が決定したフレーム内の矩形領域に基づき、当該フレームの人物領域を決定する。なお、以下の説明においては、人物の上半身部分の領域を決定するものとする。合成部４０は、処理部３０が決定した人物領域をフレームから抽出し、予め用意した他の画像と合成する。なお、予め用意した他の画像と合成するのではなく、処理部３０が決定した人物領域以外の部分を削除したり、ぼかしたりする構成であっても良い。
【００１３】
図２は、本実施形態による処理装置における処理のフローチャートである。矩形領域決定部２０は、Ｓ１０で、処理対象フレームにおいて顔を含む矩形領域を決定する。なお、Ｓ１０での処理の詳細については後述する。処理部３０は、Ｓ１１で、矩形領域決定部２０が決定した矩形領域を縮小して、コア領域を決定する。図４は、Ｓ１１におけるコア領域決定処理の説明図である。図４において、矩形領域２は、矩形領域決定部２０が決定した人物１の顔領域４を含む矩形領域である。図２に示す様に、矩形領域決定部２０が決定する矩形領域２は、通常、顔以外の背景部分を含んでいる。矩形領域に含まれる背景部分が大きいと、グラフカット法による顔領域４の抽出精度が劣化する。したがって、本実施形態では、含まれる背景部分が少なくなる様に、コア領域３を決定する。
【００１４】
図４に示す様に、本実施形態において、コア領域３の中心は、矩形領域決定部２０が決定した矩形領域２の中心と同じとし、コア領域３の高さ及び幅は、それぞれ、矩形領域２の高さ及び幅に所定の係数δ（０＜δ≦１）を乗じた値とする。なお、高さとは垂直方向の長さ（Ｙ軸方向）であり、幅とは水平方向（Ｘ軸方向）の長さとする。本実施形態において、係数δの値は、予め、実験的に求めておくものとする。しかしながら、コア領域３の高さ及び幅が小さくなり過ぎても、グラフカット法による顔領域４の抽出精度が劣化するため、コア領域３の高さ及び幅の最小値を決めておき、係数δにより得られた高さ及び幅が最小値より小さくなる場合には、コア領域３の高さ及び幅を予め決めておいた最小値にする構成であっても良い。なお、コア領域３を求めるのではなく、矩形領域２に基づきグラフカット法により顔領域４を抽出する構成であっても良い。その場合には、図２のＳ１１は省略される。
【００１５】
図２に戻り、Ｓ１２において、処理部３０は、コア領域３に基づきグラフカット法により顔領域４を抽出する。処理部３０は、図５に示す様な、人物の上半身のテンプレート６を示すテンプレート情報を保持している。テンプレート６は、人物の上半身領域を示す雛形である。処理部３０は、テンプレート６の顔部分の大きさが、抽出した顔領域４の大きさに近づく様に、テンプレート６の大きさを調整し、調整後のテンプレート６に基づきフレーム内における人物の顔領域４を除く上半身部分を特定する。そして、処理部３０は、調整後のテンプレート６に基づき判定した顔領域４を除く上半身部分と、抽出した顔領域４と、を含む部分を、人物１の上半身に対応する人物領域として特定する。既に説明した様に、合成部４０は、処理部３０がこの様にして特定したフレーム内の人物領域を抽出し、他の画像と合成する。
【００１６】
続いて、図２のＳ１０における矩形領域決定処理について説明する。図３は、図２のＳ１０における矩形領域決定処理の詳細を示すフローチャートである。なお、最初のフレームについてはパターンマッチングにより矩形領域２を検出する。つまり、図３の処理は、２番目以降のフレームに対する処理である。まず、Ｓ２０において、矩形領域決定部２０は、処理対象フレームと、１つ前のフレーム（以下、直前フレームと呼ぶ。）それぞれについて複数の特徴点を抽出し、さらに、直前フレームと処理対象フレームの各特徴点の対応関係を判定する。特徴点の対応関係は、特徴点間の距離が画素値等に基づき判定することができる。そして、直前フレームの特徴点から、処理対象フレームの対応する特徴点に向かうベクトルを、各特徴点について判定する。図６（Ａ）の矢印は、この特徴点のベクトルを示している。なお、人物以外の領域（背景部分）の変化は、通常、小さいため、非零のべクトルの多くは、人物領域に対応する。したがって、各ベクトルは、直前フレームから処理対象フレームにかけての人物領域の動きを主に示している。
【００１７】
矩形領域決定部２０は、Ｓ２１において、図６（Ｂ）に示す様に、各ベクトルのＸ軸方向（水平方向）に対する角度θを判定し、総てのべクトルの角度θの分散Ｔを求めこれを動きの評価値とする。なお、角度の基準方向は、Ｘ軸方向に限定されず、所定方向とすることができる。なお、その絶対値が０であるベクトルについては評価値の算出に使用しない構成とすることができる。さらには、その絶対値が０ではないが、例えば、１画素間の距離程度の非常に小さいベクトルについても評価値の算出に使用しない構成とすることができる。矩形領域決定部２０は、Ｓ２２において、評価値Ｔと閾値を比較する。評価値Ｔが閾値以上であると、矩形領域決定部２０は、Ｓ２３においてパターンマッチングにより矩形領域２を検出する。一方、評価値Ｔが閾値未満であると、矩形領域決定部２０は、Ｓ２４において直前フレームの矩形領域２に基づき、処理対象フレームの矩形領域２を決定する。
【００１８】
以下、Ｓ２４において、直前フレームの矩形領域２に基づき、処理対象フレームの矩形領域２をどの様に決定するかについて図７を用いて説明する。基本的な考え方は、Ｓ２１で求めたベクトルの内、直前フレームの矩形領域内を始点とするベクトル（以下、判定ベクトルと呼ぶ。）に基づき、矩形領域２の位置及びサイズを調整して処理対象フレームの矩形領域２とする。なお、位置及びサイズの調整量は、判定ベクトルの方向と、その絶対値に基づき決定する。本実施形態においては、人物１の顔領域４の移動状態を図７に示す５つの状態に分類する。そして、矩形領域決定部２０は、直前フレームから処理対象フレームまでの顔領域４の移動状態が、図７に示す５つの状態の何れであるかを判定ベクトルに基づき判定する。
【００１９】
まず、静止状態とは、人物１の顔領域４が殆ど移動していない状態である。したがって、総ての判定ベクトルの絶対値が小さい場合に静止状態と判定する。具体的には、判定ベクトルの総ての絶対値が有る小さな値以下である場合に静止状態であると判定する。静止状態の場合、矩形領域決定部２０は、直前フレームの矩形領域２の位置、高さ及び幅を変更せずに、そのまま処理対象フレームの矩形領域２とする。
【００２０】
スライド状態とは、人物１の顔領域４の方向が同じまま、何れかの方向にスライドしている状態に対応する。したがって、各判定ベクトルが略同じ方向を向いており、その絶対値の差が小さい場合にスライド状態と判定する。具体的には、例えば、各判定ベクトルの方向を、水平及び垂直方向を含み、４５度間隔で設けた８方向のいずれかで近似する。そして、各判定ベクトルの所定割合以上が同じ方向であると、各判定ベクトルが略同じ方向を向いていると判定することができる。また、各判定ベクトルの絶対値の分散が所定値以下であると、絶対値の差が小さいと判定することができる。スライド状態の場合、矩形領域決定部２０は、直前フレームの矩形領域２の高さ及び幅については変更せずに、その位置をスライドさせる。なお、スライドさせる方向は、例えば、判定ベクトルの方向を平均化した方向であり、スライドさせる量は、判定ベクトルの絶対値の平均値とすることができる。
【００２１】
ヘッドピッチング状態とは、人物１が、下を向く、或いは、上を向く動作をした状態、つまり、人物が上下方向に首を振った状態に対応する。したがって、各判定ベクトルが略垂直方向に向いているが、その絶対値が垂直方向位置により異なる場合、ヘッドピッチング状態と判定する。或いは、各判定ベクトルが略垂直方向に向いているが、垂直方向の上側と下側ではその向きが互いに逆である場合、ヘッドピッチング状態と判定する。具体的には、スライド状態の判定と同様に、各判定ベクトルの方向を近似し、所定割合以上のベクトルが垂直方向であると、各判定ベクトルが略垂直方向に向いていると判定することができる。また、各判定ベクトルを垂直方向の所定幅単位でグループ化し、グループ内の判定ベクトルの絶対値の平均を求める。そして、グループ内の判定ベクトルの絶対値の分散が所定値以下であり、かつ、グループ間の平均の差が所定値より大きいと、判定ベクトルの絶対値が垂直方向位置により異なると判定することができる。ヘッドピッチング状態の場合、矩形領域決定部２０は、直前フレームの矩形領域２の幅及び位置は変更せず、高さのみを変更する。これは、人物が上又は下を向くことで、フレームにおける顔領域４の高さが変化するからである。なお、高さの変更量は、判定ベクトルに基づき求めるが、その算出方法は、予め実験的に求めておく。なお、位置については、下を向いたか上を向いたかに応じて垂直方向に移動させる構成であっても良い。この場合、移動量は、判定ベクトルの絶対値に基づき求める。
【００２２】
ヘッド回転状態とは、人物１が、左又は右を向く動作をした状態、つまり、人物が左右に首を振った状態に対応する。したがって、各判定ベクトルが略水平方向に向いているが、その絶対値が水平方向位置により異なる場合、ヘッド回転状態と判定する。また、矩形領域の左側と右側でその向きが異なる場合もヘッド回転状態と判定することができる。なお、判定方法はヘッドピッチング状態と同様である。ヘッド回転状態の場合、矩形領域決定部２０は、直前フレームの矩形領域２の高さ及び位置は変更せず幅のみを変更する。これは、人物が右又は左を向くことで、フレームにおける顔領域４の幅が変化するからである。なお、位置については、右を向いたか左を向いたかに応じて水平方向に移動させる構成であっても良い。なお、幅の変更量や、水平方向の移動量は、判定ベクトルに基づき求めるが、その算出方法は、予め実験的に求めておく。
【００２３】
その他状態とは、上記いずれの状態であるかを判定できない場合に対応する。この場合、矩形領域決定部２０は、直前フレームの矩形領域２の位置、高さ及び幅を変更する。なお、位置については判定ベクトルの平均ベクトルだけスライドさせる。高さ及び幅の変更量は、判定ベクトルに基づき判定する。なお、判定ベクトルから高さ及び幅の変更量を算出する方法は、予め実験的に求めておく。
【００２４】
以上、本実施形態において、処理装置は、処理対象フレームの直前フレームからの動きを評価する。例えば、動きの評価は、処理対象フレームと直前フレームの対応する画素の移動方向のバラツキが大きいか否かを判定することにより行う。本実施形態では、対応する画素を特徴点により判定し、移動方向のバラツキが大きいか否かについては、移動方向を角度で表し、この角度の分散が閾値より大きいか否かにより判定する。角度の分散が閾値未満である場合、動きは単純であり、よって、直前フレームにおいて判定した顔領域を含む矩形領域を、評価した動きに基づき移動させ、或いは、その大きさを変化させることで処理対象フレームにおける矩形領域を判定することができる。例えば、ヘッドピッチングやヘッド回転は、単純な動きであり、よって、人物がカメラに顔を向けた状態から、顔を横に向けたり、下に向けたりしても、顔を含む矩形領域を精度良く判定できる。一方、角度の分散が閾値以上であると、再度、パターンマッチングにより顔を含む矩形領域を検出する。この構成により、人物の顔を含む矩形領域を精度良く検出でき、よって、人物領域を精度良く抽出することができる。
【００２５】
なお、上記実施形態では、顔を含む領域として矩形領域を使用したが、矩形領域以外の所定形状の領域を検出する構成であっても良い。また、本実施形態において抽出する人物領域を上半身としたが、テンプレートを変更することで顔を含む任意の領域を抽出することができる。また、本実施形態では、矩形領域決定部２０は、直前フレームと処理対象フレームとの比較により、図３の処理を行っていた。しかしながら、処理対象フレームより２つ前のフレームや、３つ前のフレーム等、処理対象フレームより時間的に前のフレームに基づき図３の処理を行うこともできる。さらに、本実施形態では、顔領域４の移動状態を図７に示す５つに分類したが、分類方法は、図７に示すものに限定されない。また、顔領域４の移動状態の判定基準についても、上述したものに限定されず、他の判定基準を使用することができる。
【００２６】
なお、本発明による処理装置は、コンピュータを上記処理装置として動作させるプログラムにより実現することができる。これらコンピュータプログラムは、コンピュータが読み取り可能な記憶媒体に記憶されて、又は、ネットワーク経由で配布が可能なものである。
【符号の説明】
【００２７】
２０：矩形領域決定部、３０：処理部
【図１】
0006606447.tif 000002
【図２】
0006606447.tif 000003
【図３】
0006606447.tif 000004
【図４】
0006606447.tif 000005
【図５】
0006606447.tif 000006
【図６】
0006606447.tif 000007
【図７】
0006606447.tif 000008