(57)【要約】  顔検出方法は、ビデオ画像シーケンスを取得することと、第１判断結果を取得するべく、ビデオ画像シーケンスに対してビデオショット境界検出プロセスを実行してショットの変化がビデオ画像シーケンス内に存在しているかどうかを判定することと、ショットの変化がビデオ画像シーケンス内に存在していると第１判断結果が示す場合に、顔検出に失敗したと判定することと、を含む。又、本開示は、ビデオ画像シーケンスを取得するように構成された取得ユニットと、第１判断結果を取得するべく、ビデオ画像シーケンスに対してビデオショット境界検出プロセスを実行してショットの変化がビデオ画像シーケンス内に存在しているかどうかを判定するように構成された第１検出ユニットと、ショットの変化がビデオ画像シーケンス内に存在していると第１判断結果が示す場合に、顔検出に失敗したと判定するように構成された判定ユニットと、を含む顔検出装置をも提供する。
2018508875.tif 000002
【特許請求の範囲】
【請求項１】
顔検出方法であって、
ビデオ画像シーケンスを取得することと、
第１判断結果を取得するべく、前記ビデオ画像シーケンスに対してビデオショット境界検出プロセスを実行してショットの変化が前記ビデオ画像シーケンス内に存在しているかどうかを判定することと、
ショットの変化が前記ビデオ画像シーケンス内に存在していると前記第１判断結果が示す場合に、顔検出に失敗したと判定することと、
を含む方法。
【請求項２】
前記ビデオ画像シーケンスに対してビデオショット境界検出プロセスを実行してショットの変化が前記ビデオ画像シーケンス内に存在しているかどうかを判定することは、
画像特徴ベクトルを取得するべく、画像特徴抽出領域内において前記ビデオ画像シーケンスに対して画像特徴抽出を実行することと、
２つの画像フレームのコンテンツ連続性を判定するべく、前記２つの画像フレームの前記画像特徴ベクトルにより、計算して前記２つの画像フレームの間の類似度値を取得することと、
前記類似度値に従って前記２つの画像フレームがコンテンツにおいて不連続であると判定された場合に、ショットの変化が前記ビデオ画像シーケンス内に存在していると判定することと、
を含む請求項１に記載の方法。
【請求項３】
前記画像特徴抽出領域は、単一のピクセル特徴抽出領域、ピクセルブロック特徴抽出領域、又は完全なフレーム画像特徴抽出領域のうちのいずれか１つを含む請求項２に記載の方法。
【請求項４】
画像特徴ベクトルを取得するべく、前記ビデオ画像シーケンスに対して画像特徴抽出を実行することは、
選択されたカラー領域内において、前記ビデオ画像シーケンスの画像フレームのピクセルグレーレベル統計値又はピクセルカラー統計値を取得し、前記取得されたピクセルグレーレベル統計値又はピクセルカラー統計値により、前記画像特徴ベクトルを構成することと、
前記ビデオ画像シーケンス内の画像フレームのグレーレベルヒストグラム又はカラーヒストグラムを取得することと、
前記ビデオ画像シーケンス内の画像フレームの画像エッジ特徴を取得することと、
対応する画像特徴ベクトルを取得するべく、圧縮ドメインを利用し、オリジナル画像をその他の特徴領域に変換することと、
のうちの少なくとも１つを含む請求項２に記載の方法。
【請求項５】
前記２つの画像フレームは、ｉ番目の画像フレームと、ｊ番目の画像フレームと、であり、この場合に、ｊ＝ｉ＋ｎ（ｎ≧１）であり、ｉ≧１である請求項２に記載の方法。
【請求項６】
前記ビデオショット境界検出プロセスは、ビデオショットカット検出プロセスを含む請求項２に記載の方法。
【請求項７】
前記２つの画像フレームの間の前記類似度値に従って前記２つの画像フレームがコンテンツにおいて不連続であると判定された場合に、ショットの変化が前記ビデオ画像シーケンス内に存在していると判定することは、
前記２つの画像フレームの間の前記類似度値が第１閾値未満である場合に、カットの変化が前記２つの画像フレームの間に存在しており、且つ、ショットの変化が前記ビデオ画像シーケンス内に存在していると判定すること、
を含む請求項６に記載の方法。
【請求項８】
前記２つの画像フレームの間の前記類似度値に従って前記２つの画像フレームがコンテンツにおいて不連続であると判定された場合に、ショットの変化が前記ビデオ画像シーケンス内に存在していると判定することは、
近傍法アルゴリズムのｋ近傍法（ＫＮＮ）分類器、決定木、又はサポートベクトルマシン（ＳＶＭ）に基づいて前記２つの画像フレームの間の前記類似度値を判断し、カットの変化が前記画像の２つのフレームの間に存在していると前記判断結果が示す場合に、ショットの変化が前記ビデオ画像シーケンス内に存在していると判定すること、
を含む請求項６に記載の方法。
【請求項９】
前記ビデオショット境界検出プロセスは、ビデオショット漸進的変化検出プロセスを含み、前記画像の２つのフレームの間の前記類似度値に従って前記２つの画像フレームがコンテンツにおいて不連続であると判定された場合に、ショットの変化が前記ビデオ画像シーケンス内に存在していると判定することは、
前記画像の２つのフレームの間の前記類似度値が第３閾値超であると共に第４閾値未満であると判定された場合に、前記２つの画像フレームの後続の画像フレームを取得することと、
前記後続の画像フレームのペアワイズな画像フレームの間の前類似度値が前記第４閾値超となる時点まで、前記ペアワイズな画像フレームの間の類似度値を算出することと、
前記取得された画像フレームの前記類似度値の合計を算出し、前記類似度値の前記合計が第５閾値未満である場合に、漸進的な変化が前記ビデオ画像シーケンス内に存在しており、且つ、ショットの変化が前記ビデオ画像シーケンス内に存在していると判定することと、
を含む請求項２に記載の方法。
【請求項１０】
第２判断結果を取得するべく、顔特徴点検出プロセスに基づいて前記顔検出を実行することと、
顔検出条件が充足されていると前記第２判断結果が示しており、且つ、ショットの変化が前記ビデオ画像シーケンス内に存在していないと前記第１判断結果が示している場合に、前記顔検出に成功したと判定することと、
を更に含む請求項１に記載の方法。
【請求項１１】
ショットの変化が前記ビデオ画像シーケンス内に存在しているかどうかを判定するべく、前記ビデオ画像シーケンスに対してビデオショット境界検出プロセスを実行することは、
画像特徴ベクトルを取得するべく、画像特徴抽出領域内において前記ビデオ画像シーケンスに対して画像特徴抽出を実行することと、
２つの画像フレームのコンテンツ連続性を判定するべく、前記２つの画像フレームの前記画像特徴ベクトルにより、計算して前記２つの画像フレームの間のフレーム差値を取得することと、
前記２つの画像フレームの間の前記算出されたフレーム差値に従って前記２つの画像フレームがコンテンツにおいて不連続であると判定された場合に、ショットの変化が前記ビデオ画像シーケンス内に存在していると判定することと、
を含む請求項１に記載の方法。
【請求項１２】
前記画像特徴抽出領域は、単一のピクセル特徴抽出領域、ピクセルブロック特徴抽出領域、又は完全なフレーム画像特徴抽出領域のうちのいずれか１つを含む請求項１１に記載の方法。
【請求項１３】
画像特徴ベクトルを取得するべく、前記ビデオ画像シーケンスに対して画像特徴抽出を実行することは、
選択されたカラー領域内において、前記ビデオ画像シーケンス内の画像フレームのピクセルグレーレベル統計値又はピクセルカラー統計値を取得し、前記取得されたピクセルグレーレベル統計値又はピクセルカラー統計値により、前記画像特徴ベクトルを構成することと、
前記ビデオ画像シーケンス内の画像フレームのグレーレベルヒストグラム又はカラーヒストグラムを取得することと、
前記ビデオ画像シーケンス内の画像フレームの画像エッジ特徴を取得することと、
対応する画像特徴ベクトルを取得するべく、圧縮ドメインを利用し、オリジナルの画像をその他の特徴領域に変換することと、
のうちの少なくとも１つを含む請求項１１に記載の方法。
【請求項１４】
前記ビデオショット境界検出プロセスは、ビデオショットカット検出プロセスを含む請求項１１に記載の方法。
【請求項１５】
前記画像の２つのフレームの間の前記フレーム差値に従って前記２つの画像フレームがコンテンツにおいて不連続であると判定された場合に、ショットの変化が前記ビデオ画像シーケンス内に存在していると判定することは、
前記２つの画像フレームの間の前記フレーム差値が第２閾値超である場合に、カットの変化が前記２つの画像フレームの間に存在しており、且つ、ショットの変化が前記ビデオ画像シーケンス内に存在していると判定すること、
を含む請求項１４に記載の方法。
【請求項１６】
前記２つの画像フレームの間の前記類似度値に従って前記２つの画像フレームがコンテンツにおいて不連続であると判定された場合に、ショットの変化が前記ビデオ画像シーケンス内に存在していると判定することは、
近傍法アルゴリズムのｋ近傍法（ＫＮＮ）分類器、決定木、又はサポートベクトルマシン（ＳＶＭ）に基づいて、前記２つの画像フレームの間の前記フレーム差値を判断し、カットの変化が前記画像の２つのフレームの間に存在していると前記判断結果が示す場合に、ショットの変化が前記ビデオ画像シーケンス内に存在していると判定すること、
を含む請求項１４に記載の方法。
【請求項１７】
前記ビデオショット境界検出プロセスは、ビデオショット漸進的変化検出プロセスを含み、前記２つの画像フレームの間の前記フレーム差値に従って前記２つの画像フレームがコンテンツにおいて不連続であると判定された場合に、ショットの変化が前記ビデオ画像シーケンス内に存在していると判定することは、
前記２つの画像フレームの間の前記フレーム差値が第６閾値超であると共に第７閾値未満であると判定された場合に、前記２つの画像フレームの後続の画像フレームを取得することと、
前記後続の画像フレームのペアワイズな画像フレームの間の前記フレーム差値が前記第６閾値未満となる時点まで、前記ペアワイズな画像フレームの間の前記フレーム差値を算出することと、
前記フレーム差値の合計を算出し、前記合計が前記第７閾値超である場合に、漸進的な変化が前記ビデオ画像シーケンス内に存在しており、且つ、ショットの変化が前記ビデオ画像シーケンス内に存在していると判定することと、
を含む請求項１１に記載の方法。
【請求項１８】
顔検出装置であって、
ビデオ画像シーケンスを取得するように構成された取得ユニットと、
第１判断結果を取得するべく、前記ビデオ画像シーケンスに対してビデオショット境界検出プロセスを実行してショットの変化が前記ビデオ画像シーケンス内に存在しているかどうかを判定するように構成された第１検出ユニットと、
ショットの変化が前記ビデオ画像シーケンス内に存在していると前記第１判断結果が示す場合に、顔検出に失敗したと判定するように構成された判定ユニットと、
を含む装置。
【請求項１９】
前記第１検出ユニットは、
画像特徴ベクトルを取得するべく、画像特徴抽出領域内において前記ビデオ画像シーケンスに対して画像特徴抽出を実行し、
２つの画像フレームのコンテンツ連続性を判定するべく、前記２つの画像フレームの前記画像特徴ベクトルに基づいて類似度又はフレーム差値を算出し、
前記類似度又はフレーム差値に従って前記２つの画像フレームがコンテンツにおいて不連続であると判定された場合に、ショットの変化が前記ビデオ画像シーケンス内に存在していると判定する、
ように更に構成されている請求項１８に記載の装置。
【請求項２０】
前記画像特徴抽出領域は、単一のピクセル特徴抽出領域、ピクセルブロック特徴抽出領域、又は完全なフレーム画像特徴抽出領域のうちのいずれか１つを含む請求項１９に記載の装置。
【発明の詳細な説明】
【技術分野】
【０００１】
関連出願の相互参照
本出願は、２０１５年１月２６日付けで出願された中国特許出願第２０１５１００３８５９１．６号に基づくと共に、この特許出願に対する優先権を主張するものであり、この特許文献の内容は、引用により、そのすべてが本明細書において包含される。
【０００２】
技術分野
本発明は、データ処理の技術分野に関し、更に詳しくは、生体顔検出方法及び装置に関する。
【背景技術】
【０００３】
背景技術
顔認識は、その利便性、使い易さ、及び非接触性などに起因し、有効な識別認証及び認識技術として、広く使用されている。但し、顔認識システムは、不正なユーザーからの攻撃にも、容易に晒される。顔認識システムのセキュリティは、大きな懸念事項となっている。
【０００４】
顔認識システムに対する攻撃には、主に、写真攻撃、ビデオ攻撃、及び３Ｄモデル攻撃という３つのタイプが含まれる。正当なユーザーの写真又はビデオを取得した後に、無法者又は偽のユーザーは、システムを欺くべく、正当なユーザーの写真又はビデオを偽造顔として使用する場合がある。従来技術には、実際の顔を写真及びビデオと区別すると共に顔認識システムに対する可能な攻撃に対して予防策を講じるべく、主に、（１）画像分類方法を通じて、実際の顔の撮像を写真又はビデオの再撮像と区別する、（２）静止写真又は３Ｄモデルではなく、実際の顔であることをビデオトラッキング技術によって判定する、並びに、（３）ユーザーインタラクション技術により、ユーザーになんらかの動作をランダムに実行させ、且つ、収集された情報が、偽造写真、ビデオ、又は３Ｄモデルではなく、生体顔であると判定するように、コンピュータビジョン技術により、ユーザーの動作が正しいかどうかを判定する、という３種類の検出方法が存在している。
【発明の概要】
【発明が解決しようとする課題】
【０００５】
画像分類に基づいた方法は、低い精度、高い誤判定比率、及び低いセキュリティを有する。ビデオトラッキング技術は、高い顔検出精度を有するが、大量の計算を必要としており、且つ、異なる端末装置上におけるリアルタイム処理の実現が困難である。第３の方法は、高速の処理速度を有し、且つ、異なる端末装置上におけるリアルタイム処理を実現することが可能であるが、その精度が相対的に限られていることから、いくつかの意図的な攻撃に対して防御することができない。従って、意図的な攻撃に対して防御することが可能であり、且つ、顔検出システムのセキュリティを改善することができる生体顔検出方法及びシステムに対するニーズが存在している。
【課題を解決するための手段】
【０００６】
概要
本開示は、顔検出方法を提供する。いくつかの実施形態に準拠した状態において、方法は、ビデオ画像シーケンスを取得することと、第１判断結果を取得するべく、ビデオ画像シーケンスに対してビデオショット境界検出プロセスを実行してショットの変化がビデオ画像シーケンス内に存在しているかどうかを判定することと、ショットの変化がビデオ画像シーケンス内に存在していると第１判断結果が示す場合に、顔検出に失敗したと判定することと、を含む。
【０００７】
いくつかの実施形態によれば、ビデオショット境界検出プロセスは、画像特徴ベクトルを取得するべく、画像特徴抽出領域内においてビデオ画像シーケンスに対して画像特徴抽出を実行することと、２つの画像フレームのコンテンツ連続性を判定するべく、２つの画像フレームの画像特徴ベクトルにより、計算して２つの画像フレームの間の類似度値を取得することと、類似度値に従って２つの画像フレームがコンテンツにおいて不連続であると判定された場合に、ショットの変化がビデオ画像シーケンス内に存在していると判定することと、を含む。画像特徴抽出領域は、単一のピクセル特徴抽出領域、ピクセルブロック特徴抽出領域、又は完全なフレーム画像特徴抽出領域を含んでいてもよい。いくつかの実施形態によれば、２つの画像フレームは、ｉ番目の画像フレームと、ｊ番目の画像フレームと、であり、この場合に、ｊ＝ｉ＋ｎ（ｎ≧１）であり、ｉ≧１である。
【０００８】
いくつかの実施形態においては、ビデオショット境界検出プロセスは、ビデオショットカット検出プロセスを含む。２つの画像フレームの間の類似度値が第１閾値未満である場合には、カットの変化が２つの画像フレームの間に存在しており、且つ、ショットの変化がビデオ画像シーケンス内に存在していると判定されてもよい。
【０００９】
いくつかのその他の実施形態によれば、ビデオショット境界検出プロセスは、ビデオショット漸進的変化検出プロセスを含む。画像の２つのフレームの間の類似度値に従って２つの画像フレームがコンテンツにおいて不連続であると判定された場合に、ショットの変化がビデオ画像シーケンス内に存在していると判定することは、画像の２つのフレームの間の類似度値が第３閾値超であると共に第４閾値未満であると判定された場合に、２つの画像フレームの後続の画像フレームを取得することと、後続の画像フレームのペアワイズな画像フレームの間の類似度値が第４閾値超となる時点まで、ペアワイズな画像フレームの間の類似度値を算出することと、取得された画像フレームの類似度値の合計を算出することと、類似度値の合計が第５閾値未満である場合に、漸進的な変化がビデオ画像シーケンス内に存在しており、且つ、ショットの変化がビデオ画像シーケンス内に存在していると判定することと、を含んでいてもよい。
【００１０】
いくつかの更なる実施形態によれば、方法は、第２判断結果を取得するべく、顔特徴点検出プロセスに基づいて顔検出を実行することと、顔検出条件が充足されていると第２判断結果が示しており、且つ、ショットの変化がビデオ画像シーケンス内に存在していないと第１判断結果が示す場合に、顔検出に成功したと判定することと、を更に含んでいてもよい。
【００１１】
本開示のいくつかのその他の実施形態に準拠した状態において、ビデオショット境界検出プロセスは、画像特徴ベクトルを取得するべく、画像特徴抽出領域内においてビデオ画像シーケンスに対して画像特徴抽出を実行することと、２つの画像フレームのコンテンツ連続性を判定するべく、２つの画像フレームの画像特徴ベクトルにより、計算して２つの画像フレームの間のフレーム差値を取得することと、２つの画像フレームの間の算出されたフレーム差値に従って２つの画像フレームがコンテンツにおいて不連続であると判定された場合に、ショットの変化がビデオ画像シーケンス内に存在していると判定することと、を含んでいてもよい。
【００１２】
いくつかの実施形態によれば、ビデオショット境界検出プロセスは、ビデオショットカット検出プロセスを含んでいてもよい。画像の２つのフレームの間のフレーム差値に従って２つの画像フレームがコンテンツにおいて不連続であると判定された場合に、ショットの変化がビデオ画像シーケンス内に存在していると判定することは、２つの画像フレームの間のフレーム差値が第２閾値超である場合に、カットの変化が２つの画像フレームの間に存在しており、且つ、ショットの変化がビデオ画像シーケンス内に存在していると判定することを含んでいてもよい。
【００１３】
いくつかのその他の実施形態によれば、ビデオショット境界検出プロセスは、ビデオショット漸進的変化検出プロセスを含んでいてもよい。２つの画像フレームの間のフレーム差値に従って２つの画像フレームがコンテンツにおいて不連続であると判定された場合に、ショットの変化がビデオ画像シーケンス内に存在していると判定することは、２つの画像フレームの間のフレーム差値が第６閾値超であると共に第７閾値未満であると判定された場合に、２つの画像フレームの後続の画像フレームを取得することと、後続の画像フレームのペアワイズな画像フレームの間のフレーム差値が第６閾値未満となる時点まで、ペアワイズな画像フレームの間のフレーム差値を算出することと、フレーム差値の合計を算出することと、合計が第７閾値超である場合に、漸進的な変化がビデオ画像シーケンス内に存在しており、且つ、ショットの変化がビデオ画像シーケンス内に存在していると判定することと、を含んでいてもよい。
【００１４】
又、本開示は、顔検出装置をも提供する。いくつかの実施形態に準拠した状態において、装置は、ビデオ画像シーケンスを取得するように構成された取得ユニットと、第１判断結果を取得するべく、ビデオ画像シーケンスに対してビデオショット境界検出プロセスを実行してショットの変化がビデオ画像シーケンス内に存在しているかどうかを判定するように構成された第１検出ユニットと、ショットの変化がビデオ画像シーケンス内に存在していると第１判断結果が示す場合に、顔検出に失敗したと判定するように構成された判定ユニットと、を含む。
【００１５】
いくつかの実施形態においては、第１検出ユニットは、画像特徴ベクトルを取得するべく画像特徴抽出領域内においてビデオ画像シーケンスに対して画像特徴抽出を実行し、２つの画像フレームのコンテンツ連続性を判定するべく２つの画像フレームの画像特徴ベクトルに基づいて類似度又はフレーム差値を算出し、類似度又はフレーム差値に従って２つの画像フレームがコンテンツにおいて不連続であると判定された場合に、ショットの変化がビデオ画像シーケンス内に存在していると判定するように、更に構成されていてもよい。
【００１６】
いくつかの実施形態においては、顔検出装置は、第２判断結果を取得するべく、顔特徴点検出プロセスを実行するように構成された第２検出ユニットを含んでいてもよい。判定ユニットは、顔検出条件が充足されていると第２判断結果が示しており、且つ、ショットの変化がビデオ画像シーケンス内に存在していないと第１判断結果が示す場合に、顔検出に成功したと判定するように構成されていてもよい。
【００１７】
図面の簡単な説明
本明細書に導入されると共にその一部分を構成している添付図面は、本発明と一貫性を有する実施形態を示しており、且つ、説明と共に、本発明の原理を説明するべく機能する。
【図面の簡単な説明】
【００１８】
【図１Ａ】本開示のいくつかの実施形態による生体顔検出方法のフローチャートである。
【図１Ｂ】本開示の例示用の一実施形態による生体顔検出方法のフローチャートである。
【図１Ｃ】本開示の例示用の一実施形態による生体顔検出方法のフローチャートである。
【図２】本開示のいくつかのその他の実施形態による生体顔検出方法のフローチャートである。
【図３】本開示のいくつかの実施形態による生体顔検出装置のブロックダイアグラムである。
【発明を実施するための形態】
【００１９】
詳細な説明
以下、その例が添付図面に示されている例示用の実施形態を詳細に参照することとする。以下の説明は、添付図面を参照しており、これらの添付図面においては、異なる図面における同一の符号は、そうではない旨が表されていない限り、同一又は類似の要素を表している。例示用の実施形態に関する以下の説明において記述されている実装形態は、本発明と一貫性を有するすべての実装形態を表すものではない。その代わりに、これらは、添付の請求項において記述されている本発明と関係した態様と一貫性を有する装置及び方法の例であるに過ぎない。
【００２０】
本開示のいくつかの実施形態に準拠した状態において、生体顔検出用の方法及び装置が提供されている。本出願によって提供される方法は、様々な電子機器に適用可能な顔認識検出装置に適用されてもよい。電子機器は、限定を伴うことなしに、デスクトップコンピュータ、ラップトップコンピュータ、モバイル装置（スマートフォン、非スマートフォン、タブレットコンピュータを含む）、及びこれらに類似したものを含む、現時点において入手可能な、開発中である、或いは、将来において開発されることになる、電子機器であってもよい。電子機器には、カメラなどの画像キャプチャ装置が提供されてもよい。或いは、この代わりに、顔認識検出装置が、画像キャプチャ装置を含んでいてもよい。画像キャプチャ装置は、ビデオ画像シーケンスをキャプチャするべく使用される。
【００２１】
図１Ａは、本出願の実施形態によって提供される生体顔検出方法の概略フロー図である。方法は、以下のステップを含んでいてもよい。
【００２２】
Ｓ１０１：処理対象のビデオ画像シーケンスを取得する。
【００２３】
生体顔検出装置は、カメラなどの画像キャプチャ装置を通じて、ビデオ画像をキャプチャし、ビデオ画像は、一連のビデオフレームであってもよい。画像キャプチャ装置は、生体顔検出装置内において構築されてもよく、或いは、外部機器上において提供されてもよい。
【００２４】
Ｓ１０２：第１判断結果を取得するべく、処理対象のビデオ画像シーケンスに対してビデオショット境界検出プロセスを実行してショットの変化がビデオ画像シーケンス内に存在しているかどうかを判定する。
【００２５】
キャプチャされたビデオ画像シーケンスが、実際の顔によって形成された画像を含んでいる場合には、明白なショットの変化は、存在しないはずである。例えば、生体顔検出装置を欺こうと又は攻撃しようとする場合に、カメラの前において、正当なユーザーの実際の写真を振ったり、ねじったり、或いは、折り曲げたりすることにより、偽のユーザーが、正当なユーザーによって実行される動作を捏造した場合などのような、第三者が顔検出システムを攻撃する場合には、ショットの変化が、キャプチャされたビデオ画像シーケンス内に存在しうる。本出願のいくつかの実施形態においては、ビデオショット境界検出プロセスは、ショットの変化がビデオ画像シーケンス内に存在しているかどうかを判定し、これにより、攻撃又は偽装が存在しているかどうかを判定するべく、処理対象のビデオ画像シーケンスに対して実行されている。ビデオショット境界検出プロセスは、
ショットの変化がビデオ画像シーケンス内に存在しているかどうかを判定するべく、処理対象のビデオ画像シーケンスに対してビデオショット境界カット検出を実行すること、並びに／或いは、
ショットの変化がビデオ画像シーケンス内に存在しているかどうかを判定するべく、処理対象のビデオ画像シーケンスに対してビデオショット境界漸進的変化検出を実行すること、
を含んでいてもよい。
【００２６】
ビデオショット境界カットは、多くの場合に２つの隣接したビデオフレーム内において完了する、迅速なショットカットを意味している。ビデオショット境界漸進的変化は、通常はビデオシーケンスの漸進的な変化のプロセスである、漸進的な、且つ、低速の、ショットの変化を意味している。
【００２７】
ビデオショット境界カット変化検出及びビデオショット境界漸進的変化検出は、いずれも、２つのビデオフレームのピクセルの変化の強度を比較することにより、ショットの変化が存在しているかどうかを判定することができる。例えば、ビデオショット境界検出プロセスは、以下のステップを含むことができる。
【００２８】
Ｓ１０２Ａ：図１Ｂ及び図１Ｃに示されているように、画像特徴ベクトルを取得するべく、画像上の特徴抽出領域内において、ビデオ画像シーケンスから特徴を抽出する。
【００２９】
特徴抽出領域は、予め設定された領域であってもよい。本出願の実施形態においては、異なるタイプの特徴抽出領域を利用することができる。例えば、特徴抽出領域は、単一のピクセル、ピクセルブロック、又はフレーム画像の全体を含んでいてもよい。それぞれの特徴抽出領域は、個々の利点を有しており、必要に応じて、異なる画像特徴領域を選択することができる。
【００３０】
画像特徴抽出領域が選択された後に、単一のピクセル特徴抽出領域については、ピクセルの１つずつに対して画像特徴抽出を実行することが可能であり、ピクセルブロック特徴抽出領域については、例えば、範囲が確定された矩形ブロックなどの単位において、画像特徴を抽出することが可能であり、フレーム画像全体の特徴抽出領域については、フレーム画像全体の単位において、画像特徴が抽出される。
【００３１】
画像特徴は、柔軟且つ多様な方法によって抽出することができる。本出願のいくつかの実施形態によれば、画像特徴抽出は、以下のうちの少なくとも１つを含むことができる。
【００３２】
（１）選択されたカラー領域内において、ビデオ画像シーケンス内の１つ又は複数のビデオフレームのピクセルグレーレベル統計値又はピクセルカラー統計値を取得し、取得されたピクセルグレーレベル統計値又はピクセルカラー統計値により、画像特徴ベクトルを構成する。
【００３３】
カラー領域は、赤色、緑色、青色（ＲＧＢ）のカラー領域であってもよく、更には、色相彩度明度（ＨＳＶ）カラー領域であってもよく、その他のカラー領域を選択することも可能である。
【００３４】
いくつかの実施形態によれば、照明変動の影響を除去するべく、適切なカラー領域上において複数の統計値を選択することができる。例えば、統計値は、最大値、最小値、又は中間値であってもよい。取得されたピクセルグレーレベル統計値又はピクセルカラー統計値は、画像特徴ベクトルを構成するべく、利用される。
【００３５】
（２）ビデオ画像シーケンス内の１つ又は複数のビデオ画像のグレーレベルヒストグラム又はカラーヒストグラムを取得する。
【００３６】
２つの隣接した画像フレームが、２つの異なるショットの境界に位置しており、且つ、それら異なるショットに属する場合には、隣接する画像フレームのヒストグラムは、大幅に変化する。一方で、同一のショット内の２つの隣接した画像フレームの場合には、そのヒストグラムは、わずかしか変化しない。２つの画像フレームのコンテンツが非常に異なっているが、ヒストグラムが類似している、という可能性は、非常に小さい。従って、ビデオショット境界検出は、グレーレベルヒストグラム又はカラーヒストグラムを利用することにより、実行することができる。ヒストグラムは、一般に、カラーの分布を示すべく使用されており、類似の写真のグレーレベル又はカラーヒストグラムは、非常に類似している一方で、境界の変化が発生している２つの画像フレームのグレーレベル又はカラーヒストグラムは、通常、非常に異なっている。本開示の実施形態においては、グレーレベルヒストグラム及びカラーヒストグラムを取得するための従来技術における既存の方法を使用することが可能であり、従って、これらに関する説明は、省略する。
【００３７】
（３）ビデオ画像シーケンス内の１つ又は複数のビデオ画像フレームの画像境界特徴を取得する。
【００３８】
画像の境界は、しばしば、大幅なピクセルの変化を有する点から構成されている。ショットの境界は、ショットカットによって取得される境界の異なるモードにおける特徴を利用することにより、検出することができる。境界の特徴を抽出する方法は、ＣａｎｎｙやＳｏｂｅｌなどのような方法を含むことができる。
【００３９】
（４）対応する画像特徴ベクトルを取得するべく、圧縮されたドメイン（compressed domain）を利用し、オリジナルの画像をその他の特徴領域に変換する。
【００４０】
いくつかの実施形態においては、圧縮ドメインは、ショット境界及び非境界の異なるモードを区別するように、画像の固有の特徴を表現するために利用することができる。圧縮ドメインは、Ｗａｖｅｌｅｔ変換などのモードを含んでいてもよいが、これらは、本明細書において、限定されてはいない。画像特徴を区別しうる限り、任意の方法が適用可能である。
【００４１】
画像特徴抽出用の上述の方法は、例示を目的として説明したものに過ぎず、単独又は組合せにおいて使用することができる。発明に関する努力を伴うことなしに当業者によって取得されるその他の実装モードは、本出願の保護の範囲に含まれることになる。
【００４２】
Ｓ１０２Ｂ１：図１Ｂに示されているように、２つの画像フレームの判定された画像特徴ベクトルに基づいて、２つの画像フレームの間の類似度値を算出する。２つの画像フレームの類似度値は、２つの画像フレームのコンテンツ連続性を判定するべく、使用される。
【００４３】
特徴領域と、抽出対象の画像特徴と、が判定された後に、ビデオ内の任意の画像フレームについて特徴ベクトルを抽出することができる。次いで、連続したフレームの間のコンテンツ連続性が、類似度計算によって計測される。２つの画像フレームの間の類似度は、様々な方法を通じて算出することが可能であり、２つの画像フレームの抽出された画像特徴ベクトルに基づいて取得することができる。又、２つの画像フレームの間の類似度は、例えば、比が１に近接するほど類似度が高い、２つの画像フレームの画像特徴ベクトルの比を算出する方法によって類似度が計測されるものを含む、その他の方法を採用することにより、算出することができることも当業者には理解されよう。以下の説明においては、一例として、２つの画像フレームの間のフレーム差に基づいて２つの画像フレームの間の類似度値を取得する方法が採用されている。いくつかの実施形態によれば、差は、以下のように算出することができる。
【００４４】
以下の式において、ｆ（ｉ）は、ｉ番目のフレームの画像特徴を表しており、ｆ（ｊ）は、ｊ番目のフレームの画像特徴ベクトルを表している。隣接したフレームの間のフレーム差（Ｄｉ，ｊ）は、次式によって表され、
Ｄ（ｉ，ｊ）＝｜ｆ（ｊ）−ｆ（ｉ）｜      （１）
ここで、ｊ＝ｉ＋ｎ（ｎ≧１）であり、ｉ≧１である。
【００４５】
類似度の計算においては、一般に、ｊ＝ｉ＋１である。次いで、ビデオ内の任意の２つの隣接したフレームが処理されることになる。処理速度を改善すると共に計算量を低減するべく、いくつかの方法は、ｊ＝ｉ＋ｎ（ｎ＞１）と設定してもよい。ｎの値の範囲は、処理速度を改善するべく計算量が低減されうる一方で、ｎ個のフレームだけ離隔した２つの画像フレームの間の変化がキャプチャされうるように、経験と、ユーザー要件と、に従って設定することができる。
【００４６】
一般に、フレーム差が大きいほど、類似度は、小さくなり、フレーム差が小さいほど、類似度は、大きくなる。通常は、２つの画像フレームが同一のショット内において配置されている場合に、類似度は、相対的に大きくなり、２つの画像フレームがショット境界において配置されている場合には、２つのフレームの間の類似度は、相対的に小さくなる。従って、類似度値は、フレーム差に基づいて取得することができる。２つの画像フレームの間のフレーム差は、２つの画像フレームの間の類似度値に反比例している。例えば、取得されたフレーム差Ｄ（ｉ，ｊ）の逆数値を類似度値Ｓ（ｉ，ｊ）として使用することができる。又、いくつかのその他の実施形態においては、類似度値は、線形比例関係に基づいたフレーム差を利用することにより、その他の計算方法を通じて取得することができる。
【００４７】
又、いくつかの更なる実施形態においては、２つの画像フレームの間のフレーム差値を算出することにより、コンテンツ連続性を直接的に判定することができる。このような方法は、以下のものを含んでいてもよい。
【００４８】
Ｓ１０２Ｂ２：図１Ｃに示されているように、２つの画像フレームの判定された画像特徴ベクトルに基づいて、２つの画像フレームの間のフレーム差値を算出する。２つの画像フレームの間のフレーム差値は、２つの画像フレームのコンテンツ連続性を判定するべく、使用される。
【００４９】
２つの画像フレームの間のフレーム差値用の計算は、式（１）に示されている方法により、実行することができる。２つの画像フレームは、任意の２つの隣接した画像フレームであってもよく、或いは、ｎ個のフレームだけ離隔した画像フレームであってもよい。ｎの値の範囲は、処理速度を改善するべく計算量が低減されうる一方で、ｎ個のフレームだけ離隔した２つの画像フレームの間の変化がキャプチャされうるように、経験と、ユーザーの要件と、に従って設定することができる。
【００５０】
Ｓ１０２Ｂ１において、２つの画像フレームが連続しているかどうかを計測するべく、類似度値が使用されている場合には、類似度値は、ショットの変化がビデオ画像シーケンス内に存在しているかどうかを判定するべく、使用することができる。このような方法は、以下のものを含んでいてもよい。
【００５１】
Ｓ１０２Ｃ１：図１Ｂに示されているように、２つの画像フレームの間の算出された類似度値に従って２つの画像フレームがコンテンツにおいて不連続であると判定された場合には、ショットの変化がビデオ画像シーケンス内に存在していると判定する。
【００５２】
当業者は、Ｓ１０２Ｃ１は、ビデオショットカット変化検出及びビデオショット漸進的変化検出用の異なる実装モードを有しうることを理解するであろう。例えば、ビデオショット境界検出プロセスが、ビデオショット境界カット検出プロセスを含んでいる場合には、２つの画像フレームの間の算出された類似度値に従って２つの画像フレームがコンテンツにおいて不連続であると判定された場合に、ショットの変化がビデオ画像シーケンス内に存在していると判定することは、２つの画像フレームの間の類似度値が第１閾値未満である場合に、カットの変化が２つの画像フレームの間に存在しており、且つ、ショットの変化がビデオ画像シーケンス内に存在していると判定することを含む。第１閾値は、ユーザーによって予め設定することができる。
【００５３】
例示用の一実装形態においては、以下の分類関数を使用することが可能であり、
【数１】
2018508875.tif 000003
ここで、Ｔは、第１閾値であり、Ｓ（ｉ，ｊ）は、類似度値を表し、Ｌは、分類結果を表しており、Ｓ（ｉ，ｊ）がＴ超である場合には、類似度値は、相対的に大きく、これにより、２つの画像フレームが同一のショット内の隣接したフレームであることを示し、そうではない場合には、これにより、２つの画像フレームの間におけるショットの変化を示す。Ｓ（ｉ，ｊ）は、式（１）内のＤ（ｉ，ｊ）によって取得することができる。例えば、取得されたフレーム差Ｄ（ｉ，ｊ）の逆数値を類似度値（ｉ，ｊ）として使用することができる。
【００５４】
いくつかのその他の実施形態によれば、ビデオショット境界検出がビデオショットカット検出を含む場合には、２つの画像フレームの間の算出された類似度値に従って２つの画像フレームがコンテンツにおいて不連続であると判定された場合に、ショットの変化がビデオ画像シーケンス内に存在していると判定することは、ｋ近傍法（ＫＮＮ：K-Nearest Neighbor）分類器、決定木、又はサポートベクトルマシン（ＳＶＭ：Support Vector Machine）に基づいて２つの画像フレームの間の類似度値を判断することと、カットの変化が２つの画像フレームの間に存在していると判断結果が示す場合に、ショットの変化がビデオ画像シーケンス内に存在していると判定することと、を含んでいてもよい。例示用の一実装形態においては、ショット境界検出は、パターン認識における分類問題であると見なすことができる。この問題には、限定を伴うことなしに、ＫＮＮ、決定木、及びＳＶＭを含む、判断用の多くの分類アルゴリズムを適用することができる。一実施形態によれば、取得された画像特徴ベクトルは、上述のアルゴリズムを利用した機械学習モデルに入力することが可能であり、対応した判断結果が取得されることになる。
【００５５】
別の例示用の実装形態においては、ビデオショット境界検出プロセスがビデオショット漸進的変化検出プロセスを含む場合には、２つの画像フレームの間の算出された類似度に従って２つの画像フレームがコンテンツにおいて不連続であると判定された場合に、ショットの変化がビデオ画像シーケンス内に存在していると判定することは、
２つの画像フレームの間の類似度値が第３閾値超であると共に第４閾値未満であると判定された場合に、２つの画像フレームの後続の画像フレームを取得することと、
後続の画像フレームのペアワイズな画像フレームの間の類似度値が予め設定された第４閾値超となる時点まで、ペアワイズな画像フレームの間の類似度値を算出することと、
様々な画像フレームの蓄積された類似度値を算出し、蓄積された類似度値が第５閾値未満である場合に、漸進的な変化がビデオ画像シーケンス内に存在しており、且つ、ショットの変化がビデオ画像シーケンス内に存在していると判定することと、を含む。様々なフレームは、２つの画像フレームの第１画像フレームから、ペアワイズな画像フレームの間の類似度が予め設定された第４閾値超であるものまで、のうちから取得されたものである。具体的には、様々な画像フレームの蓄積された類似度値は、様々な画像のペアワイズな画像フレームの間の類似度値の合計である。
【００５６】
予め設定された第３閾値、予め設定された第４閾値、及び予め設定された第５閾値は、経験と、ユーザーの要件と、に従って、ユーザーによって予め設定することができる。後続の画像フレームを取得することは、次の画像フレームと、次の画像フレームの後の画像フレームと、を連続的に取得することを含むことができる。例えば、第１ペアが第１及び第２画像フレームを含んでいると仮定しよう。後続の画像フレーム（即ち、次のペア）は、第２及び第３画像フレームを含むことができる。或いは、この代わりに、上述のように、ペアは、ｉ番目及びｊ番目の画像フレームを含むことが可能であり、ここで、ｊ＝ｉ＋１（ｎ≧１）であり、ｉ≧１である。次のペアは、ｊ番目及び（ｊ＋ｎ）番目の画像フレームを含むことができる。
【００５７】
別の例示用の実装形態においては、Ｓ１０２Ｂ２において、フレーム差値を利用し、２つの画像フレームがコンテンツにおいて不連続であると判断することに対応して、方法は、更に以下のものを含んでいてもよい。
【００５８】
Ｓ１０２Ｃ２：図１Ｃに示されているように、２つの画像フレームの間のフレーム差値に従って２つの画像フレームがコンテンツにおいて不連続であると判定された場合に、ショットの変化がビデオ画像シーケンス内に存在していると判定する。
【００５９】
ビデオショット境界検出プロセスがビデオショットカット検出プロセスを含む場合には、２つの画像フレームの間のフレーム差に従って２つの画像フレームがコンテンツにおいて不連続であると判定された場合に、ショットの変化がビデオ画像シーケンス内に存在していると判定することは、２つの画像フレームの間のフレーム差値が第２閾値超である場合に、カットの変化が２つの画像フレームの間に存在しており、且つ、ショットの変化がビデオ画像シーケンス内に存在していると判定することを含む。第２閾値は、ユーザーによって予め設定することができる。
【００６０】
別の例示用の実装形態においては、ビデオショット境界検出プロセスがビデオショットカット検出プロセスを含む場合には、２つの画像フレームの間のフレーム差に従って２つの画像フレームがコンテンツにおいて不連続であると判定された場合に、ショットの変化がビデオ画像シーケンス内に存在していると判定することは、ＫＮＮ分類器、決定木、又はＳＶＭに基づいて２つの画像フレームの間のフレーム差値を判断することと、カットの変化が２つの画像フレームの間に存在していると判断結果が示す場合に、ショットの変化がビデオ画像シーケンス内に存在していると判定することと、を含む。
【００６１】
又、ビデオショットが漸進的な変化を有するという上述の判断は、上述の方法を使用してフレーム差値を算出することにより、取得することもできる。
【００６２】
更に別の例示用の実装形態においては、ビデオショット境界検出プロセスがビデオショット漸進的変化検出プロセスを含む場合には、２つの画像フレームの間のフレーム差値に従って２つの画像フレームがコンテンツにおいて不連続であると判定された場合に、ショットの変化がビデオ画像シーケンス内に存在していると判定することは、
２つの画像フレームの間のフレーム差値が第６閾値超であると共に第７閾値未満であると判定された場合に、２つの画像フレームの後続の画像フレームを取得することと、
後続の画像フレームのペアワイズな画像フレームの間のフレーム差が予め設定された第６閾値未満となる時点まで、ペアワイズな画像フレームの間のフレーム差を算出することと、
様々な取得されたフレーム差の合計を算出し、合計が予め設定された第７閾値超である場合に、漸進的な変化がビデオ画像シーケンス内に存在しており、且つ、ショットの変化がビデオ画像シーケンス内に存在していると判定することと、
を含む。
【００６３】
第６及び第７閾値は、ユーザーによって予め設定することができる。後続の画像フレームは、Ｓ１０２Ｃ１との関係において上述したように取得することができる。２つの画像フレームの間のフレーム差値は、上述のように、２つの画像フレームの画像特徴ベクトルを通じて取得することができる。具体的には、式（１）に示されている方法を使用することができる。
【００６４】
上述のように、漸進的な変化の検出のために、デュアル閾値比較方法を使用することができる。方法は、２つの閾値を、即ち、第６閾値Ｔｌ（相対的に小さな閾値）及び第７閾値Ｔｈ（相対的に大きな閾値）を、設定することと、２つの隣接した画像フレームの間の差がＴｈを超過している場合に、突然の変化が発生していると判断することと、を含んでいてもよく、この場合に、Ｔｈは、上述の式（２）におけるＴに類似した役割を演じている。２つの隣接したフレームの間の差が、Ｔｈを超過してはいないが、Ｔｌを超過している場合には、２つの隣接したフレームの後のフレームを、可能な漸進的変化の開始フレームとして判定し、その後続のそれぞれのフレームのチェックを継続し、フレーム差が依然としてＴｌを超過している場合には、２つの隣接するフレームの間の差がＴｌを下回る時点まで、フレーム差を蓄積する。次いで、蓄積されたフレーム差がＴｈを超過した場合に、そのフレームを漸進的変化の終了フレームとして判定し、蓄積されたフレーム差がＴｈを超過しない場合には、その漸進的変化は、漸進的変化以外の他の理由により、生成されたものと見なされることになる。
【００６５】
上述の方法は、例示を目的としたものに過ぎず、本発明に対する限定として解釈されてはならず、ビデオショット境界検出を実行するべく、バックグラウンドモデリングに基づいた方法などのその他の方法を採用することも可能であることに留意されたい。
【００６６】
生体顔検出方法は、ショットの変化がビデオ画像シーケンス内に存在していると第１判断結果が示す場合に、生体顔検出に失敗したと判定することＳ１０３を更に含んでいてもよい。ショットの変化がビデオ画像シーケンス内に存在していると判断された場合には、生体顔検出に失敗したものと見なされる。図１Ａ〜図１Ｃに示されると共に上述されている方法は、１つ又は複数のプロセッサ及びメモリを有するコンピュータシステム又はサーバーによって実装することができる。メモリは、プロセッサによって実行された場合にコンピュータシステム又はサーバーが方法のステップを実行するようにする命令を保存した一時的ではないコンピュータ可読保存媒体であってもよい。
【００６７】
この実施形態においては、ビデオショット境界検出プロセスは、ショットの変化がビデオ画像シーケンス内に存在しているかどうかを判定するべく、処理対象のビデオ画像シーケンスに対して実行され、ショットの変化がビデオ画像シーケンス内に存在していると判定された場合に、生体顔検出システムが攻撃されている又は騙されていると判定され、これにより、生体顔検出に失敗したと判定される。本出願によって提供される方法は、ビデオショット境界検出プロセスを通じて、実際の顔を写真又はビデオから事実上区別することが可能であり、写真及びビデオを使用した可能な攻撃から生体顔検出システムを保護することが可能であり、検出の精度及び安全性を改善することができる。
【００６８】
いくつかの実施形態においては、上述のショットの変化が存在しているかどうかの判断結果は、第１判断結果として見なすことができる。生体顔検出方法は、第１判断を更に確認するべく、第２判断を使用してもよい。生体顔検出方法は、
第２判断結果を取得するべく、顔特徴点位置に基づいて生体顔検出を実行することと、生体顔検出が特定の要件（後述される）を充足していると第２判断結果が示しており、且つ、ショットの変化がビデオ画像シーケンス内に存在していないと第１判断結果が示す場合に、生体顔検出に成功した判定することと、
を更に含んでいてもよい。
【００６９】
例示用の一実装形態においては、第２判断結果を取得するための顔特徴点位置に基づいた生体顔検出は、処理対象のビデオ画像シーケンスを取得し、顔がビデオ画像シーケンス内に出現しているかどうかを検出することと、出現している場合に顔のサイズ及び位置情報を取得することと、顔の取得されたサイズ及び位置情報に従って、検出された顔上の顔キー点を判定することと、第２判断結果を取得するべく、顔キー点の位置に基づいて、キャプチャされたユーザー動作が既定条件を充足しているかどうかを検出することと、ユーザー動作が既定の条件を充足していると第２判断結果が示す場合に、生体顔が検出されたと判定することと、ユーザー動作が既定の条件を充足していないと第２判断結果が示す場合に、生体顔が検出されていないと判定することと、を含む。既定の条件は、ユーザー動作がランダムな促し指示に一致しているかどうか、並びに／或いは、ユーザー動作の数が既定数を充足しているかどうか、であってもよい。
【００７０】
図２は、本出願のいくつかの実施形態と一貫性を有する生体顔検出方法のフロー図を示している。図２に示されている方法においては、生体顔検出は、顔特徴点検出及びビデオショット境界検出の組合せに基づいて実行されている。組合せに起因して、顔検出の精度が改善されている。方法は、広範な用途を有する。これは、ＰＣ、セル電話機、及びタブレット装置に適用可能である。
【００７１】
ユーザーは、生体顔検出のために、自身の顔を記録するべくビデオカメラを使用することができる。顔検出プロセスは、図２のフロー図において示されているように、ビデオフレーム入力により、開始してもよい。顔検出プロセスは、処理用の２つのメインラインに分岐してもよい。２つのメインラインは、それぞれ、顔特徴点検出に基づいたものと、ビデオショット境界検出に基づいたもう１つと、という２つのプロセスを表している。図２において、Ｓ２０１〜Ｓ２０５は、ビデオショット境界検出のプロセスフローを示しており、Ｓ２０６〜Ｓ２１０は、顔特徴点検出のプロセスフローを示している。２つのフローは、処理効率を改善して、相対的に正確な判断結果を取得するために、同時に実行することができる。又、２つのフローは、異なる時点において実行することもできる。例えば、まず、ビデオショット境界検出のプロセスフローを実行することが可能であり、次いで、ショットの変化が存在していないと判定された後に、顔特徴点検出のプロセスフローが実行される。或いは、この代わりに、まず、顔特徴点検出に基づいた生体顔検出プロセスを実行することも可能であり、次いで、生体顔検出条件が充足されていると判定された後に、ショットの変更が存在しているかどうかが判断される。特定の実装形態は、柔軟なものであってもよく、必要に応じて調節することができる。図２に示されている方法は、１つ又は複数のプロセッサ及びメモリを有するコンピュータシステム又はサーバーによって実装することができる。メモリは、プロセッサによって実行された場合に、コンピュータシステム又はサーバーがプロセスのステップを実行するようにする命令を保存した一時的ではないコンピュータ可読保存媒体であってもよい。例えば、以下の説明は、方法を実装するシステムとしてコンピュータシステムを使用している。コンピュータシステムは、命令、画像、及びビデオを保存するためのメモリを含んでいてもよい。コンピュータシステムは、プロセスの一部分を実行するためのサブシステムを含んでいてもよい。コンピュータシステムは、起動された場合に、プロセス全体の一部分又はプロセス全体を実行するソフトウェアアプリケーションを含んでいてもよい。
【００７２】
図２に示されているように、プロセスは、以下のものを含んでいてもよい。
【００７３】
Ｓ２０１：処理対象のビデオフレームを取得する。
【００７４】
Ｓ２０２：ビデオショットカットモデルを読み込むために、サブアプリケーションを起動する。
【００７５】
このステップにおいては、ビデオショット境界検出サブアプリケーションのパラメータが初期化され、ビデオショットカットモデルがメモリに読み込まれる。
【００７６】
Ｓ２０３：ビデオショット境界カット変化検出を実行する。詳細な実装形態は、図１Ａ〜図１Ｃとの関連において上述されている。
【００７７】
Ｓ２０４：ビデオショット境界漸進的変化検出を実行する。詳細な実装形態は、図１Ａ〜図１Ｃとの関連において記述されている。
【００７８】
Ｓ２０３とＳ２０４の間には、特定の実行順序が存在してはいない。いずれかのステップを最初に実行することも可能であり、或いは、これらは、同時に実行することもできる。
【００７９】
Ｓ２０５：ビデオショット境界カット検出プロセスの結果及びビデオショット境界漸進的変化検出プロセスの結果に従って、ショットの変化が存在しているかどうかを判定する。いくつかの実施形態においては、生体顔検出プロセスにおいて、Ｓ２０３及びＳ２０４のうちの１つを省略することができる。
【００８０】
ビデオショット境界カット検出プロセスの結果及びビデオショット境界漸進的変化検出プロセスの結果に従って、ショットカット又は漸進的ショット変化のうちのいずれかのものの存在が判定された場合には、ショットの変化が存在していると判定される。
【００８１】
ショットの変化が存在していると判定された場合には、生体顔検出に失敗したと判定され、これにより、アプリケーションを終了する。
【００８２】
ショットの変化が存在していないと判定された場合には、Ｓ２１１に進む。
【００８３】
Ｓ２０６：顔特徴点検出モデルを読み込むために、サブアプリケーションを起動する。
【００８４】
顔特徴点検出及びユーザーとのインタラクションに基づいたサブアプリケーションのパラメータが初期化され、顔特徴点検出モデルファイルがメモリに読み込まれる。
【００８５】
Ｓ２０７：顔がビデオフレーム内に出現しているかどうかを検出し、出現している場合には、顔のサイズ及び位置を返す。例示用の一実装形態においては、Ｈａａｒ特徴に基づいたＡｄａｂｏｏｓｔ分類器を顔検出器として使用することができる。
【００８６】
Ｓ２０８：顔特徴点検出を実行する。
【００８７】
例示用の一実装形態においては、顔内のキー点の位置が検出され、これらのキー点の情報は、後続の動作検出のために使用することができる。キー点の数は、実際のニーズに従って選択することができる。例えば、眼、鼻、及び口のコーナーを含む５つの点のみを使用することができる。別の例として、顔全体をカバーする６８個の点を使用することができる。いくつかの実施形態によれば、顔特徴点検出は、ＳＤＭ（Supervised Descent Method）アルゴリズムを使用することができる。このアルゴリズムは、機械学習アルゴリズムを通じて、顔局所特徴と顔キー点の位置の間の関係に対して最適化回帰を実行するための方法である。又、顔特徴点検出方法は、ＡＡＭ（Active Apparent Model）に基づいた方法、ランダムフォレスト回帰に基づいた方法、又はＤＰＭ（Deformable Part Model）に基づいた方法などの、その他の方法又はアルゴリズムを使用しうることに留意されたい。当業者は、その他の方法又はアルゴリズムが顔特徴点検出に使用されうることを理解するであろう。このような方法及びアルゴリズムは、機械学習アルゴリズムを利用してもよい。上述の方法／アルゴリズムは、顔特徴点のモデルを使用することが可能であり、トレーニングデータにより、これらのモデルのパラメータを学習することが可能であり、将来の時点における顔特徴点の位置を予測することができる。
【００８８】
Ｓ２０９：顔動作検出を実行する。
【００８９】
動作は、限定を伴うことなしに、頭を振る、頷く、口を開く、並びに、眼を閉じる、などの顔の変化を通じて表現されうる動作を含む。上述のように、動作の変化は、いくつかの隣接したビデオフレーム内の顔特徴点の位置情報に従って、規則及び機械学習アルゴリズムを通じて、予測及び推定することができる。本明細書において記述されている規則は、データの分析を通じて人為的に判定された動作変化の基準である。記述されている機械学習アルゴリズムは、コンピュータシステムが、新しい顔特徴点データを受信した場合に、収集及び分析したデータモデルに基づいて対応した顔動作を判定しうるような、大量のマーキングされた顔特徴点データと顔動作の間の関係に対応したデータの収集及び分析を意味している。
【００９０】
Ｓ２１０：ランダムな促しに従ってユーザーによって実施された動作の数が３超であるかどうかを判定する。３超ではない場合には、次の動作の促しに進み、３超であり、且つ、ユーザーが動作を完了させるように協力すると共に、検出に成功した場合には、判断のために、次のステップに進む。数値３は、一例であるに過ぎない。これは、動作の検出が３回にわたって実行されたことを判定するべく使用されている。ユーザーは、例えば、１以上などの、その他の数値を設定することもできる。別の例の場合には、このステップを省略することができる。換言すれば、ステップＳ２０９の後に、判定が正しい場合には、プロセスは、ステップＳ２１１に継続することができる。
【００９１】
Ｓ２１１：顔特徴点検出に基づいた生体顔検出に成功しており、且つ、ショットの変化が存在していないと判定された場合には、生体顔検出に成功したと判定する。
【００９２】
この実施形態においては、顔特徴点検出に基づいて生体顔検出を実行することにより、顔の存在が判定された場合には、ビデオショット境界検出を通じて、ショットの変化が存在しているかどうかが更に判定され、ショットの変化が存在していない場合には、検出に成功したと判定される。生体顔検出用の条件が充足されていない、或いは、ショットの変化がビデオシーケンス内に存在していると判定される、のうちのいずれのケースにおいても、検出に失敗したと判断される。従って、顔特徴点検出及びショット境界検出に基づいた生体顔検出の利点が組み合わせられており、従って、生体顔検出の精度が改善されるのみならず、システムセキュリティも改善される。
【００９３】
図３は、本出願の実施形態によって提供される生体顔検出装置の概略図を示している。図３に示されているように、生体顔検出装置３００は、処理対象のビデオ画像シーケンスを取得するように構成された取得装置３０１と、第１判断結果を取得するべく、ビデオ画像シーケンスに対してビデオショット境界検出プロセスを実行してショットの変化がビデオ画像シーケンス内に存在しているかどうかを判定するように構成された第１検出ユニット３０２と、ショットの変化がビデオ画像シーケンス内に存在していると第１判断結果が示す場合に、生体顔検出に成功したと判定するように構成された判定ユニット３０３と、を含む。
【００９４】
いくつかの実施形態においては、第１検出ユニット３０２は、特徴抽出ユニットと、類似度又はフレーム差計算ユニットと、判断ユニットと、を含んでいてもよい。特徴抽出ユニットは、画像特徴ベクトルを取得するべく、予め設定された画像特徴抽出領域内においてビデオ画像シーケンスに対して画像特徴抽出を実行するように構成されている。類似度又はフレーム差計算ユニットは、２つの画像フレームの判定された画像特徴ベクトルを用いて、計算して２つの画像フレームの間の類似度又はフレーム差値を取得するように構成されている。２つの画像フレームは、ｉ番目のフレームと、ｊ番目のフレームと、であってもよく、この場合に、ｊ＝ｉ＋ｎ（ｎ≧１）であり、ｉ≧１である。
【００９５】
２つの画像フレームの間の類似度又はフレーム差値は、２つの画像フレームのコンテンツ連続性を判定するべく、使用される。判断ユニットは、２つの画像フレームの間の算出された類似度又はフレーム差値に従って、２つの画像フレームがコンテンツにおいて不連続であると判定された場合に、ショットの変化がビデオ画像シーケンス内に存在していると判定するように構成されている。
【００９６】
特徴抽出ユニットによって設定される画像特徴抽出領域は、単一のピクセル特徴抽出領域、ピクセルブロック特徴抽出領域、又は完全な画像フレーム特徴抽出領域を含んでいてもよい。
【００９７】
特徴抽出ユニットは、
選択されたカラー領域内において、ビデオ画像シーケンス内の１つ又は複数のビデオフレームのピクセルグレーレベル統計値又はピクセルカラー統計値を取得し、取得されたピクセルグレーレベル統計値又はピクセルカラー統計値により、画像特徴ベクトルを構成するように構成されたカラー統計値サブユニットと、
ビデオ画像シーケンス内の１つ又は複数のビデオフレームのグレーレベルヒストグラム又はカラーヒストグラムを取得するように構成されたカラーヒストグラム取得サブユニットと、
ビデオ画像シーケンス内の１つ又は複数のビデオフレームの画像エッジ特徴を取得するように構成されたエッジ特徴取得サブユニットと、
対応する画像特徴ベクトルを取得するべく、圧縮ドメインを利用し、オリジナルの画像をその他の特徴領域に変換するように構成された圧縮ドメインサブユニットと、
のうちの少なくとも１つを含んでいてもよい。
【００９８】
第１検出ユニット３０２は、ビデオショットカット検出及び／又はビデオショット漸進的変化検出を実行するように構成されていてもよい。第１検出ユニット３０２が、ビデオショットカット検出プロセスを実行するように構成されている場合には、判定ユニット３０３は、２つの画像フレームの間の類似度値が第１閾値未満である場合に、カットの変化が２つの画像フレームの間に存在しており、且つ、ショットの変化がビデオ画像シーケンス内に存在していると判定するように構成されている。或いは、この代わりに、判定ユニット３０３は、２つの画像フレームの間のフレーム差が第２閾値超である場合に、カットの変化が２つの画像フレーム内に存在しており、且つ、ショットの変化がビデオ画像シーケンス内に存在していると判定するように構成されていてもよい。閾値は、ユーザーによって予め設定することができる。
【００９９】
第１検出ユニット３０２が、ビデオショットカット検出プロセスを実行するように構成されている場合には、判定ユニット３０３は、
ｋ近傍法アルゴリズムＫＮＮ分類器、決定木、又はサポートベクトルマシンＳＶＭに基づいて、２つの画像フレームの間の類似度又はフレーム差値を判定し、ショットカットの変化が２つの画像フレームの間に存在していると判断結果が示す場合に、ショットの変化がビデオ画像シーケンス内に存在していると判定する、
ように構成されていてもよい。
【０１００】
第１検出ユニット３０２が、ビデオショット漸進的変化検出プロセスを実行するように構成されている場合には、判定ユニット３０３は、
２つの画像フレームの間の類似度値が予め設定された第３閾値超であると共に予め設定された第４閾値未満であると判定された場合に、２つの画像フレームの後続の画像フレームを取得し、後続の画像フレームのペアワイズな画像フレームの間の類似度値が予め設定された第４閾値超となる時点まで、ペアワイズな画像フレームの間の類似度値を算出する。そして、様々な画像フレームの蓄積された類似度値を算出し、蓄積された類似度値が予め設定された第５閾値未満である場合に、漸進的な変化がビデオ画像シーケンス内に存在しており、且つ、ショットの変化がビデオ画像シーケンス内に存在していると判定する、
ように構成されている。
【０１０１】
第１検出ユニット３０２が、ビデオショット漸進的変化検出プロセスを実行するように構成されている場合に、判定ユニット３０３は、
２つの画像フレームの間のフレーム差値が予め設定された第６閾値超であると共に予め設定された第７閾値未満であると判定された場合に、２つの画像フレームの後続の画像フレームを取得し、後続の画像フレームのペアワイズな画像フレームの間のフレーム差が予め設定された第６閾値未満となる時点まで、ペアワイズな画像フレームの間のフレーム差値を算出する。そして、それぞれの取得されたフレーム差値の合計を算出し、合計が予め設定された第７閾値超である場合に、漸進的な変化がビデオ画像シーケンス内に存在しており、且つ、ショットの変化がビデオ画像シーケンス内に存在していると判定する、
ように構成されている。
【０１０２】
いくつかの実施形態によれば、顔検出装置は、
第２判断結果を取得するべく、顔特徴点検出に基づいて生体顔検出を実行するように構成された第２検出ユニットを更に含んでいてもよい。判定ユニット３０３は、生体顔検出条件が充足されていると第２判断結果が通知しており、且つ、ショットの変化がビデオ画像シーケンス内に存在していないと第１判断結果が示す場合に、生体顔検出に成功したと判定するように更に構成されていてもよい。
【０１０３】
上述のユニットの機能は、図１及び図２並びに対応する記述内において示されている上述の方法の処理ステップに対応していてもよい。これらの詳細なステップについては、再度の説明を省略する。方法実施形態は、詳細に図示されており、装置実施形態は、相対的に簡単に図示されていることから、当業者は、本出願の装置実施形態が、方法実施形態を参照して構築されうることを理解しうることに留意されたい。なんらの発明に関する努力を伴うことなしに当業者によって取得されうるその他の実装モードは、いずれも、本出願の保護の範囲に含まれる。
【０１０４】
本明細書は、生体顔検出用の方法、装置、及びシステムについて記述している。図示されているステップは、図示されている例示用の実施形態について説明するべく記述されており、且つ、特定の機能が実行される方式は、現在進行中の技術的発展によって変化するものと予想される。従って、これらの例は、限定ではなく、説明を目的として、本明細書において提示されている。例えば、本明細書において開示されているステップ又はプロセスは、記述されている順序における実行に限定されるものではなく、開示された実施形態と一貫性を有する状態において、任意の順序において実行されてもよく、且つ、いくつかのステップが省略されてもよい。更には、本明細書においては、説明の利便のために、機能構築ブロックの境界が任意に定義されている。規定されている機能及びそれらの関係が適切に実行される限り、代替境界を定義することができる。代替肢（本明細書において記述されているものの均等物、拡張、変形、逸脱などを含む）については、本明細書に含まれている教示内容に基づいて、当業者に明らかとなろう。このような代替肢は、開示されている実施形態の範囲及び精神に含まれる。
【０１０５】
本明細書には、開示されている原理の例及び特徴について記述されているが、開示されている実施形態の精神及び範囲を逸脱することなしに、変更、適合、及びその他の実装形態が可能である。又、「含む（comprising）」、「有する（having）」、「含む（containing）」、及び「含む（including）」という単語、並びに、その他の類似の形態は、意味が等価となるように意図されており、且つ、これらの単語のいずれか１つに後続する１つ又は複数の項目は、それらの１つ又は複数の項目のすべてを網羅したリストであることを意味するものでもなく、或いは、列挙されている１つ又は複数の項目にのみ限定されることを意味するものでもないという点において、無限定的（open ended）となるように意図されている。又、本明細書及び添付の請求項において使用されている単数形である「１つの（a）」、「１つの（an）」、及び「その（the）」は、文脈がそうではない旨を明示的に示していない限り、複数形の参照をも含むことに留意しなければならない。
【０１０６】
更には、本開示と一貫性を有する実施形態を実装する場合には、１つ又は複数のコンピュータ可読ストレージ媒体が利用されてもよい。コンピュータ可読ストレージ媒体は、プロセッサによって読取り可能である情報又はデータが保存されうる任意のタイプの物理的メモリを意味している。従って、コンピュータ可読ストレージ媒体は、１つ又は複数のプロセッサが本明細書において記述されている実施形態と一貫性を有するステップ又はステージを実行するようにする命令を含む、１つ又は複数のプロセッサによる実行のための命令を保存しうる。「コンピュータ可読ストレージ媒体」という用語は、有体的な物品を含むと共に搬送波及び一時的な信号を除いているものとして、即ち、一時的ではないものとして、理解する必要がある。例には、ＲＡＭ、ＲＯＭ、揮発性メモリ、不揮発性メモリ、ハードドライブ、ＣＤ−ＲＯＭ、ＤＶＤ、フラッシュドライブ、ディスク、及び任意のその他の既知の物理的ストレージ媒体が含まれる。上述のユニット、システム、及び装置は、ソフトウェア、ハードウェア、ファームウェアの形態において、或いは、ソフトウェア、ハードウェア、及びファームウェアの任意の組合せにおいて、実装されてもよい。例えば、ユニット、システム、サブシステム、装置は、コンピュータ可読メモリ内において保存されているソフトウェア命令を実行するプロセッサを含んでいてもよく、且つ、これによって実装されてもよい。
【０１０７】
本発明は、上述されると共に添付図面に示されているそのままの構造に限定されるものではなく、且つ、その範囲を逸脱することなしに、様々な変更及び変化を実施することができることを理解されたい。本発明の範囲は、添付の請求項によってのみ、限定されるものと解釈されたい。
【図１Ａ】
2018508875.tif 000004
【図１Ｂ】
2018508875.tif 000005
【図１Ｃ】
2018508875.tif 000006
【図２】
2018508875.tif 000007
【図３】
2018508875.tif 000008
【国際調査報告】
2018508875.tif 000009