【手続補正書】
【提出日】令和1年11月5日(2019.11.5)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
顔位置追跡方法であって：
現在の画像フレームにおける第１の顔を検出し、前記現在の画像フレームにおける前記第１の顔の第１の顔領域を取得するステップ（Ｓ１）であって、前記現在の画像フレームと次の画像フレームとは連続した画像フレームである、ステップと；
前記第１の顔を含むと予測される前記次の画像フレームにおける予測領域を特定するステップ（Ｓ２）であって、前記予測領域は、前記現在の画像フレームにおける前記顔領域のサイズ及び位置を基準とし、前記現在の画像フレームにおける前記顔領域を拡大した長さ及び幅を有する、ステップと；
前記顔領域に対する類似度が所定の要件を満たす初めの事前選択領域を求めて前記予測領域を検索するステップ（Ｓ３）であって、２画素以上の大きさの移動する第１のステップサイズに基づいて前記予測領域を検討する、ステップと；
前記初めの事前選択領域を囲む第２のステップサイズの範囲内で、前記顔領域と最も類似性の高い第１の事前選択領域を検索するステップであって、前記第２のステップサイズは前記第１のステップサイズより小さい、ステップと；
前記次の画像フレームに第２の顔領域が存在することを検出するステップ（Ｓ４）と；
前記第１の事前選択領域、前記第２の顔領域、及び前記第１の事前選択領域又は前記第２の顔領域を最終的な顔位置追跡結果として用いるかどうかを特定するための所定の選択規則に基づき、前記次の画像フレームの顔位置追跡結果を特定するステップ（Ｓ４）と；を備える、
顔位置追跡方法。
【請求項２】
前記顔領域に対する類似度が前記所定の要件を満たす前記初めの事前選択領域を求めて前記予測領域を検索する前記ステップは：
前記移動する第１のステップサイズに基づき、前記予測領域を詳しく検討して前記顔領域の各比較領域を取得するステップと；
前記顔領域と前記各比較領域との類似度を計算するステップと；
前記次の画像フレームにおける前記所定の要件を満たす最大の類似度を有する比較領域を、前記次の画像フレームにおける前記初めの事前選択領域として用いるステップ；を備える、
請求項１に記載の顔位置追跡方法。
【請求項３】
前記顔領域と前記各比較領域との類似度が、現在の比較領域と前記顔領域との間の境界位置の比較、及び指定された経験的閾値に対する前記比較領域と前記次の画像フレームの座標を持つ画像のグレースケール値との間の差に基づいて計算される、
請求項２に記載の顔位置追跡方法。
【請求項４】
前記第１の事前選択領域、前記第２の顔領域、及び前記第１の事前選択領域又は前記第２の顔領域を最終的な顔位置追跡結果として用いるかどうかを特定するための所定の選択規則に基づき、前記次の画像フレームの顔位置追跡結果を特定する前記ステップは：
前記次の画像フレームにおける前記第２の顔領域と前記第１の事前選択領域との間の重複係数が０である場合、前記第１の事前選択領域を前記次の画像フレームの最終の前記顔位置追跡結果として用いるステップと；
前記次の画像フレームにおける前記第２の顔領域と前記第１の事前選択領域との間の前記重複係数が所定の閾値未満である場合、前記第１の事前選択領域を、前記次の画像フレームの最終の前記顔位置追跡結果として用いるステップと；
前記次の画像フレームにおける前記第２の顔領域と前記第１の事前選択領域との間の前記重複係数が前記所定の閾値以上である場合、前記次の画像フレームにおける前記第２の顔領域を前記次の画像フレームの前記顔位置追跡結果として用いるステップと；の何れかを備える、
請求項１に記載の顔位置追跡方法。
【請求項５】
現在の画像フレームにおける顔領域を取得する前記ステップが：
少なくとも２つの顔が前記現在の画像フレームから検出された場合、前記現在の画像フレームにおける最大領域の顔に対応する領域を、前記現在の画像フレームにおける前記顔領域として選択するステップ；を備える、
請求項１に記載の顔位置追跡方法。
【請求項６】
前記現在の画像フレームにおける前記顔領域の長さ及び幅は、複数画素分拡大される、
請求項１乃至請求項５のいずれか１項に記載の顔位置追跡方法。
【請求項７】
前記現在の画像フレームにおける前記顔領域の長さ及び幅は、複数倍に拡大される、
請求項１乃至請求項５のいずれか１項に記載の顔位置追跡方法。
【請求項８】
前記現在の画像フレームが複数の顔を含む場合、カメラに最も近い顔が主たる対象である、
請求項１乃至請求項７のいずれか１項に記載の顔位置追跡方法。
【請求項９】
前記現在の画像フレームにおける前記第１の顔の第１の顔領域を取得するステップは、分類レベルの量を低減するためのＡｄａｂｏｏｓｔ法を用いることで第１の顔領域を取得するステップを備える、
請求項１乃至請求項８のいずれか１項に記載の顔位置追跡方法。
【請求項１０】
請求項１乃至請求項９のいずれか１項に記載の方法を実行するように構成された複数のモジュールを備える、
顔位置追跡のための装置。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】００９１
【補正方法】変更
【補正の内容】
【００９１】
実施の形態を用いて本願を記載したが、本願は本願の精神から逸脱することなく多くの変形及び変更を有し、添付の請求項は、本願の精神から逸脱することなくこれらの変形及び変更を含むことは、当業者には周知である。
以下、本発明の実施の態様の例を列挙する。
［第１の局面］
顔位置追跡方法であって：
現在の画像フレームにおける顔領域を取得するステップと；
前記現在の画像フレームにおける前記顔領域に基づき、前記現在の画像フレームの次の画像フレームにおける顔を含む予測領域を特定するステップと；
前記顔領域に対する類似度が所定の要件を満たす第１の事前選択領域を求めて前記予測領域を検索するステップと；
前記次の画像フレームにおける顔領域を検出し、前記第１の事前選択領域、前記次の画像フレームにおける前記顔領域検出結果、及び所定の選択規則に基づき、前記次の画像フレームの顔位置追跡結果を特定するステップと；を備える、
顔位置追跡方法。
［第２の局面］
前記顔領域に対する類似度が所定の要件を満たす第１の事前選択領域を求めて前記予測領域を検索する前記ステップが：
第１の移動ステップに基づき、前記予測領域を詳しく検討して前記顔領域の比較領域を取得するステップと；
前記顔領域と前記比較領域との類似度を計算するステップと；
前記次の画像フレームにおける類似度が前記所定の要件を満たす比較領域を、前記次の画像フレームにおける前記第１の事前選択領域として用いるステップ；を備える、
第１の局面に記載の顔位置追跡方法。
［第３の局面］
前記顔領域と前記比較領域との類似度が、下式を用いて計算される：
【数１】
2018533805.tif 000001
（ここで、ｌｅｆｔｏｒｉ、ｌｅｆｔｄｅｓ、ｔｏｐｏｒｉ、及びｔｏｐｄｅｓは、それぞれ、前記顔領域の左側の境界の位置、現在の比較領域の左側の境界の位置、前記顔領域の上側の境界の位置、及び前記現在の比較領域の上側の境界の位置を表し；ｗｉｄｔｈは、前記顔領域の幅を表し、ｈｅｉｇｈｔは、前記顔領域の高さを表し、ｆ（ｉ，ｊ）は、前記現在の画像フレームにおける前記顔領域における座標が（ｉ，ｊ）である画素のグレースケール値を表し、ｇ（ｉ，ｊ）は、前記次の画像フレームの比較領域における座標が（ｉ，ｊ）である画素のグレースケール値を表し；ｘは、指定された経験的閾値を表し、ｄｉｓは、前記顔領域と前記比較領域との類似度である）、
第２の局面に記載の顔位置追跡方法。
［第４の局面］
類似度が前記所定の要件を満たす前記比較領域は、前記次の画像フレームにおける比較領域の中で類似度が最大の比較領域を含む、
第２の局面に記載の顔位置追跡方法。
［第５の局面］
前記第１の移動ステップの値の範囲が２画素以上である、
第２の局面に記載の顔位置追跡方法。
［第６の局面］
顔領域に対する類似度が最大の第２の事前選択領域を求めて、第１の事前選択領域を囲む第２のステップサイズの範囲内を検索するステップであって、前記第２のステップサイズは第１のステップサイズ未満である、顔領域に対する類似度が最大の第２の事前選択領域を求めて、第１の事前選択領域を囲む第２のステップサイズの範囲内を検索するステップと；
これに対応して、前記第１の事前選択領域、前記次の画像フレームにおける前記顔領域検出結果、及び所定の選択規則に基づき、前記次の画像フレームの顔位置追跡結果を特定する前記ステップが、前記第２の事前選択領域、前記次の画像フレームにおける前記顔領域の前記検出結果、及び前記所定の選択規則に基づき、前記次の画像フレームの前記顔位置追跡結果を特定するステップ；を更に備える、
第２乃至５の局面のいずれかに記載の顔位置追跡方法。
［第７の局面］
前記第１の事前選択領域、前記次の画像フレームにおける前記顔領域検出結果、及び所定の選択規則に基づき、前記次の画像フレームの顔位置追跡結果を特定する前記ステップが：
前記次の画像フレームにおける前記顔領域の前記検出結果として、顔領域が検出されない場合、前記第１の事前選択領域を前記次の画像フレームの前記顔位置追跡結果として用いるステップと；
前記次の画像フレームにおける前記検出された顔領域と前記第１の事前選択領域との間の重複係数が０である場合、前記第１の事前選択領域を前記次の画像フレームの前記顔位置追跡結果として用いるステップと；
前記次の画像フレームにおける前記検出された顔領域と前記第１の事前選択領域との間の前記重複係数が所定の閾値未満である場合、前記第１の事前選択領域を、前記次の画像フレームの前記顔位置追跡結果として用いるステップと；
前記次の画像フレームにおける前記検出された顔領域と前記第１の事前選択領域との間の前記重複係数が前記所定の閾値以上である場合、前記次の画像フレームにおける前記検出された顔領域を前記次の画像フレームの前記顔位置追跡結果として用いるステップと；の何れかを備える、
第１の局面に記載の顔位置追跡方法。
［第８の局面］
現在の画像フレームにおける顔領域を取得する前記ステップが：
少なくとも２つの顔が前記現在の画像フレームから検出された場合、前記現在の画像フレームにおける最大領域の顔に対応する領域を、前記現在の画像フレームにおける前記顔領域として選択するステップ；を備える、
第１の局面に記載の顔位置追跡方法。
［第９の局面］
顔位置追跡装置であって：
現在の画像フレームにおける顔領域を検出するように構成された検出モジュールと；
前記現在の画像フレーム内にあり、前記検出モジュールによって検出された前記顔領域に基づき、前記現在の画像フレームの次の画像フレームにおける、顔を含む予測領域を計算するように構成された予測領域計算モジュールと；
前記顔領域に対する類似度が所定の要件を満たす第１の事前選択領域を求めて前記予測領域を検索するように構成された事前選択領域計算モジュールと；
前記第１の事前選択領域、前記検出モジュールによる前記現在の画像フレームの前記次の画像フレームにおける顔領域検出結果、及び所定の選択規則に基づき、前記次の画像フレームの顔位置追跡結果を特定するように構成された追跡結果選択モジュールと；を備える、
顔位置追跡装置。
［第１０の局面］
前記事前選択領域計算モジュールが：
指定された第１のステップに基づき、前記予測領域を詳しく検討して前記顔領域の比較領域を取得するように構成された比較領域モジュールと；
前記顔領域と前記比較領域との類似度を計算するように構成された類似度計算モジュールと；
前記次の画像フレームにおける類似度が前記所定の要件を満たす比較領域を、前記次の画像フレームにおける前記第１の事前選択領域として用いるように構成された第１の事前選択モジュールと；を備える、
第９の局面に記載の顔位置追跡装置。
［第１１の局面］
前記顔領域と前記比較領域との類似度が、下式を用いて計算される：
【数１】
2018533805.tif 000002
（ここで、ｌｅｆｔｏｒｉ、ｌｅｆｔｄｅｓ、ｔｏｐｏｒｉ、及びｔｏｐｄｅｓは、それぞれ前記顔領域の左側の境界の位置、現在の比較領域の左側の境界の位置、前記顔領域の上側の境界の位置、及び前記現在の比較領域の上側の境界の位置を表し；ｗｉｄｔｈは、前記顔領域の幅を表し、ｈｅｉｇｈｔは、前記顔領域の高さを表し、ｆ（ｉ，ｊ）は、前記現在の画像フレームにおける前記顔領域における座標が（ｉ，ｊ）である画素のグレースケール値を表し、ｇ（ｉ，ｊ）は、前記次の画像フレームの比較領域における座標が（ｉ，ｊ）である画素のグレースケール値を表し；ｘは、指定された経験的閾値を表し、ｄｉｓは、前記顔領域と前記比較領域との類似度である）、
第１０の局面に記載の顔位置追跡装置。
［第１２の局面］
前記第１の事前選択モジュールにおける類似度が前記所定の要件を満たす前記比較領域は、前記次の画像フレームにおける比較領域の中で類似度が最大の比較領域を含む、
第１０の局面に記載の顔位置追跡装置。
［第１３の局面］
前記第１の移動ステップの値の範囲は２画素以上である、
第１０の局面に記載の顔位置追跡装置。
［第１４の局面］
前記顔領域に対する類似度が最大の第２の事前選択領域を求めて、前記第１の事前選択領域を囲む第２のステップサイズの範囲内を検索するように構成された追跡結果選択モジュールであって、前記第２のステップサイズは前記第１のステップサイズ未満である、追跡結果選択モジュールと；
これに対応して、前記追跡結果選択モジュールが、前記第１の事前選択領域、前記検出モジュールによる前記現在の画像フレームの前記次の画像フレームにおける顔領域検出結果、及び所定の選択規則に基づき、前記次の画像フレームの顔位置追跡結果を特定することは、前記追跡結果選択モジュールが、前記第２の事前選択領域、前記検出モジュールによる前記現在の画像フレームの前記次の画像フレームにおける前記顔領域前記検出結果、及び前記所定の選択規則に基づき、前記次の画像フレームの前記顔位置追跡結果を特定することを含む、
第１０乃至１３の局面のいずれかに記載の顔位置追跡装置。
［第１５の局面］
前記追跡結果選択モジュールが：
前記次の画像フレームにおける前記顔領域を検出し、前記次の画像フレームにおける前記顔領域が検出された場合、前記次のフレームの顔領域と前記第１の事前選択領域との重複係数を計算するように構成された検出・計算モジュールと；
前記検出・計算モジュールにより前記次の画像フレームから顔領域が検出されない、前記検出・計算モジュールが計算した前記重複係数が０である、あるいは前記検出・計算モジュールが計算した前記重複係数が所定の閾値未満である、という条件のうちの少なくとも１つが満たされる場合、前記第１の事前選択領域を前記次の画像フレームの前記顔位置追跡結果として用い；前記検出・計算モジュールが計算した前記重複係数が、前記所定の閾値以上である場合、前記次の画像フレーム内にあり、前記検出モジュールが検出した前記顔領域を前記次の画像フレームの前記顔位置追跡結果として用いるように構成された選択モジュールと；を備える、
第９の局面に記載の顔位置追跡装置。
［第１６の局面］
前記検出モジュールが現在の画像フレームにおける顔領域を検出することが：
少なくとも２つの顔が前記現在の画像フレームから検出された場合、前記現在の画像フレームにおける最大領域の顔に対応する領域を前記現在の画像フレームにおける前記顔領域として選択するステップを備える、
第９の局面に記載の顔位置追跡装置。
［第１７の局面］
顔位置追跡電子デバイスであって：
処理を待つ現在の画像フレームを取得するように構成された情報取得ユニットと；
前記現在の画像フレームにおける顔領域を検出し；前記現在の画像フレームにおける前記検出した顔領域に基づき、前記現在の画像フレームの次の画像フレームにおける、顔を含む予測領域を計算し、前記顔領域に対する類似度が所定の要件を満たす第１の事前選択領域を求めて前記予測領域を検索し；前記第１の事前選択領域、前記処理ユニットによる前記現在の画像フレームの前記次の画像フレームにおける顔領域検出結果、及び所定の選択規則に基づき、前記次の画像フレームの顔位置追跡結果を特定するように構成された処理ユニットと；
前記処理ユニットが取得した前記顔位置追跡結果を表示するように構成されたディスプレイユニットと；を備える、
顔位置追跡電子デバイス。