(57)【要約】  一態様によれば、一連の画像において被験者の頭部を追跡する方法が提供される。この方法は、被験者の頭部の少なくとも一部の一連の画像を受信することと、被験者の頭部の第１の複数の主特徴の位置に基づいて、一連の画像における被験者の頭部の位置を追跡することと、第１の複数の主特徴の位置に基づいて被験者の頭部の位置の第１の信頼水準を決定することと、二次特徴の位置のモニタすることと、第１の信頼水準が定義されたしきい値を下回っていると判定した場合、主特徴の前記位置よりもむしろ二次特徴の位置に基づいて被験者の頭部の位置を追跡することと、を含む。他の態様によれば、処理ユニット、装置及び機械読取可能媒体が提供される。〔選択図〕  図１
2020513629.tif 000002
【特許請求の範囲】
【請求項１】
一連の画像において被験者の頭部を追跡する方法であって、
被験者の頭部の少なくとも一部の一連の画像を受信することと、
前記被験者の頭部の第１の複数の主特徴の位置に基づいて、前記一連の画像における前記被験者の頭部の位置を追跡することと、
前記第１の複数の主特徴の位置に基づいて前記被験者の頭部の前記位置の第１の信頼水準を決定することと、
二次特徴の位置をモニタすることと、
前記第１の信頼水準が定義されたしきい値を下回っていると判定した場合、前記主特徴の前記位置よりもむしろ前記二次特徴の前記位置に基づいて前記被験者の頭部の前記位置を追跡することと、
を含む、方法。
【請求項２】
前記一連の画像内の特定の画像に対して、前記第１の信頼水準は、前記第１の複数の主特徴の信頼水準の組み合わせに基づく、請求項１に記載の方法。
【請求項３】
前記二次特徴の前記位置に基づいて前記被験者の頭部の前記位置を追跡する間に、前記被験者の頭部の第２の複数の主特徴の位置をモニタすることと、
前記第２の複数の主特徴の位置に基づいて前記被験者の頭部の前記位置の第２の信頼水準を決定することと、
前記第２の信頼水準が定義されたしきい値を超えていると判定した場合、前記二次特徴の前記位置ではなく前記第２の複数の主特徴の前記位置に基づいて、前記被験者の頭部の位置を追跡することと、
をさらに含む、請求項１又は２に記載の方法。
【請求項４】
前記主特徴の前記位置に基づいて前記被験者の頭部の位置を追跡する間に、被験者の頭部の追跡に使用される可能性のある二次特徴として二次特徴の候補を特定することと、
をさらに含む、請求項１乃至３のいずれか１項に記載の方法。
【請求項５】
前記第１の複数の主特徴のうちの１つ以上の前記位置に基づいて、前記二次特徴の候補の前記位置の信頼水準を決定することと、
前記二次特徴の候補の前記位置の信頼水準が定義されたしきい値を下回っていると判定した場合、前記二次特徴の候補を前記被験者の頭部を追跡するために使用される可能性のある二次特徴として捨てることと、
をさらに含む、請求項４に記載の方法。
【請求項６】
前記主特徴の前記位置を表す座標に前記被験者の頭部の３次元モデルを適合させることと、
複数の画像における第１の画像と後続の第２の画像から得られた前記主特徴の前記位置に基づいて、前記３次元モデルの前記位置を更新することと、
前記３次元モデルにおける前記二次特徴の候補の前記位置を、前記モデルにおける前記主特徴の前記位置に基づいて予測することと、
をさらに含む、請求項４に記載の方法。
【請求項７】
前記３次元モデルにおける前記二次特徴の候補の前記予測位置を前記第１の画像及び前記第２の画像の画像特徴追跡解析から決定される前記二次特徴の候補の位置と比較することと、
前記予測位置が前記画像特徴追跡解析から決定された前記位置の定義された距離内にある場合、前記二次特徴の候補の前記位置の信頼水準を増加させることと、
さらに含む、請求項６に記載の方法。
【請求項８】
各主特徴が、眼の一部、鼻の一部、口の一部、眉の一部、及び顎の一部のうちの１つを含む、請求項１乃至７のいずれか１項に記載の方法。
【請求項９】
前記二次特徴が、前記受信された一連の画像の画像の一部を含む、請求項１乃至８のいずれか１項に記載の方法。
【請求項１０】
前記二次特徴の前記位置に基づいて前記被験者の頭部の前記位置を追跡することは、テンプレート・マッチング技術及び画像特徴マッチング技術のうちの少なくとも１つを適用することを含む、請求項１乃至９のいずれか１項に記載の方法。
【請求項１１】
請求項１乃至１０のいずれか１項記載の方法を実行するように構成された処理ユニット。
【請求項１２】
被験者の頭部を追跡するための装置であって、
被験者の頭部の少なくとも一部を表す一連の画像を受信するためのイメージング・ユニットと、
請求項１１に記載の処理ユニットと、
を含む、装置。
【請求項１３】
被験者の頭部の少なくとも一部を表す前記画像のデータを取り込むためのカメラをさらに含む、請求項１２に記載の装置。
【請求項１４】
前記装置が、スマート・ミラー、タブレット・コンピュータ、スマートフォン、ラップトップ・コンピュータ及びデスクトップ・コンピュータのうちの１つを含む、請求項１２又は１３に記載の装置。
【請求項１５】
命令を含む機械読取可能媒体であって、前記命令がプロセッサによって実行されると、前記プロセッサに、
被験者の頭部の第１の複数の主特徴の位置に基づいて、一連の画像における前記被験者の頭部の位置を追跡させ、
前記第１の複数の主特徴の前記位置に基づいて前記被験者の頭部の前記位置の第１の信頼水準を決定させ、
前記第１の信頼水準が定義されたしきい値を下回っていると判定した場合、前記主特徴の前記位置よりもむしろ二次特徴の位置に基づいて前記被験者の頭部の前記位置を追跡させる、機械読取可能媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、被験者（ｓｕｂｊｅｃｔ）の頭部（ｈｅａｄ）の追跡に関し、より具体的には、被験者の頭部の主特徴（ｐｒｉｍａｒｙ  ｆｅａｔｕｒｅ）の位置（ｐｏｓｉｔｉｏｎ）及び／又は二次特徴（ｓｅｃｏｎｄａｒｙ  ｆｅａｔｕｒｅ）の位置に基づく人の頭部の追跡に関する。
【背景技術】
【０００２】
化粧をしたり、スキン・ケア活動、シェービング又はヘア・トリミングを行うなどのパーソナル・ケア活動を行うとき、ユーザは、カメラを有するスマート・ミラー又はタブレット・コンピュータ又はスマートフォンなどのカメラを有するイメージング装置を使用して、活動に関するガイダンス及び／又はフィードバックを提供を受けることができる。例えば、タブレット・コンピュータ上で動作するアプリケーションを使用して、特定のスタイルをユーザの顔の毛にシェービング又はトリミングする際に、ユーザにガイダンスを提供することができる。このような例では、タブレット・コンピュータはリアル・タイムでユーザの顔を追跡し、ユーザにリアル・タイムのガイダンスを提供することができる。
【発明の概要】
【０００３】
パーソナル・ケア活動を行う人の頭などの被験者の頭部の追跡は、頭部が追跡に使用される装置のカメラに対して大きく動く場合、頭部の部分がカメラの視野から外れる場合、又は頭部の部分がカメラの視野から隠れている場合、困難な場合がある。正確な追跡データに依存する追跡装置は、もしそのような追跡データが利用できない場合、ユーザに信頼できるガイダンスを提供することができないかもしれない。
【発明が解決しようとする課題】
【０００４】
従って、追跡装置に対する頭部の位置が最適ではない場合、被験者の頭部を追跡するためのより信頼性の高い方法の必要性がある。
【課題を解決するための手段】
【０００５】
第１の態様によれば、一連の画像において被験者の頭部を追跡する方法が提供される。この方法は、被験者の頭部の少なくとも一部の一連の画像を受信することと、被験者の頭部の第１の複数の主特徴の位置に基づいて、一連の画像において被験者の頭部の位置を追跡することと、第１の複数の主特徴の位置に基づいて被験者の頭部の位置の第１の信頼水準を決定することと、二次特徴の位置をモニタすることと、第１の信頼水準が定義されたしきい値を下回っていると判定する場合、主特徴の位置よりもむしろ二次特徴の位置に基づいて被験者の頭部の位置を追跡することと、を含む。このようにして、方法を実行する追跡装置は、追跡に使用される主特徴が利用できない（例えば、見えない）場合でも、被験者の頭部を追跡し続けることができる。被験者の頭部の位置は、頭部の複数の特徴（例えば、顔の特徴）、すなわち頭部の主特徴の位置によって定義することができる。頭部の十分な主特徴の位置が既知である場合、次いで、頭部の任意の特徴の位置が決定可能である。同様に、画像の十分な数の特徴（すなわち、二次特徴）が決定され得る場合、頭部の位置は決定可能である。主特徴に基づいて頭部を追跡する方が、二次特徴に基づいて頭部を追跡するよりも、一般的に信頼性が高いと考えられる。主特徴追跡は、確立された信頼できる技術を用いて実行することができ、主特徴は、互いに対して同じ位置に一貫して現れる頭部の、容易に識別可能な一般的特徴とすることができる。二次特徴は、追跡される頭部の画像において識別されるが、すべての人の頭部の画像には存在しない人固有の特徴であり得る。
【０００６】
二次特徴の位置は、第１の複数の主特徴のうちの１つ以上に対してモニタすることができる。
【０００７】
一連の画像の中の特定の画像に対して、第１の信頼水準は、ある実施形態では、特定の画像の中に主特徴の定義された数より少ない数が見える場合、定義されたしきい値を下回ると判定されてもよい。このようなシナリオは、例えば、いくつかの主特徴が物体によって追跡装置の視界から見えない場合、又は、いくつかの主特徴が追跡装置の視野の外にある場合に発生する。
【０００８】
いくつかの実施形態において、本方法は、二次特徴の位置に基づいて、被験者の頭部の位置を追跡する間に、被験者の頭部の第２の複数の主特徴の位置をモニタすることをさらに含むことができる。この方法は、第２の複数の主特徴の位置に基づいて、被験者の頭部の位置の第２の信頼水準を決定することを含み得る。第２の信頼水準が定義されたしきい値を超えているとの判定に応じて、本方法は、二次特徴の位置ではなく主特徴の第２の複数の位置に基づいて、被験者の頭部の位置を追跡することができる。従って、追跡装置が二次特徴に基づいて頭部を追跡しており、その代わりに、主特徴に基づいて頭部を追跡することができると判定する場合、次に、装置は、より信頼性の高い主特徴追跡に戻すことができる。
【０００９】
この方法は、主特徴の位置に基づいて、被験者の頭部の位置を追跡する間に、被験者の頭部の追跡に使用される可能性のある二次特徴として二次特徴の候補を特定することをさらに含んでもよい。このようにして、追跡装置は、主特徴に基づいて頭部を確実に追跡しながら、追跡に使用される新しい二次特徴を「学習する（ｌｅａｒｎ）」ことができる。
【００１０】
いくつかの実施形態によれば、本方法は、第１の複数の主特徴のうちの１つ以上に基づいて二次特徴の候補の位置の信頼水準を決定することをさらに含むことができる。二次特徴の候補の位置の信頼水準が定義されたしきい値を下回っていると判定されることに応じて、この方法は、二次特徴の候補を被験者の頭部を追跡するために使用される可能性のある二次特徴として捨てることができる。主特徴の位置に基づいて高い信頼水準でその位置が分からない二次特徴の候補を捨てることによって、追跡装置は、二次特徴の不正確な位置が使用される場合に発生するかもしれない頭部の不正確な追跡を回避することができる。二次特徴の候補の位置の信頼水準は、主特徴の既知の位置に基づいて、被験者の頭部の３次元モデル上の二次特徴の候補の予測位置と、被験者の頭部の２次元捕捉画像において決定される位置との間の一致レベルによって、少なくとも部分的に決定されてもよい。
【００１１】
本方法は、被験者の頭部の３次元モデルを主特徴の位置を表す座標にフィットすることと、複数の画像における第１の画像及び後続の第２の画像（ａ  ｓｅｃｏｎｄ，  ｌａｔｅｒ  ｉｍａｇｅ）から得られた主特徴の位置に基づいて、３次元モデルの位置を更新することと、モデルにおける主特徴の位置に基づいて、３次元モデルにおける二次特徴の候補の位置を予測することを、さらに含み得る。
【００１２】
いくつかの実施態様において、本方法は、３次元モデルにおける二次特徴の候補の予測位置を、第１の画像及び第２の画像の画像特徴追跡解析から決定される二次特徴の候補の位置と比較することと、予測位置が画像特徴追跡解析から決定される位置の定義された距離内にある場合、二次特徴の候補の位置の信頼水準を増加することと、を含むことができる。いくつかの実施形態では、画像特徴追跡解析は、オプティカル・フロー解析を含むことができる。他の実施形態では、３次元モデルにおける二次特徴の候補の予測位置は、オプティカル・フロー解析以外の画像特徴追跡又は学習方法から決定される二次特徴の候補の位置と比較されてもよい。
【００１３】
本方法は、一連の画像内の複数の画像にわたって、第１の複数の主特徴のうちの１つ以上に対する二次特徴の候補の位置をモニタすることをさらに含むことができる。（ｉ）１つ以上の主特徴に対する二次特徴の候補の位置が、複数の画像にわたって一貫性があり、かつ（ｉｉ）第１の信頼水準が、定義されたしきい値を上回っていると判定する場合、本方法は、一連の画像の第１の画像から、二次特徴の候補を含む画像パッチに関連する少なくとも１つの特徴を識別するデータを抽出することと、データを記憶することと、を含む。このようにして、この方法は、頭部を追跡するのに適した二次特徴を「学習する」ことができる。二次特徴は、主特徴の位置が確実であり、二次特徴の位置が多数の画像にわたって一貫性がある場合にのみ使用される。主特徴は、二次特徴の学習を監督するといえる。
【００１４】
本方法は、少なくとも１つの特徴に基づいて、一連の画像の後続の第２の画像における画像パッチを識別することをさらに含むことができる。
【００１５】
各主特徴は、眼の一部、鼻の一部、口の一部、眉の一部、及び顎の一部のうちの１つを含み得る。このような主特徴は、一般的な顔の特徴（ｆａｃｅ  ｆｅａｔｕｒｅｓ）と呼ばれることがある。なぜなら、ほとんどの人の頭部には、このような容易に識別できる特徴が含まれるからである。
【００１６】
いくつかの実施形態では、二次特徴は、受信された一連の画像の画像の一部を含んでもよい。このような部分は、画像パッチ（ｉｍａｇｅ  ｐａｔｃｈ）として知られている。
【００１７】
二次特徴の位置に基づいて被験者の頭部の位置を追跡することは、テンプレート・マッチング技術及び画像特徴マッチング技術のうちの少なくとも１つを適用することを含み得る。
【００１８】
第２の態様によれば、上記方法を実行するように構成された処理ユニットが提供される。
【００１９】
第３の態様によれば、被験者の頭部を追跡するための装置が提供される。このシステムは、被験者の頭部の少なくとも一部を表す一連の画像を受信するためのイメージング・ユニットと、上述したような処理ユニットとを含む。
【００２０】
この装置は、被験者の頭部の少なくとも一部を表す画像データを取り込むためのカメラをさらに含んでもよい。
【００２１】
いくつかの実施形態では、装置は、スマート・ミラー、タブレット・コンピュータ、スマートフォン、ラップトップ・コンピュータ及びデスクトップ・コンピュータのうちの１つを含むことができる。
【００２２】
第４の態様によれば、命令がプロセッサによって実行されると、プロセッサに、被験者の頭部の第１の複数の主特徴の位置に基づいて、一連の画像における被験者の頭部の位置を追跡し、第１の複数の主特徴の位置に基づいて被験者の頭部の位置の第１の信頼水準を決定し、第１の信頼水準が定義されたしきい値を下回っていると判定した場合、主特徴の位置よりもむしろ二次特徴の位置に基づいて被験者の頭部の位置を追跡させる、命令を含む機械読取可能媒体が提供される。
【００２３】
命令を含む機械読取可能媒体であって、命令がプロセッサによって実行されると、プロセッサに、二次特徴の位置に基づいて被験者の頭部の位置を追跡する間に、被験者の頭部の第２の複数の主特徴の位置をモニタさせ、第２の複数の主特徴の位置に基づいて被験者の頭部の位置の第２の信頼水準を決定させ、第２の信頼水準が定義されたしきい値を超えていると判定した場合、二次特徴の位置ではなく第２の複数の主特徴の位置に基づいて、被験者の頭部の位置を追跡させる。
【００２４】
本発明のこれら及び他の実施形態は、以下に記載される実施形態から明らかになり、それらを参照して明瞭にされるであろう。
【図面の簡単な説明】
【００２５】
本発明をより良く理解し、それがどのように実施され得るかをより明確に示すために、以下で、添付の図面をほんの１例としてこれから参照する。
【００２６】
【図１】本発明の実施形態による追跡装置の一例の概略図である。
【図２】本発明の実施形態による追跡装置のさらなる例を示す概略図である。
【図３】パーソナル・ケア活動を行うユーザの図である。
【図４】部分的にカメラの視野内のユーザの図である。
【図５】被験者の頭部を追跡する方法の一例のフローチャートである。
【図６】被験者の頭部を追跡する方法のさらなる例のフローチャートである。
【図７】被験者の頭部を追跡する方法のさらなる例のフローチャートである。
【図８】プロセッサを有する例示的な機械読取可能媒体の概略図である。
【発明を実施するための形態】
【００２７】
他の目的の中でも、本発明は、いくつかの例において、パーソナル・ケア活動（ｐｅｒｓｏｎａｌ  ｃａｒｅ  ａｃｔｉｖｉｔｙ）を実行しながら、イメージング装置（ｉｍａｇｉｎｇ  ｄｅｖｉｃｅ）を使用して、ユーザ又はユーザの一部の追跡を改善するために使用することができる。例えば、本発明は、メイクアップ用途、メイクアップ除去、スキン・ケア、ヘア・ケア、オーラル・ケア、及びシェービング、脱毛、トリミング、及び皮膚検出などの除毛活動を含むが、これらに限定されない、パーソナル・ケア活動を実施するときに実施することができる。
【００２８】
シェービング（ｓｈａｖｉｎｇ：ひげ剃り）などのパーソナル・ケア活動を行う場合、ユーザは、ガイダンスを提供するガイダンス・システムを使用することができる。このようなガイダンス・システムは、スマート・ミラー又はタブレット・コンピュータのようなコンピューティング・デバイスに関連付けられるか又はそれに結合されたカメラを含むことができる。ユーザがカメラの前でシェービング活動を行うと、ガイダンス・システムは、例えば、デバイスに関連付けられたディスプレイ・スクリーン（例えば、スマート・ミラーのスクリーン上又はコンピューティング・デバイスのディスプレイ・スクリーン上）に表示されるガイダンス・インジケータの形式で、ユーザにガイダンスを提供することができる。ガイダンス・インジケータは、例えば、剃毛されるべきユーザの領域及び剃毛されるべきでない領域を示す線、画像、又は一連のドットを含んでもよい。このようなシステムはまた、ユーザが自分の頭の特定の領域をガイダンス・システムに示すことを可能にし、及び／又はユーザ・インターフェースとして働くことができる。
【００２９】
このようなガイダンス・システムでは、ユーザ（又はユーザの一部）を表す画像データが、一連の画像の形態でカメラを介して受信され、画像データは、システムに関連付けられた処理装置を用いて処理される。次いで、ガイダンス・インジケータが生成され、ユーザの画像と共に表示されるか、又はユーザの画像の上に重ねられる。ガイダンス・システムがユーザに正確なガイダンスを提供するためには、カメラが、処理されるユーザの部分（例えば、ユーザの頭部）を追跡できるように、ユーザを画像化できる必要がある。いくつかのガイダンス・システムにおいて、そのような追跡は、ユーザ上の特定の特徴を検出し、ユーザが移動するにつれてその特徴を追跡する追跡システムによって行われる。しかしながら、追跡システムによって追跡される特定の特徴は、そのシステムが一定期間その位置を追跡することができないような位置に移動されてもよい。
【００３０】
本発明によれば、パーソナル・ケア活動を行う人の頭部などの被験者の頭部は、追跡の２つのレベル（ｌｅｖｅｌｓ）又はレジーム（ｒｅｇｉｍｅｓ）を用いて追跡することができる。第１の追跡レジームは、複数の主特徴を使用して人の頭部を追跡し、第２の追跡レジームは、１つ以上の二次特徴を使用して人の頭部を追跡する。本開示の文脈において、主特徴は、ほとんどの人の頭部に存在する可能性が高く、検出可能である人の頭部の特徴である。例えば、顔の毛のトリミングを補助するために追跡システムを使用する人のシナリオでは、人の頭部の主特徴は、人の目、眉、鼻及び口、及び人の顔又は頭の縁の少なくとも一部を含む。より詳細には、主特徴は、目尻、眉の端、及び口角のような特定の顔の特徴の端部又は角部の点を含み得る。主特徴はまた、鼻の外縁、口又は口唇の縁、眼の縁、及び顎の縁に沿った点のような、特定の顔の特徴の縁上の点を含み得る。このようにして、主特徴は、ほとんどの人の頭に現れ、目に見える可能性が高い、人の頭や顔の一般的特徴とみなすことができる。一組の定義された主特徴を記述するデータは、追跡装置がそれらの主特徴を追跡することを可能にするように追跡装置に提供されてもよい。例えば、被験者の眼、鼻もしくは口、又はその一部分の形状及び／又は外観を記述又は定義するデータが提供されてもよい。主特徴が何であるべきかを知ることにより、追跡装置は、被験者の頭部の画像においてそれらを高い信頼性で識別することができる。
【００３１】
主特徴を用いて頭部を追跡することは、公知の追跡技術を用いて行うことができる。既知の追跡技術の一例は、頭部の定義された３次元モデル（例えば、能動形状モデル（ａｃｔｉｖｅ  ｓｈａｐｅ  ｍｏｄｅｌ）、すなわちＡＳＭ）を頭部の２次元画像（例えば、カメラによって取り込まれた一連の画像、又はビデオの画像）に適合することを含む。このような頭部のモデルは、基本的な近似頭部モデルを使用することができ、そのパラメータは、追跡される頭部をより良く近似するために、取り込まれた画像に現れるときに頭部にモデルが適合するように調整される。３次元モデルは、例えば、モデルのパラメータを調整することによって、被験者の頭部及び顔の特徴の位置（すなわち、主特徴）にも適合される。主特徴を用いて頭部を追跡することは、頭部の取り込まれた画像における既知の主特徴を同定し、一連の画像内で動く３次元モデル上のそれらの主特徴の位置を更新することを含む。被験者の頭部をモデル化するための能動形状モデルの使用、及び対象を追跡する際のこのようなモデルの使用は、当業者には明らかであろう。
【００３２】
二次特徴は、追跡システムに関連したカメラによって取り込まれた一連の画像の特徴のような、被験者の頭部の画像の特徴である。いくつかの実施形態において、二次特徴は、一連の画像の画像の少なくとも一部（好ましくは大部分又は全部）において識別され得る画像パッチ（すなわち、画像の切り取られた部分）を含み得る。二次特徴は、それが画像において容易に識別可能であるならば、画像から抽出することができ、又は画像において選択することができ、従って、一連の画像において画像から画像へと追跡することができる。二次特徴は、顔の特徴を示す画像のパッチ又は部分であってもよく、それは、大多数の人には存在しないが、特定の人に固有（ｓｐｅｃｉｆｉｃ  ｔｏ  ａ  ｐａｒｔｉｃｕｌａｒ  ｐｅｒｓｏｎ）であって、皮膚病変（ｓｋｉｎ  ｌｅｓｉｏｎｓ）（例えば、スキン・タグ（ｓｋｉｎ  ｔａｇｓ：軟性線維腫）、ほくろ（ｍｏｌｅｓ）、母斑（ｂｉｒｔｈｍａｒｋｓ））、傷跡（ｓｃａｒｓ）、人の髪の生え際（ｈａｉｒｌｉｎｅ）、及び人の耳の一部のような、頭部の一貫した検出可能な特徴であってもよい。代わりに、二次特徴は、主特徴の一部を含む一連の画像からの画像の一部を含むことができる。例えば、人の口の特徴的な部分を含む画像パッチは、追跡可能な二次特徴として選択されてもよい。
【００３３】
図面を参照すると、図１は、本発明の実施形態による追跡装置１００を概略的に示す。追跡装置１００は、イメージング・ユニット１０２及び処理ユニット１０４を含む。イメージング・ユニットは、被験者の頭部の少なくとも一部を表す一連の画像を受信することができる。例えば、イメージング・ユニット１０２は、パーソナル・ケア活動を行うユーザの頭部の一部分の一連の画像を受信してもよい。画像は、トレース装置１００に関連するカメラから受信してもよい。処理ユニット１０４は、イメージング・ユニットと通信してもよく、イメージング・ユニット１０２によって受信された一連の画像において、ユーザの頭部を追跡するように構成される。具体的には、処理ユニット１０４は、本明細書に記載の追跡方法を実行するように構成される。
【００３４】
処理ユニット１０４は、１つ以上のプロセッサなどの処理装置、又は処理活動を実行することができる任意の他のコンピューティング・デバイスを含んでもよい。
【００３５】
図２は、本発明の実施形態による追跡装置２００を概略的に示す。追跡装置２００は、図１の追跡装置と同様である。しかしながら、追跡装置２００は、さらに、被験者の頭部の少なくとも一部を表す画像データを取り込むためのカメラ２０２を含む。カメラ２０２は、ユーザの頭部（又はその一部）の一連の画像を取り込み、それらが取り込まれるときに、それらをイメージング・ユニット１０２に送ることができる。追跡装置１００、２００はまた、受信画像又は捕捉画像に関連するデータを記憶するための、又はプログラムコード、例えば本明細書に記載の方法を実行するためのソフトウェア・コードを記憶するための、メモリ（図示せず）のような記憶媒体を含んでもよい。
【００３６】
追跡装置１００、２００は、スマート・ミラー、タブレット・コンピュータ、スマートフォン、ラップトップ・コンピュータ、又はデスクトップ・コンピュータなどの装置を含んでもよく、又はその中に実装されてもよい。
【００３７】
図３は、この例では、顔の毛をトリミングすることを含むパーソナル・ケア活動を行うユーザの画像を示す。ユーザの画像は、画像を取り込むカメラの視野の範囲を示すフレーム３００内にある。ユーザ３０２は、この例では、トリマ又はシェーバである切断装置３０４を保持して示されている。複数の主特徴インジケータ３０６が、ユーザ３０２の画像上の様々な位置におけるドット（ｄｏｔｓ：点）として示される。主特徴インジケータ３０６の各々は、ユーザ３０２の頭部の主特徴に関連する点を表す。主特徴インジケータ３０６は、ユーザ３０２の眉３０８に沿った点、ユーザの目３１０の周り、ユーザの鼻３１２上の点、ユーザの口３１４の周り、及びユーザの顔３１６の縁に沿った点に位置して示される。
【００３８】
頭部の主特徴は、それらが追跡装置１００、２００によって認識されるように定義される。換言すれば、追跡装置１００、２００は、主特徴の定義されたセットから主特徴を認識するように構成される。このようにして、主特徴は、特定の主特徴が常に同じように見えること、例えば、目尻は常に目尻のように見えることにおいて、意味的である（ｓｅｍａｎｔｉｃ）とみなすことができる。これは、特定の主特徴の同一性に関して不確実性がほとんど又は全くない可能性が高いため、主特徴を用いて、人の頭部が確信して追跡されることを意味する。従って、追跡装置１００、２００によって取り込まれた画像において、定義された主特徴のセットからの主特徴が検出されると、頭部の３次元モデルは、検出された主特徴の位置を表す座標に適合される。いくつかの実施形態において、３次元モデルは、約６０の主特徴を含むことができ（すなわち、その位置を表す座標に適合させることができ）、一連の画像における後続の画像間の頭部の位置を追跡するために可能な限り多くの主特徴を使用することができる。
【００３９】
図３に示す画像は、追跡装置１００、２００によって受信されるか、及び／又は追跡装置２００のカメラ２０２のようなカメラによって取り込まれ、処理される一連の画像の一つの画像を表す。処理ユニット１０４のような追跡装置に関連する処理装置は、ユーザの１つ以上の顔の特徴又はランドマーク（３０８〜３１４）を識別し、追跡すべき信頼性できる主特徴として役立つ顔の特徴の上又はその周囲の点を決定するための画像処理技術を実行する。追跡は、処理ユニット１０４によって操作され、及び／又は処理ユニット１０４によって実行されるソフトウェアによって実行されてもよい。ユーザ３０２がカメラ２０２の視野内（すなわち、フレーム３００内）に移動すると、処理装置は主特徴（主特徴インジケータ３０６によって識別される）を追跡する。主特徴の追跡は、上述したような種々の既知のアルゴリズム及び／又は技術、又は画像テンプレート・マッチング、回帰ベースの方法又は畳み込み及び／又はディープ・ニューラル・ネットワーク・ベースのアルゴリズムなどを使用して達成することができる。
【００４０】
図３に示すように、トリマ３０４は、ユーザ３０２の顔と画像データを取り込むカメラとの間に保持されている。従って、トリマ３０４は、ユーザの顔の一部をカメラから見て不明瞭にし、又は遮る。従って、トリマ３０４は、ユーザ３０２の１つ以上の主特徴、又は１つ以上の主特徴の一部を視野からブロックするかもしれない。図３において、マーク３１８（×として示される）は、トリマ３０４がカメラの視界から顔を覆い隠さなければ、主特徴インジケータ３０６が見えるであろう場所に示される。トリマ３０４によって覆われたユーザ３０２の頭部の部分はカメラには見えないため（少なくとも図３に示される画像フレームにおいて）、カメラに見えないユーザの頭部の覆われた部分の主特徴（又はその部分）は、追跡装置を用いて追跡することはできない。
【００４１】
主特徴の部分がカメラの視界から外れている別の状況が、図４に示されている。図４では、ユーザの画像はフレーム４００内にあり、フレーム４００は画像を取り込むカメラの視野の範囲を示す。図４の例では、ユーザ３０２はカメラに向かって移動し、その結果、ユーザの顔の一部はカメラの視野の外側にある（すなわち、画像フレーム４００内には見えない）。従って、被写体の主特徴のいくつか、及び主特徴インジケータ３０６のいくつかは、カメラには見えない。図３のように、マーク３１８は、主特徴インジケータ３０６が被写体のこれらの部分がカメラの視野内にあれば、視認できたであろう図４の位置に示される。
【００４２】
追跡装置１００、２００に関連付けられた処理ユニット１０４が、画像内の人物の頭部の各主特徴の位置を決定するとき、それは、決定された各位置に対する信頼水準を決定する。信頼水準（ｃｏｎｆｉｄｅｎｃｅ  ｌｅｖｅｌ）は、決定された位置の精度における処理装置の信頼性の指標である。各信頼水準は、例えば、１００％が決定された位置の絶対的確実性を示し、０％が決定された位置の正確性に対する信頼性がないことを示すパーセンテージであってもよい。特定の主特徴の決定された位置（例えば、ユーザ３０２の右眼の隅）に関連する信頼水準は、特定の主特徴が画像内に見える場合（すなわち、カメラの視野内にあり、何れの物体によっても覆われていない場合）、及び／又は特定の主特徴に近接又は隣接する他の点（例えば、ユーザの右眼の縁に沿った点）が画像内に見える場合、比較的高くてもよい（例えば、９９．９９％）。特定の主特徴の決定された位置の信頼水準は、１つ以上の隣接する主特徴及び他のすぐ近くの主特徴がカメラの視野の外に移動するか、又はユーザの手のような物体によって覆い隠されるにつれて低下し得る。いくつかの実施形態では、主特徴の位置の信頼水準のための定義されたしきい値は、比較的低くてもよく（例えば、９９．５％）、一方、他の実施形態では、しきい値は、追跡の所望の精度に応じて、比較的高くてもよい（例えば、９９．９９９％）。
【００４３】
ユーザの頭部の特定の主特徴の位置の信頼水準が特に低い場合、その特定の主特徴の決定された位置は、頭部の位置を追跡するために使用されるとき、比較的小さい重みが与えられ得る。
【００４４】
主特徴の各々の決定された位置の信頼水準は、ユーザの頭部の決定された位置の信頼水準を提供するために使用される。例えば、特定の画像におけるユーザの頭部の決定された位置の信頼水準は、いくつかの実施形態において、画像における主特徴の位置に対する信頼水準の平均を計算することによって決定されてもよい。いくつかの実施形態では、ユーザの頭部の決定された位置の信頼水準は、主特徴の位置の信頼水準のサブセットの組み合わせに基づいてもよい。例えば、カメラの視界から覆い隠された主特徴は、除外され、頭部の位置の信頼水準を決定する際に使用されない。同様に、カメラの視野の外側に位置する主特徴は、非常に低い関連する信頼水準を有し、これらの特徴は、頭部の位置の信頼水準を決定する際の使用から除外されてもよい。ユーザの頭部の決定された位置の信頼水準の決定はまた、特定の画像における頭部（又は頭部の特徴）の決定された位置と、予め決定された位置に基づく特定の画像における頭部（又は頭部の特徴）の予想される位置との間の一致のレベルに基づいてもよい。先に決定された位置は、例えば、特定の画像の直前の画像において決定された位置であり得る。
【００４５】
いくつかの実施形態では、追跡装置１００、２００に関連する処理ユニット１０４は、頭部の位置を決定し、それによって、頭部の位置を追跡することができるために、各々がしきい値レベルを超える信頼水準を有する、決定されるべき最小数の主特徴の位置を必要とする。例えば、いくつかの実施形態において、処理ユニット１０４は、主特徴に基づいてユーザの頭部を追跡することができるように、１０個の主特徴の位置が９９．９％を超える信頼水準に既知であることを要求することができる。他の実施形態では、処理ユニット１０４は、追跡の所望の精度に応じて、より少ない（例えば、５個）又はより多い（例えば、１５個）主特徴の位置を知る必要がある。要件が満たされない場合、主特徴に基づいてユーザの頭部の位置を追跡することは不可能かもしれない。
【００４６】
追跡装置１００、２００が、主特徴に基づいてユーザの頭部の位置を追跡することができない場合（例えば、ユーザの頭部の位置の信頼水準が定義されたしきい値を下回る場合）、次に、後述するように、頭部を追跡するための代替手段に切り替えることができる。いくつかの実施形態では、それ以下では主特徴を用いて頭部の位置を追跡することができない信頼水準しきい値は、８０％である。
【００４７】
追跡装置１００、２００は、主特徴に基づいてユーザ３０２の頭部を追跡することができるが（換言すれば、主特徴のしきい値数の位置が、信頼のしきい値レベルに知られている間）、追跡装置は、ユーザの頭部を追跡するためにも又は代替的に使用され得る二次特徴の候補を検出する。すなわち、主特徴の決定された位置に十分なレベルの信頼性がある間、装置１００、２００は、主特徴に基づいてユーザ３０２の頭部を追跡するが、追跡に使用される二次特徴として役立つ可能性のある一連の画像内の画像のパッチも検出する。このような二次特徴の候補は、例えば、ユーザ３０２の表面上のほくろ又は傷跡、又はユーザの耳たぶの縁部を含む特定の画像における画像パッチを含むことができる。しかしながら、二次特徴を形成する画像パッチは、必ずしも被験者の顔又は頭部の特定の特徴を含む必要はないことが理解されよう。識別可能で追跡可能な画像特徴（例えば、色又は明るさにおけるコントラスト）を含む任意の画像パッチは、適切な二次特徴を形成し得る。
【００４８】
いくつかの実施形態では、約６０の二次特徴の候補が同定されるまで、一連の画像内の各新しい画像において、新しい二次特徴の候補が同定され、又は産み出される。新しい二次特徴の候補は、それらが空間的に分布されるように選択される。このようにして、二次特徴のいくつかが画像の視界から遮断される場合、画像の他の場所で見える十分な二次特徴が依然として存在する可能性が高い。
【００４９】
一旦、頭部が追跡されている一連の画像の特定の画像において１つ以上の二次特徴の候補が識別されると、追跡装置１００、２００は、識別された二次特徴の候補をモニタして、一連の画像における次の画像、次に、一連の画像における次の画像におけるそれらの位置を追跡する。
【００５０】
以下により詳細に議論するように、二次特徴の候補は、その位置に関連する信頼水準が定義されたしきい値を超えている場合にのみ、被験者の頭部を追跡するために使用されるものとして受け入れられる。二次特徴の候補の位置は、主特徴の位置に基づいて決定されるので、二次特徴の候補の信頼水準も、主特徴に基づいているとみなすことができる。二次特徴は、主特徴を使用してその位置を検証できる場合に限り、追跡可能な二次特徴のプールに追加される。二次特徴の候補の位置は、記憶媒体（図示せず）に記憶されてもよい。
【００５１】
追跡装置１００、２００は、信頼水準がしきい値を超える主特徴の位置に基づいて、一定期間にわたる（すなわち、一連の画像にわたる）二次特徴の位置に関する情報を「学習する（ｌｅａｒｎ）」ことができる。例えば、候補となる二次特徴は、一連の画像の第１の画像において識別され、その特徴の位置が決定される（例えば、画像内の２次元空間におけるその絶対座標、又は主特徴に基づく頭部の位置に対するその座標）。次いで、二次特徴の候補の位置は、以下に議論するように、一連の画像の第２の画像において多くの方法で決定されてもよい。
【００５２】
追跡装置は、３次元空間（例えば、後述する３次元モデルを使用して）における頭部の位置（単に主特徴として指定される特徴ではなく、その特徴のすべてを含む）を決定するために主特徴を使用する。主特徴及び新しく特定された二次特徴を含む頭部の特徴を２次元モデルに投影し、二次特徴の位置を、以下で説明するように、追跡される二次特徴の２次元座標と（例えば、ペア毎に）比較する。このようにして、二次特徴は、既知の主特徴に対して検証される。
【００５３】
第２の画像における二次特徴の候補の位置は、画像内の他の特徴の移動（新しい位置）に基づいて予測される位置と比較されてもよい。第２の画像における二次特徴の決定された位置が予想されたとおりである場合（例えば、２次元モデルへの投影位置に基づく）、その信頼水準は増大し得る。このようにして、追跡システムは、各後続画像から新しい二次特徴（及びそれらの位置）を学習すると考えることができる。しかしながら、特定の画像における二次特徴の存在及び位置は、その画像における主特徴の信頼水準が高い間（すなわち、しきい値を超える）にのみ決定される。主特徴の位置が確実に知られていない場合、その位置は、二次特徴の位置を決定するために使用されない。
【００５４】
いくつかの実施形態では、一連の画像の第１の画像における識別された二次特徴の候補の位置の信頼水準が決定されてもよい。追跡装置は、第１の画像から一連の画像の後続の画像への、識別された二次特徴の候補に関する第一の複数の主特徴の位置の変化に基づいて、識別された二次特徴の候補の位置の決定された信頼水準を修正することができる。換言すれば、二次特徴の候補の位置における信頼性は、その位置における変化が主特徴の位置における変化と一致しない場合、時間の経過と共に（すなわち、一連の画像を通して進行するにつれて）低下し得る。いくつかの実施形態では、二次特徴の候補は、例えば、その位置の信頼性が定義された量だけ減少するか、又は定義されたしきい値より小さい場合、頭部の位置を追跡する際に使用するための二次特徴として完全に捨ててもよい。
【００５５】
一連の画像における画像から画像への二次特徴の追跡は、１つ以上の画像処理技術を用いて達成されてもよい。例えば、いくつかの実施形態において、テンプレート・マッチングは、二次特徴を追跡するために使用され得る。テンプレート・マッチング技術は、二次特徴を中心とした画像パッチのような一連の画像の第１の画像から画像パッチを選択し、選択された画像パッチを一連の画像の第２の画像の一部とマッチングすることを試みることを含む。選択された画像パッチは、いくつかの実施形態において、例えば、３２ピクセル×３２ピクセル、又は１６ピクセル×１６ピクセルの正方形パッチであり得る。追跡装置は、第２の画像内の画像パッチの特定の色又は等価のグレースケール値を探すことができ、画像パッチが第２の画像で特定される場合、次に、第２の画像内の二次特徴の位置が既知であると見なすことができる。その後、画像追跡装置は、二次特徴の位置を決定するために、後続の画像において同じ画像パッチを探すことができる。
【００５６】
いくつかの実施形態において、画像特徴マッチング（ｉｍａｇｅ  ｆｅａｔｕｒｅ  ｍａｔｃｈｉｎｇ）は、代わりに、又はさらに、二次特徴を追跡するために使用されてもよい。画像特徴マッチングは、一連の画像の最初の画像における画像パッチの一つ以上の特性又は特徴を識別することを含む。上述のように、画像パッチは、いくつかの実施形態において、二次特徴を中心とした正方形画像パッチでもよい。このような特性／特徴には、例えば、画像パッチ内の色、画像パッチ内のピクセル間のコントラスト、又は画像パッチ内のピクセルの配置の形状が含まれる。多くの既知の画像処理／特徴認識／特徴追跡技術を使用してもよい。例えば、配向勾配ヒストグラム（ＨＯＧ：ｈｉｓｔｏｇｒａｍ  ｏｆ  ｏｒｉｅｎｔｅｄ  ｇｒａｄｉｅｎｔｓ）、局所バイナリ・パターン（ＬＢＰ：ｌｏｃａｌ  ｂｉｎａｒｙ  ｐａｔｔｅｒｎｓ）、画像勾配分析又はＨａａｒのような特徴分析などの１つ以上の技術を用いて、画像パッチを追跡するために使用できる画像パッチのデータ、特性及び／又は性質を抽出することができる。追跡装置は、第１の画像内の画像パッチから抽出されたデータのために、第２の画像を見ることができる。２番目の画像でデータが識別される場合、２つの画像（オプティカル・フローとして知られる）間の二次特徴の変位（すなわち、移動）を決定することが可能である。二次特徴の変位が２つの画像間の主特徴の変位と一致する場合、二次特徴の位置に関連する信頼水準が改善され得る。二次特徴の信頼水準が十分に高く（例えば、しきい値より上で）、二次特徴の位置が主特徴の位置と一致する場合、追跡装置は、例えば、上述した技術の１つ以上を使用して、第２の画像内の画像パッチから追加のデータを抽出することができる。このようにして、画像パッチに関連する画像データ（すなわち、特徴及び／又は性質）を（例えば、メモリに）記憶し、経時的に（すなわち、一連の画像にわたって）蓄積することができるが、主特徴に対する二次特徴の位置の信頼性が十分に高い間に限られる。二次特徴を取り囲む画像パッチに関する十分なデータが蓄積されるか、又は学習される場合、追跡装置は、データを使用して、しばらくして、画像内の二次特徴を検出することができる。例えば、二次特徴を識別することができ、二次特徴に関連する画像パッチに関する画像データを蓄積することができる。しかしながら、その特定の二次特徴は、一定期間カメラの視野の外に移動し得る（例えば、ユーザが一時的に頭を片側に回している間）。追跡装置は、二次特徴がその後の画像／フレームにおいてカメラの視野に戻る場合、二次特徴を識別できるように、画像パッチの特性／特徴について後続のすべての画像を検索することができる。このようにして、二次特徴は、追跡すべき頭部の信頼できる特徴として再び受け入れられる。
【００５７】
従って、追跡装置は、一連の画像内の複数の画像にわたって、第１の複数の主特徴のうちの１つ以上に対する二次特徴の候補の位置をモニタすることができる。（ｉ）１つ以上の主特徴に対する二次特徴の候補の位置が、複数の画像にわたって一貫性があり、かつ（ｉｉ）第１の信頼水準が、定義されたしきい値を上回っていると判定される場合、追跡装置は、一連の画像の第１の画像から、二次特徴の候補を含む画像パッチに関連する少なくとも１つの特徴を識別するデータを抽出する。データは、後で使用するために記憶されてもよい。
【００５８】
追跡装置は、記憶されたデータを使用して、少なくとも１つの特徴に基づいて、一連の画像の後続の第２の画像における画像パッチを識別することができる。
【００５９】
いくつかの実施形態では、２回目（又はそれ以降）に二次特徴が検出されると（例えば、特徴がカメラの視野に戻る時）、追跡システムは、１つ以上の主特徴の位置に対する二次特徴の位置をチェックする。二次特徴の位置が、特徴が視野から外れる前と同じ相対的位置のように、予想通りの位置にある場合、二次特徴（及びその位置）を検証することができる。これは、追跡のための二次特徴の適合性を確認するための検証の第２段階として機能するかもしれない。
【００６０】
一般に、追跡装置は、１つ以上の主特徴の位置が定義されたしきい値を超える信頼水準で既知である場合にのみ、１つ以上の主特徴に対する可能性のある二次特徴の位置をモニタしてもよい。
【００６１】
他の画像処理及び特徴追跡／マッチング技術も考えられる。
【００６２】
いくつかの実施形態では、二次特徴は、他の二次特徴及び／又は主特徴と比較して、一連の画像内の画像の間で追跡される二次特徴の位置の変化を分析することによって、一連の画像内の画像から画像へと追跡されてもよい。例えば、追跡システムは、しきい値レベルを超える信頼水準で位置が決定された１つ以上の主特徴及び／又は二次特徴に対する画像内の位置を決定することによって、一連の画像内の連続画像間の画像パッチの位置を追跡することができる。他の特徴に対する二次特徴の移動は、二次特徴の位置に関連する信頼水準を増加又は減少させるために使用されてもよい。例えば、特定の二次特徴の位置が、画像内の他の特徴に対して画像間で一貫して変化する場合、その特徴に関連する信頼水準が増加され得る。同様に、特定の二次特徴の位置が画像間で変化するが、画像内の他の特徴の位置が一貫した方法で移動しない場合、その特定の二次特徴の位置に関連する信頼水準を低下させることができる。このような信頼水準の低下は、特定の二次特徴がユーザの頭部の追跡可能な特徴ではなく、代わりに、例えばトリマ３０４のような画像内で動く何かの他の特徴であることを示し得る。
【００６３】
いくつかの実施形態において、二次特徴の位置のモニタは、以下の実施例に従って達成される。二次特徴の候補が取り込まれた画像で識別されると、頭部の３次元モデルに「マークが付けられる（ｍａｒｋｅｄ）」。後続の取り込まれた画像（例えば、第１の画像と第２の画像）間の頭部の移動は、上述のように、主特徴の移動に基づいて、３次元モデルにおいて追跡される。３次元モデルでマークが付けられた二次特徴の候補の動きをモデルの動きに基づいて予測した。従って、第２の画像では、追跡装置は、３次元モデル上でマークが付けられた二次特徴の候補の各々に対する位置を仮定する。二次特徴の候補の位置は、２次元に投影される（すなわち、頭部の２次元モデルに投影）。二次特徴の候補の移動は、例えばオプティカル・フロー測定技術を用いて、取り込まれた画像でも検出される。第２の取り込まれた画像における二次特徴の候補の位置は、２次元で投影された二次特徴の候補の仮定される／予期される位置と比較される。比較が二次特徴の候補が２番目の取り込み画像と投影された２次元画像の両方で同じ位置にあることが示された場合（定義された誤差範囲内）、二次特徴の候補は保持される。しかしながら、二次特徴の候補の位置が定義された誤差範囲よりも大きく異なる場合、二次特徴の候補は、頭部を追跡するための可能性のある二次特徴として捨てられてもよい。いくつかの実施形態では、定義された誤差範囲は、１ミリメートル、又は同等の画素数である。画素の等価数は、カメラの解像度と、カメラから追跡される頭部までの距離によって決まる。従って、追跡装置１００、２００、又はそのプロセッサは、被験者の頭部の３次元モデルを、主特徴の位置を表す座標に適合させることができる。次いで、３次元モデルの位置は、複数の画像における第１の画像及び後続の第２の画像から得られた主特徴の位置に基づいて更新されてもよい（例えば、モデルのパラメータを調整することによって）。次いで、３次元モデルにおける二次特徴の候補の位置は、モデルにおける主特徴の位置に基づいて予測することができる。
【００６４】
いくつかの実施形態において、二次特徴の候補が、その後の取り込まれた画像間のその移動後に保持される場合、次に、その二次特徴の候補の位置の信頼性は増大する。カウンタは、二次特徴の候補が残っている後続画像の数をカウントするために使用されてもよい。カウントが多いほど、二次特徴の候補の信頼性が高くなる。いくつかの実施形態では、最大カウントを有する二次特徴の候補（すなわち、後続画像の最大数に対して位置が正確に決定された二次特徴の候補）のみが、追跡目的の二次特徴として使用される。このようにして、二次特徴の候補が残っている後続画像の数（すなわち、カウンタによって数えられた数）は、二次特徴の候補の位置の信頼水準とみなすことができる。従って、二次特徴の候補の位置の信頼水準が定義されたしきい値を下回ると決定される場合、二次特徴の候補は、被験者の頭部を追跡するために使用される可能性のある二次特徴として捨てることができる。一方、二次特徴の候補の位置の信頼水準が定義されたしきい値を超えると決定された場合、二次特徴の候補は保持され、必要に応じて、頭部を追跡するための二次特徴として使用され得る。
【００６５】
従って、追跡装置１００、２００又はそのプロセッサは、３次元モデルにおける二次特徴の候補の予測位置と、第１及び第２の画像の画像特徴追跡解析から決定される二次特徴の候補の位置とを比較することができる。二次特徴の候補の位置の信頼水準は、予測位置が画像特徴追跡解析から決定された位置の定義された距離内にある場合、増加され得る。いくつかの実施形態では、画像特徴追跡解析は、オプティカル・フロー解析を含むことができる。３次元モデルを２次元画像に投影することによって計算される２次元ユークリッド変位である定義された距離は、上述のように、１ミリメートル（又は同等の画素数）であり得る。
【００６６】
頭部の位置が主特徴の位置から確実に決定できない場合、次に、頭部の追跡は、主特徴を追跡しながら信頼が構築された二次特徴の位置に基づいて行われる。二次特徴に基づいて被験者の頭部の追跡を行うとき、次に、頭部の３次元モデルは、主特徴を表す座標ではなく二次特徴を表す座標に適合される。
【００６７】
上述の方法の一部は、図５のフローチャートに示されている。図５のフローチャートは、一連の画像において被験者の頭部を追跡する方法５００の一例である。この方法は、ステップ５０２において、被験者の頭部の少なくとも一部分の一連の画像を受信することを含む。上述のように、画像は、追跡装置１００、２００のイメージング・ユニット１０２によって受信されてもよく、追跡装置に関連するカメラ２０２によって取り込まれてもよい。いくつかの実施形態において、本方法は、被験者の頭部の定義された一組の主特徴を記述するデータを受信することを含み得る。ステップ５０４において、この方法は、被験者の頭部の第１の複数の主特徴の位置に基づいて、一連の画像における被験者の頭部の位置を追跡することを含む。この方法は、ステップ５０６において、第１の複数の主特徴の位置に基づいて、被験者の頭部の位置の第１の信頼水準を決定するステップを含む。ステップ５０８において、この方法は、二次特徴の位置をモニタすることを含む。処理ユニット１０４は、第１の信頼水準を定義されたしきい値レベルと比較することができる。第１の信頼水準が定義されたしきい値を下回っていると判定すると、本方法は、主特徴の位置よりもむしろ二次特徴の位置に基づいて被験者の頭部の位置を追跡することを含む（ステップ５１０）。二次特徴の位置は、第１の複数の主特徴のうちの１つ以上に対してモニタすることができる。
【００６８】
図６は、一連の画像において被験者の頭部を追跡するさらなる例示的方法６００のフローチャートである。追跡装置１００、２００が、二次特徴又は特徴の位置に基づいてユーザ３０２の頭部を追跡している間に、装置は、いくつかの実施形態において、被験者の頭部の第２の複数の主特徴の位置をモニタすることができる（ステップ６０２）。いくつかの実施形態において、装置は、可能な限り多くの主特徴の位置をモニタし続けることができる。モニタされた主特徴は、システムによって以前に追跡されたものと同じ主特徴であってもよく、又はそれらは、異なる複数の主特徴であってもよく、その位置は、以前にモニタ又は追跡されていない。ステップ６０４において、追跡装置１００、２００は、各モニタされた主特徴（すなわち、第２の複数の主特徴）の位置の信頼水準を決定することができる。モニタされた主特徴の位置の信頼水準は、モニタされた主特徴に基づいてユーザの頭部の位置の信頼水準を計算又は決定するために使用されてもよい。従って、主特徴の十分な数（すなわち、定義されたしきい値を上回る）の位置が、定義されたしきい値を上回る信頼水準で決定される場合、ユーザ３０２の頭部の位置が、しきい値レベルを超える信頼水準で決定されることが可能である。モニタされた主特徴に基づく頭部の位置の信頼水準がしきい値を超えると決定される場合、追跡装置１００、２００は、二次特徴の位置に基づくのではなく、モニタされた主特徴の位置に基づくユーザの頭部の追跡に戻ってもよい（ステップ６０６）。
【００６９】
図７は、一連の画像において被験者の頭部を追跡するさらなる例示的方法７００のフローチャートである。上述のように、主特徴の位置に基づいて被験者の頭部の位置を追跡しながら、本方法は、被験者の頭部の追跡に使用される可能性のある二次特徴として、二次特徴の候補を特定することができる（ステップ７０２）。いくつかの実施形態では、追跡装置１００、２００は、第１の複数の主特徴のうちの１つ以上の位置に基づいて、二次特徴の候補の位置に対する信頼水準を決定する（ステップ７０４）。二次特徴の候補が、一連の画像において複数の画像にわたって明瞭に見え、識別可能である場合、その特徴の位置の信頼水準は増大し得る。特定の二次特徴の候補の位置に割り当てられた信頼水準が定義されたしきい値を超える場合、その特定の二次特徴の候補は、追跡可能な二次特徴として受け入れられ、従って、必要に応じて、ユーザ３０２の頭部を追跡するために使用されてもよい。追跡可能な特徴として受け入れられた二次特徴の候補をモニタしながら、その位置に割り当てられた信頼水準が定義されたしきい値を下回ると判定される場合、追跡装置１００、２００は、その二次特徴の候補が追跡に適さないとして拒絶することができる。換言すれば、追跡装置は、被験者の頭部の追跡に使用される可能性のある二次特徴として、二次特徴の候補を捨てることができる。
【００７０】
追跡装置１００、２００が、主特徴の位置に基づいてユーザの頭部の位置を満足できる信頼水準まで決定することができず、装置が満足できる信頼水準まで十分な数の二次特徴の位置を決定することができない場合、装置は、追加の位置データが得られるまでユーザ３０２の頭部を追跡することができないと結論付けることができる。このようなシナリオでは、追跡装置１００、２００に関連する処理ユニット１０４は、いくつかの実施形態において、ユーザに、彼又は彼女の頭部の位置が追跡できないことを知らせることができる。例えば、ユーザにメッセージが表示され、ユーザがカメラの視野に移動するか、又はユーザの頭部のより多い主特徴がカメラに見える位置に移動するように要求することができる。
【００７１】
本発明はまた、本明細書に記載される追跡方法を実行するように構成された処理ユニットに関する。処理ユニットは、図１及び図２の処理ユニット１０４を含むことができる。
【００７２】
本発明はまた、図８に概略的に示されるように、機械読取可能媒体に関する。図８は、処理ユニット１０４のようなプロセッサ８０４を有する例示的な機械読取可能媒体８０２を示す。命令を含む機械読取可能媒体８０２であって、命令がプロセッサによって実行されると、プロセッサに、被験者の頭部の第１の複数の主特徴の位置に基づいて、一連の画像における被験者の頭部の位置を追跡させ、第１の複数の主特徴の位置に基づいて被験者の頭部の位置の第１の信頼水準を決定させ、第１の信頼水準が定義されたしきい値を下回っていると判定した場合、主特徴の前記位置よりもむしろ二次特徴の位置に基づいて被験者の頭部の位置を追跡させる。
【００７３】
命令を含む機械読取可能媒体８０２であって、命令がプロセッサによって実行されると、プロセッサに、二次特徴の位置に基づいて被験者の頭部の位置を追跡する間に、被験者の頭部の第２の複数の主特徴の位置をモニタさせ、第２の複数の主特徴の位置に基づいて被験者の頭部の位置の第２の信頼水準を決定させ、第２の信頼水準が定義されたしきい値を超えていると判定した場合、二次特徴の位置ではなく第２の複数の主特徴の位置に基づいて、被験者の頭部の位置を追跡させる。
【００７４】
開示された実施形態の変形は、図面、開示、及び添付の特許請求の範囲の調査から、請求された発明を実施する当業者によって理解され、達成され得る。請求項において、「含む（ｃｏｍｐｒｉｓｉｎｇ）」という語は、他の要素又はステップを排除せず、また、不定冠詞「１つの（ａ又はａｎ）」は、複数の要素を排除しない。単一のプロセッサ又はその他のユニットは、請求項に記載されたいくつかの項目の機能を遂行することができる。ある手段が相互に異なる従属請求項に記載されているという単なる事実は、これらの手段の組み合わせを有利に使用することができないことを示していない。コンピュータ・プログラムは、他のハードウェアと共に又はその一部として供給される光記憶媒体又は固体媒体のような適切な媒体上に記憶／配布することができるが、インターネット又は他の有線又は無線通信システムを介して他の形式で配布することもできる。
【００７５】
請求項中の参照符号は、範囲を限定するものと解釈してはならない。
【図１】
2020513629.tif 000003
【図２】
2020513629.tif 000004
【図３】
2020513629.tif 000005
【図４】
2020513629.tif 000006
【図５】
2020513629.tif 000007
【図６】
2020513629.tif 000008
【図７】
2020513629.tif 000009
【図８】
2020513629.tif 000010
【手続補正書】
【提出日】平成30年12月7日(2018.12.7)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
一連の画像において被験者の頭部を追跡する方法であって、
被験者の頭部の少なくとも一部の一連の画像を受信することと、
前記被験者の頭部の第１の複数の主特徴の位置に基づいて、前記一連の画像における前記被験者の頭部の位置を追跡することであって、各主特徴は、ほとんどの人の頭部に含まれる一般的な顔の特徴である、前記被験者の頭部の位置を追跡することと、
前記第１の複数の主特徴の位置に基づいて前記被験者の頭部の前記位置の第１の信頼水準を決定することと、
二次特徴の位置をモニタすることであって、前記二次特徴は、ほとんどの人の頭部に含まれない人に固有の特徴である、二次特徴の位置をモニタすることと、
前記第１の信頼水準が定義されたしきい値を下回っていると判定した場合、前記主特徴の前記位置よりもむしろ前記二次特徴の前記位置に基づいて前記被験者の頭部の前記位置を追跡することと、
を含む、方法。
【請求項２】
前記一連の画像内の特定の画像に対して、前記第１の信頼水準は、前記第１の複数の主特徴の信頼水準の組み合わせに基づく、請求項１に記載の方法。
【請求項３】
前記二次特徴の前記位置に基づいて前記被験者の頭部の前記位置を追跡する間に、前記被験者の頭部の第２の複数の主特徴の位置をモニタすることと、
前記第２の複数の主特徴の位置に基づいて前記被験者の頭部の前記位置の第２の信頼水準を決定することと、
前記第２の信頼水準が定義されたしきい値を超えていると判定した場合、前記二次特徴の前記位置ではなく前記第２の複数の主特徴の前記位置に基づいて、前記被験者の頭部の位置を追跡することと、
をさらに含む、請求項１又は２に記載の方法。
【請求項４】
前記主特徴の前記位置に基づいて前記被験者の頭部の位置を追跡する間に、被験者の頭部の追跡に使用される可能性のある二次特徴として二次特徴の候補を特定することと、
をさらに含む、請求項１乃至３のいずれか１項に記載の方法。
【請求項５】
前記第１の複数の主特徴のうちの１つ以上の前記位置に基づいて、前記二次特徴の候補の前記位置の信頼水準を決定することと、
前記二次特徴の候補の前記位置の信頼水準が定義されたしきい値を下回っていると判定した場合、前記二次特徴の候補を前記被験者の頭部を追跡するために使用される可能性のある二次特徴として捨てることと、
をさらに含む、請求項４に記載の方法。
【請求項６】
前記主特徴の前記位置を表す座標に前記被験者の頭部の３次元モデルを適合させることと、
複数の画像における第１の画像と後続の第２の画像から得られた前記主特徴の前記位置に基づいて、前記３次元モデルの前記位置を更新することと、
前記３次元モデルにおける前記二次特徴の候補の前記位置を、前記モデルにおける前記主特徴の前記位置に基づいて予測することと、
をさらに含む、請求項４に記載の方法。
【請求項７】
前記二次特徴の候補の前記予測位置を前記被験者の頭部の２次元モデルに投影することと、
前記２次元モデルにおける前記二次特徴の候補の前記予測位置を前記第１の画像及び前記第２の画像の画像特徴追跡解析から決定される前記二次特徴の候補の位置と比較することと、
前記予測位置が前記画像特徴追跡解析から決定された前記位置の定義された距離内にある場合、前記二次特徴の候補の前記位置の信頼水準を増加させることと、
さらに含む、請求項６に記載の方法。
【請求項８】
前記二次特徴の前記位置に基づいて前記被験者の頭部の前記位置を追跡することは、テンプレート・マッチング技術及び画像特徴マッチング技術のうちの少なくとも１つを適用することを含む、請求項１乃至７のいずれか１項に記載の方法。
【請求項９】
請求項１乃至８のいずれか１項記載の方法を実行するように構成された処理ユニット。
【請求項１０】
被験者の頭部を追跡するための装置であって、
被験者の頭部の少なくとも一部を表す一連の画像を受信するためのイメージング・ユニットと、
請求項９に記載の処理ユニットと、
を含む、装置。
【請求項１１】
被験者の頭部の少なくとも一部を表す前記画像のデータを取り込むためのカメラをさらに含む、請求項１０に記載の装置。
【請求項１２】
前記装置が、スマート・ミラー、タブレット・コンピュータ、スマートフォン、ラップトップ・コンピュータ及びデスクトップ・コンピュータのうちの１つを含む、請求項１０又は１１に記載の装置。
【請求項１３】
命令を含む機械読取可能媒体であって、前記命令がプロセッサによって実行されると、前記命令が前記プロセッサに、
被験者の頭部の第１の複数の主特徴の位置に基づいて、一連の画像における前記被験者の頭部の位置を追跡させ、各主特徴が、ほとんどの人の頭部に含まれる一般的な顔の特徴である、追跡をさせ、
前記第１の複数の主特徴の前記位置に基づいて前記被験者の頭部の前記位置の第１の信頼水準を決定させ、
前記第１の信頼水準が定義されたしきい値を下回っていると判定した場合、前記主特徴の前記位置よりもむしろ二次特徴の位置に基づいて前記被験者の頭部の前記位置を追跡させ、前記二次特徴が、ほとんどの人の頭部に含まれない人に固有の特徴である、追跡をさせる、機械読取可能媒体。
【国際調査報告】
2020513629.tif 000011
2020513629.tif 000012
2020513629.tif 000013