(57)【特許請求の範囲】
【請求項１】
検査対象の画像データに基づいて該検査対象の絶対的なサイズ寸法を推定するための方法であって、前記検査対象は被検者の顔又は顔の一部であり、当該方法は：
前記検査対象の画像データを受け取るステップと；
前記受け取った画像データに基づいて前記検査対象の第１モデルを決定するステップであって、前記第１モデルは未知のスケールを有するステップと；
前記検査対象の前記第１モデルを第１平均モデルに対して位置合わせ及びスケーリングするステップであって、前記第１平均モデルは、参照人物の顔又は顔の一部である参照対象の複数の第１モデルの平均を含み、前記参照対象の前記第１モデルは、前記検査対象の前記第１モデルと同じタイプであり、未知のスケールを有するステップと；
前記検査対象の前記位置合わせ及びスケーリングされた第１モデルと前記第１平均モデルとの間の差を決定することによって、前記検査対象と前記参照対象の平均との間の形状差を決定するステップと；
（ｉ）前記決定された形状差と、（ｉｉ）前記参照対象の形状及びサイズ寸法の間の統計的相関を示す統計演算子と、（ｉｉｉ）第２平均モデルとに基づいて、推定されたスケールを有する前記検査対象の第２モデルを決定するステップであって、前記第２平均モデルは、前記参照対象の複数の第２モデルの平均を含み、前記参照対象の前記第２モデルは、前記検査対象の前記第２モデルと同じタイプであり、既知のスケールを有する、ステップと；
前記検査対象の前記第２モデルに基づいて前記検査対象の前記サイズ寸法を決定するステップと；
を備える、方法。
【請求項２】
前記統計演算子を決定するステップを更に含み、該ステップは、
前記参照対象の各々について、前記検査対象の前記第１モデルと同じタイプの第１モデルを受け取るステップと；
前記参照対象の各々について、前記検査対象の前記第２モデルと同じタイプであり、既知のスケールを有する第２モデルを受け取るステップと；
各参照対象の前記第１モデルを前記第１平均モデルに対して位置合わせ及びスケーリングするステップと；
各参照対象の前記第２モデルを前記第２平均モデルに対して位置合わせするステップと；
各参照対象の前記位置合わせ及びスケーリングされた第１モデルと前記第１平均モデルとの間の差を決定することによって、各参照対象について、前記参照対象の各々と前記参照対象の平均との間のスケーリングされていない形状差を決定するステップと；
各参照対象の前記位置合わせされた第２モデルと前記第２平均モデルとの間の差を決定することによって、各参照対象について、前記参照対象の各々と前記参照対象の平均との間のスケーリングされた形状差を決定するステップと；
前記統計演算子を表す共通の数学演算子において、前記参照対象の全てについて、前記決定されたスケーリングされていない形状差から前記決定されたスケーリングされた形状差への変換を決定するステップと；
を含む、請求項１に記載の方法。
【請求項３】
前記統計演算子は、全ての参照対象のスケーリングされた形状差と、全ての参照対象のスケーリングされていない形状差に適用された前記統計演算子の適用の結果の間の二乗平均平方根の残余誤差を最小にする最小平均二乗法に基づいて決定される、
請求項２に記載の方法。
【請求項４】
前記検査対象の前記第２モデルは、以下の一次方程式：
V  =  AvgVGT  +  P  *  (LGTS  −  AvgLGT)；
に基づいて決定され、
ここで、Vは前記検査対象の前記第２モデルを表し、AvgVGTは前記第２平均モデルを表し、Pは前記統計演算子を表し、LGTSは前記検査対象の前記位置合わせ及びスケーリングされた第１モデルを表し、AvgLGTは第１平均を表す、
請求項１に記載の方法。
【請求項５】
前記検査対象と同じタイプの対象の第１モデルの集合から前記参照対象の前記複数の第１モデルを選択するステップを更に備え、前記参照対象の前記選択される複数の第１モデルは、前記集合のサブセットであり、前記参照対象の前記複数の第１モデルは：
（ｉ）前記検査対象の前記第１モデルと前記集合に含まれる第１モデルとの比較；及び／又は
（ｉｉ）事前定義されたアンケートへの回答；
に基づいて選択される、
請求項１に記載の方法。
【請求項６】
前記検査対象の前記第１モデルを前記第１平均モデルに対してスケーリングすることは、前記検査対象の前記第１モデルと前記第１平均モデルとの間の差の二乗平均平方根の最小化を含むモデル適合に基づく、
請求項１に記載の方法。
【請求項７】
前記検査対象の前記第１モデル、前記参照対象の前記第１モデル、前記検査対象の前記第２モデル及び前記参照対象の前記第２モデルは、2Dランドマークの集合、3Dランドマークの集合又は2Dランドマークのメッシュ又は3Dランドマークのメッシュを含む、
請求項１に記載の方法。
【請求項８】
前記検査対象の前記第２モデル及び前記参照対象の前記第２モデルは、それぞれ、前記検査対象の前記第１モデル及び前記参照対象の前記第１モデルと同じ量のランドマーク又はそれより多い量のランドマークを含む、請求項７に記載の方法。
【請求項９】
前記検査対象の前記第１モデルは、所定のモデルテンプレートを前記受け取った画像データに適合させることによって決定される、
請求項１に記載の方法。
【請求項１０】
前記参照対象の前記第１モデルは、2D画像又は2D画像シーケンスから導出される、
請求項１に記載の方法。
【請求項１１】
前記参照対象の前記第２モデルは、3Dスキャナ、MRI装置、CT装置、超音波装置又はX線装置から受け取られる3D画像データから導出される、
請求項１に記載の方法。
【請求項１２】
被検者に適合する患者インタフェースを選択する方法であって、前記患者インタフェースは、前記被検者の気道へ呼吸可能な気体の流れを提供するように構成され、前記被検者の顔の絶対的なサイズ寸法を請求項１に記載の方法によって決定し、前記検査対象は前記被検者の顔であり、前記参照対象は参照人物の顔であり、前記患者インタフェースが前記被検者の顔の決定されたサイズに基づいて選択される、方法。
【請求項１３】
検査対象の画像データに基づいて該検査対象の絶対的なサイズ寸法を推定するための装置であって、前記検査対象は被検者の顔又は顔の一部であり、当該装置は：
前記検査対象の画像データを受け取るための受信ユニットと；
前記受け取った画像データに基づいて前記検査対象の第１モデルを決定し、前記第１モデルは未知のスケールを有し、
前記検査対象の前記第１モデルを第１平均モデルに対して位置合わせ及びスケーリングし、前記第１平均モデルは、参照人物の顔又は顔の一部である参照対象の複数の第１モデルの平均を含み、前記参照対象の前記第１モデルは、前記検査対象の前記第１モデルと同じタイプであり、未知のスケールを有し、
前記検査対象の前記位置合わせ及びスケーリングされた第１モデルと前記第１平均モデルとの間の差を決定することによって、前記検査対象と前記参照対象の平均との間の形状差を決定し、
（ｉ）前記決定された形状差と、（ｉｉ）前記参照対象の形状及びサイズ寸法の間の統計的相関を示す統計演算子と、（ｉｉｉ）第２平均モデルとに基づいて、推定されたスケールを有する前記検査対象の第２モデルを決定し、前記第２平均モデルは、前記参照対象の複数の第２モデルの平均を含み、前記参照対象の前記第２モデルは、前記検査対象の前記第２モデルと同じタイプであり、既知のスケールを有し、
前記検査対象の前記第２モデルに基づいて前記検査対象の前記サイズ寸法を決定する、
ように構成される処理ユニットと；
を備える、装置。
【請求項１４】
コンピュータで実行されると、コンピュータに請求項１に記載の方法のステップを実行させるためのプログラムコードを備えるコンピュータプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、検査対象（test  object）、特に人の顔又は人の顔の一部の絶対的なサイズ寸法（absolute  size  dimensions）を、検査対象の画像データに基づいて推定する方法に関する。更なる態様では、本発明は、上記方法を実行するように構成される対応する装置に関する。また更なる態様では、本発明は、上記方法をコンピュータに実行させるためのプログラムコード手段を備えるコンピュータプログラムに関する。
【０００２】
本発明の適用分野は、気道陽圧治療のためのマスクのような患者インタフェースを適合及び／又は選択する目的のために、スケーリングされていない画像データに基づく絶対的な顔の寸法の推定である。
【背景技術】
【０００３】
圧力サポートシステムのマスク等の患者インタフェースは、ユーザ（ここでは、「人」又は「患者」とも呼ばれる）にガスを送達するために使用される。空気、清浄された空気、酸素又はそれらの任意の変更形態等のようなガスは、加圧されるか又は加圧されない方法で患者インタフェースを介してユーザに与えられる。
【０００４】
いくつかの慢性疾患及び疾病については、そのような患者インタフェースの使用が必要であるか、少なくとも推奨される。
【０００５】
そのような疾患の１つの非限定的な例は、閉塞性睡眠時無呼吸又は閉塞性睡眠時無呼吸症候群（OSA：obstructive  sleep  apnea  syndrome）である。OSAは、通常、上部気道の閉塞によって引き起こされる。これは、睡眠中の呼吸の中断を繰り返すことによって特徴付けられ、通常は血中酸素飽和度の低下と関連付けられる。無呼吸と呼ばれるこれらの呼吸停止は、典型的には２０〜４０秒持続する。上部気道の閉塞は、通常、睡眠中に起こる体の筋肉緊張の減少によって引き起こされる。人間の気道は軟組織の壁で構成されており、これが虚脱（collapse）し、それにより睡眠中の呼吸を妨げる可能性がある。舌組織は、睡眠中に喉の後ろに移動し、それによって空気通路を遮断する。したがって、OSAは一般的にいびきを伴う。OSAのための異なる侵襲的処置及び非侵襲的処置が知られている。持続性気道陽圧（CPAP：Continuous  Positive  Airway  Pressure）又はBiPAP（Bi-Positive  Airway  Pressure）の使用における最も強力な非侵襲的治療法の１つは、患者インタフェース、例えばフェイスマスクをホースと、患者インタフェースへ、そして患者の気道を開いた状態に保つために患者の気道中へ加圧ガス、好ましくは空気を吹き付ける機械と取り付けることである。したがって、陽の空気圧は、フェイスマスク等の患者によって装着される患者インタフェース又は呼吸インタフェースに接続されたホースを通して、患者に提供される。患者インタフェースの装着は通常、患者の睡眠時間の間に行われるので、患者インタフェースの前述の長期使用はその結果である。
【０００６】
患者インタフェースの例は：
−  鼻の上に適合し、鼻通路を通ってガスを送る、鼻マスク；
−  口の上に適合し、口を通ってガスを送る、口マスク；
−  鼻と口の双方の上に適合し、双方にガスを送るフルフェイスマスク；
−  鼻、口及び目を包囲する顔全体又は実質的に顔全体を覆う、トータルフェイスマスク；そして、
−  本発明の範囲内でマスクとみなされ、鼻腔にガスを直接送る小さな鼻腔インサートからなる鼻用枕（nasal  pillows）（代替マスクとも呼ばれる）；
である。
【０００７】
装置の信頼性の高い動作を保証するために、患者インタフェース（マスク）は、患者の顔に密接に適合して、マスクと顔のインタフェース（mask-to-face  interface）の部分に気密シールを提供する必要がある。通常、患者インタフェースは、患者の頭の後ろを回るストラップのあるヘッドギアを使用して装着される。実際に、患者インタフェース又はマスクは通常、マスクと患者のインタフェースとして使用される、すなわちマスクが装着されるときに患者の顔に接触する柔らかいクッションを備え、また通常は、クッションを適所に保持して患者インタフェース（マスク）に機械的安定性を供給するために剛性又は半剛性の保持構造を構築する、いわゆるマスクシェルを備える。
【０００８】
クッションは、通常、患者の快適性を高め、患者の顔に対して柔らかい感触を保証するために、ゲル又はシリコーン又は他の柔らかい材料で作成される１つ以上のパッドを備える。後者のマスクシェルは、通常、空気供給ホースをマスクに接続するために適合されるホースインタフェースも備える。マスクのタイプに応じて、額に追加のクッションサポートを有する機構を備えてもよく、人の顔の気道入口機能の周りでマスクによって加えられた力をバランスさせてもよい。
【０００９】
患者インタフェースの密接した正しい適合（fit）が、装置の信頼性ある動作にとって最も重要であることは明らかである。患者インタフェースの誤った適合は、マスクと顔のインタフェースにおける望ましくない空気漏れをもたらす可能性があるだけでなく、患者の顔の皮膚に過度の圧力ポイントを生じさせる可能性もあり、これが更に、患者の顔に不快で痛い赤い傷をもたらす可能性がある。したがって、患者インタフェースを、患者の個々の顔の輪郭に正確に適合させる必要がある。様々なタイプの患者インタフェースが存在する、すなわち異なるサイズ及び形状だけでなく、異なるタイプの患者インタフェースも存在する。顔の解剖学的特徴が患者ごとに異なるので、最も適合する患者インタフェースも患者によって異なる。言い換えると、患者インタフェースの個別化された適合又は選択が必要であり、患者インタフェースの良好な適合又は選択は、患者の絶対的な顔の寸法の正確な測定又は推定に依存することは明らかである。
【００１０】
簡略化された適合技術を使用するマスク適合システムは、特許文献１（米国特許出願公開第２００６／０２３５８７７号明細書）から公知である。特許文献１に説明されるマスク適合システム及び方法は、テンプレート又はルーラを用いて患者の頭の寸法を決定する。あるいは、患者の１つ以上の画像がキャプチャされ、次いで、患者によって記入されなければならないアンケートを使用して、患者の頭の寸法が手動でシステムに入力される。いずれにしても、絶対的な顔の寸法を手動で測定するか、患者のアンケートに記入することによってシステムに入力する必要がある。もちろん、これはユーザにとって煩わしく時間がかかることである。それとは別に、顔の寸法の手作業による測定は、教育された人が測定を行うことを必要とし、生理学的な顔のランドマークの主観的解釈に誤りを生じやすい。
【００１１】
多くの実用的な機器では、（時間がないために）顔の寸法を手動で測定することができず、あるいはユーザの顔の絶対寸法は事前に分かっていないので、特許文献１で提案された装置及び方法は不利であるだけでなく、多くの実際の状況では適用することもできない。
【００１２】
あるいは、絶対的な顔の寸法を受け取るために、較正された光スキャナを使用することも可能である。しかしながら、そのような較正された光スキャナの使用は、商品としてまだ知覚され得ない。それとは別に、そのような較正された光スキャナは、製造が非常に高価であり、少なくとも今のところ、プライベート又はセミプロフェッショナル環境の日常的な装置としては適していないように思われる。
【００１３】
したがって、「通常の」写真又はビデオから顔の寸法を再構成又は推定することができれば、すばらしいことであろう。現代のコンピュータビジョン技術は、単一の（モノ）ビデオカメラを使用して顔形状の正確な再構成を可能にする（例えば非特許文献１（Jeni、LA等著：“Dense  3D  Face  Alignment  from  2D  Videos  in  Real-Time”、カーネギーメロン大学ロボティクス学部（the  Robotics  Institute）、米国ペンシルベニア州ピッツバーグ、zface.org）。このような技術を使用することにより、患者インタフェースをアドバイス、選択及び／又は適合のためのアプリケーションへの入力は、通常のスマートフォン（モノ）カメラで撮られる単一の写真（セルフィ）又は短いビデオとすることができる。しかしながら、重要なことに、前述の方法は、人の顔の形状の正確な再構成のみを可能にするが、人の顔の絶対寸法の再構成は可能でないことに留意されたい。言い換えると、単一の（モノ）カメラ設定を使用して再構成される対象の絶対寸法を回復することができないので、スケールのあいまいさに起因して再構成される顔モデルの直接的な測定は不可能である。このように、顔モデルの真のスケールは、上述の方法を使用するとき、自動化された方法では決定することができない可能性がある。
【００１４】
したがって、依然として改善の余地がある。
【００１５】
顔の位置合わせ（face  alignment）のための最も一般的な局所テクスチャモデルの１つはASM（Active  Shape  Model）として知られている。このモデルは、画像内の顔の特徴を見つける分及び顔合成の分野を含め、多くの分野に適用される。非特許文献２（Le  Hoang  Thai；Vo  Nhat  Truong等著：“Face  Alignment  Using  Active  Shape  Model  And  Support  Vector  Machine”、International  Journal  of  Biometric  and  Bioinformatics、２０１１年２月１日、第２２４−２３４ページ、ＸＰ０５５２７７７３９）は、モデルの顔の位置合わせの適用についてASMの性能を向上させるためにASMを改善することに関する。この改善は、サポートベクトルマシン（SVM）を使用して、画像内の検出された顔のランドマークを分類することと、入力画像のサイズに基づいてマルチレベルモデル内の2Dプロファイルを自動的に調整することとを含む。このプロセスでは、画像内の顔のモデルの位置合わせ（スケーリング、回転及び並進移動）が行われる。
【００１６】
非特許文献３（Xiong  Xuehan等著：“Supervised  Descent  Method  and  Its  Applications  to  Face  Alignment”、IEEE  Computer  Society  Conference  on  Computer  Vision  and  Pattern  Recognition.  Proceedings、IEEE  Computer  Society、米国、２０１３年６月２３日、第５３２−５３９ページ、ＸＰ０３２４９２８０２）は、非線形最小二乗（NLS：Non-linear  Least  Squares）関数を最小化するための教師付き降下法（SDM：Supervised  Descent  Method）に関する。トレーニング中に、SDMは、異なる点でサンプルされたNLS機能の平均を最小にする降下方向のシーケンス（a  sequence  of  descent  directions）を学習する。テストでは、SDMは、JacobianもHessianも計算することなく、学習された降下方向を使用してNLS目標を最小化する。特に、顔の特徴検出の分野でSDMがどのように最先端の性能を達成するかが示される。
【先行技術文献】
【特許文献】
【００１７】
【特許文献１】米国特許出願公開第２００６／０２３５８７７号明細書
【非特許文献】
【００１８】
【非特許文献１】Jeni、LA等著：“Dense  3D  Face  Alignment  from  2D  Videos  in  Real-Time”、カーネギーメロン大学ロボティクス学部（the  Robotics  Institute）、米国ペンシルベニア州ピッツバーグ、zface.org
【非特許文献２】Le  Hoang  Thai;  Vo  Nhat  Truong等著：“Face  Alignment  Using  Active  Shape  Model  And  Support  Vector  Machine”、International  Journal  of  Biometric  and  Bioinformatics、２０１１年２月１日、第２２４−２３４ページ、ＸＰ０５５２７７７３９
【非特許文献３】Xiong  Xuehan等著：“Supervised  Descent  Method  and  Its  Applications  to  Face  Alignment”、IEEE  Computer  Society  Conference  on  Computer  Vision  and  Pattern  Recognition.  Proceedings、IEEE  Computer  Society、米国、２０１３年６月２３日、第５３２−５３９ページ、ＸＰ０３２４９２８０２
【非特許文献４】Kabsch,  W.著：“A  solution  for  the  best  rotation  to  relate  two  sets  of  vectors”、Acta  Cryst  A、１９７６年；３２；９２２３
【非特許文献５】Kabsch,  W.著：“A  discussion  of  the  solution  for  the  best  rotation  to  relate  two  vectors”、Acta  Cryst  A、１９７８年；３４；８２７８
【発明の概要】
【発明が解決しようとする課題】
【００１９】
本発明の目的は、検査対象、特に人の顔又は人の顔の一部の絶対的なサイズ寸法を検査対象の画像データに基づいて推定するための改善された方法及び装置を提供することにある。特に、入力として使用されるスケーリングされていない画像データに基づいて、推定されたスケールで顔モデルの再構成を可能にする方法及び装置を提供することを目的とする。
【課題を解決するための手段】
【００２０】
本発明の第１態様では、検査対象の画像データに基づいて検査対象の絶対的なサイズ寸法を推定するための方法が提示される。検査対象は被検者の顔又は顔の一部である。方法は：
検査対象の画像データを受け取るステップと；
受け取った画像データに基づいて検査対象の第１モデルを決定するステップであって、第１モデルは未知のスケールを有するステップと；
検査対象の第１モデルを第１平均モデルに対して位置合わせ及びスケーリングするステップであって、第１平均モデルは、参照人物（reference  persons）の顔又は顔の一部である参照対象（reference  objects）の複数の第１モデルの平均を含み、参照対象の第１モデルは、検査対象の第１モデルと同じタイプであり、未知のスケールを有する、ステップと；
検査対象の位置合わせ及びスケーリングされた第１モデルと第１平均モデルとの間の差を決定することによって、検査対象と参照対象の平均との間の形状差を決定するステップと；
（ｉ）決定された形状差と、（ｉｉ）参照対象の形状及びサイズ寸法の間の統計的相関を示す統計演算子と、（ｉｉｉ）第２平均モデルとに基づいて、推定されたスケールを有する検査対象の第２モデルを決定するステップであって、第２平均モデルは、参照対象の複数の第２モデルの平均を含み、参照対象の第２モデルは、検査対象の第２モデルと同じタイプであり、既知のスケールを有する、ステップと；
検査対象の第２モデルに基づいて検査対象のサイズ寸法を決定するステップを備える。
【００２１】
本発明の更なる態様では、検査対象の画像データに基づいて該検査対象の絶対的なサイズ寸法を推定するための装置が提示される。検査対象は被検者の顔又は顔の一部である。当該装置は：
検査対象の画像データを受け取るための受信ユニットと；
受け取った画像データに基づいて検査対象の第１モデルを決定し、第１モデルは未知のスケールを有し、
検査対象の第１モデルを第１平均モデルに対して位置合わせ及びスケーリングし、第１平均モデルは、参照人物の顔又は顔の一部である参照対象の複数の第１モデルの平均を含み、参照対象の第１モデルは、検査対象の第１モデルと同じタイプであり、未知のスケールを有し、
検査対象の位置合わせ及びスケーリングされた第１モデルと第１平均モデルとの間の差を決定することによって、検査対象と参照対象の平均との間の形状差を決定し、
（ｉ）決定された形状差と、（ｉｉ）参照対象の形状及びサイズ寸法の間の統計的相関を示す統計演算子と、（ｉｉｉ）第２平均モデルとに基づいて、推定されたスケールを有する検査対象の第２モデルを決定し、第２平均モデルは、参照対象の複数の第２モデルの平均を含み、参照対象の第２モデルは、検査対象の第２モデルと同じタイプであり、既知のスケールを有し、
検査対象の第２モデルに基づいて検査対象のサイズ寸法を決定する、
ように構成される処理ユニットと；
を備える。
【００２２】
本発明のまた更なる態様では、コンピュータで実行されると、コンピュータに上述の方法のステップを実行させるためのプログラムコードを備えるコンピュータプログラムが提示される。
【００２３】
本発明の好ましい実施形態は従属請求項で定義される。特許請求に係る装置及びコンピュータプログラムは、特許請求に係る方法及び従属請求項で定義されるような同様及び／又は同一の好ましい実施形態を有することを理解されたい。
【００２４】
提案される方法は、人間の顔の形状と実際のサイズの間にみられる統計的関係に基づく。提示される方法は、いわば大きな顔と小さな顔との間のスケールフリーの形状における統計的差異を利用する。
【００２５】
出願人の広範な実験及び統計的評価は、小さな顔と大きな顔は一般に、その形状に関して異なる外観を有することを示している。言い換えると、自然に大きな顔（比較的大きいと測定された真のスケールの顔）のピクチャは、示される顔の形状に基づいて、自然に小さな顔（比較的小さいと測定された真のスケールの顔）から区別され得る。自然に小さな顔と大きな顔に対応する特徴的な形状は、そのような顔のピクチャが未知のスケールで標準サイズに拡大又は縮小することによりスケーリングされる場合であっても、異なるままである。
【００２６】
出願人の統計的評価は、例えば比較的大きな顔は、比較的小さな顔のより上方にカーブした鼻の先端と比較して、より下方にカーブした鼻の先端を有する鼻を有することを示している。鼻と上唇との間の空間も、通常、より大きな顔では比較的小さな顔よりも下にカーブしている。顎は通常、より大きな顔では、小さな顔よりもより角度があるように見える。より小さな顔の顎は、規則的に滑らかな輪郭を有し、通常、口のサイズに比べて（相対サイズ）小さい。これらは、小さな顔と大きな顔との間のそのような統計的に証明された差のいくつかの例に過ぎないことに留意されたい。
【００２７】
本明細書に提示される方法は、検査対象の画像データ、例えば被検者の顔の一部又は完全な顔のピクチャ又はビデオを受け取ることで開始する。そのような画像又はビデオが「通常の」（モノ）カメラによって撮影された場合、画像又はビデオに表示される被検者の顔の寸法に関する情報それ自体は存在しない。
【００２８】
したがって、本方法は、次のステップにおいて、本明細書では「第１モデル」として示される顔モデルを使用する。「第１モデル」という用語は、いわば特定の種類のモデルの単なる名前であるが、いかなる時間的又は階層的な順序も暗示するものではなく、いずれかの具体的なタイプのモデルを暗示するものでもないことに留意されたい。「第１モデル」という用語は主に、本明細書で「第２モデル」として示され、以下で更に詳細に説明される別のタイプのモデルと区別するために使用される。
【００２９】
検査対象の第１モデルは、受け取った画像データに基づいて決定される。前述したように、画像データは、通常、未知のスケールの画素座標の画素データとして提供されるので、画像データに適合する第１モデルも未知のスケールを有する。
【００３０】
更なるステップでは、検査対象の第１モデルが、参照対象の複数の第１モデルの平均を含む、いわゆる「第１平均モデル」に対して位置合わせされてスケーリングされる。参照対象は検査対象と同じタイプのものである。上述した本発明の主な適用分野において、参照対象は参照人物の顔の一部又は顔の部分を表す。参照対象の第１モデルは、検査対象の第１モデルと同じタイプであり、これは、これらのモデルが同じ構造及び一般的な制約を有することを意味する。例えば検査対象の第１モデルは、2Dの顔ランドマークを含むモデルであり、参照対象のモデルは、同じ量及び同じタイプの識別された顔ランドマークを使用する同じタイプのモデルである。
【００３１】
第１平均モデルは、参照対象の画像データに基づいて事前に決定されてもよく、そのような参照対象は、例えばデータベースに予め格納されている。第１平均モデルもデータベースに予め格納されてよい。第１平均モデルは学習段階中に生成されてよい。参照対象の第１モデルが特有の対象点（distinctive  object  points）の集合を含むランドマークモデルである場合、第１平均モデルは、各々の特有の対象点について全ての参照対象におけるそれぞれの対象点の（線形）平均を求めることによって決定されるモデルであってよい。当然、第１平均モデルは、このプロセスが複数回繰り返されるように、新しい参照対象の画像データがデータベースに追加されるたびに再計算されてよい。線形平均の代わりに、加重平均が使用されてもよい。
【００３２】
第１平均モデルに対する検査対象の第１モデルの上述の位置合わせは、好ましくは、厳格な位置合わせ（rigid  alignment）を備える。第１平均モデルに対して検査対象の第１モデルをスケーリングすることは、好ましくは、検査対象の第１モデルと第１平均モデルとの差の二乗平均平方根の最小化を含むモデル適合（model  fitting）に基づく。しかしながら、このスケーリング操作の後、検査対象の第１モデルは、第１平均モデルと同じスケールを有することに留意されたい。第１平均モデルのスケールは、既知のものとみなすことができる。したがって、スケーリング操作の後、検査対象の第１モデルは、第１モデルの平均の既知ではあるが、まだ正しくはないスケールを得る。
【００３３】
次のステップでは、検査対象の位置合わせ及びスケーリングされた第１モデルと第１平均モデルとの差が計算される。検査対象の第１モデルと第１平均モデルが双方同じ（未知の）スケールを有するので、この差異は、検査対象と参照対象の平均との間の「サイズ差」を含まず、検査対象と参照対象の平均との間の形状差を主に又は単独で含む。
【００３４】
次いで、検査対象の第２モデルを計算することができる。第２モデルは、推定されたスケールを有する。検査対象の第２モデルのスケールは事前には分からないが、決定／推定することができる。検査対象のこの第２モデルは、いわば、検査対象のサイズを測定することができるように決定される必要がある検査対象のターゲット出力モデルである。
【００３５】
検査対象の第２モデルは、（ｉ）決定された形状差と、（ｉｉ）参照対象の形状及びサイズの間の統計的相関を示す統計演算子と、（ｉｉｉ）第２平均モデルに基づいて決定される。
【００３６】
第２平均モデルは、上述の第１平均モデルと同様に、参照対象の複数の第２モデルの平均を含み、参照対象の第２モデルは、検査対象の第２モデルと同じタイプである。しかしながら、参照対象の第１モデルとは対照的に、参照対象のこれらの第２モデルは既知のスケールを有する。言い換えると、第２モデルで表される検査対象の寸法は既知である。したがって、第２平均モデルは、実サイズの平均モデルとして示すこともできる。
【００３７】
第２平均モデル及統計演算子は、（提示された方法によって検査対象の画像データを評価することに先立って）事前に決定される、上述の第１平均モデルと同じ又は同様であってよい。第２平均モデル及び統計演算子を、統計的な「トレーニング段階」中に見つけてデータベースに予め格納することができる。
【００３８】
本発明の実施形態によると、統計演算子は以下の方法、すなわち：  
参照対象の各々について、検査対象の第１モデルと同じタイプの第１モデルを受け取るステップと；
参照対象の各々について、検査対象の第２モデルと同じタイプであり、既知のスケールを有する第２モデルを受け取るステップと；
各参照対象の第１モデルを第１平均モデルに対して位置合わせ及びスケーリングするステップと；
各参照対象の第２モデルを第２平均モデルに対して位置合わせするステップと；
各参照対象の位置合わせ及びスケーリングされた第１モデルと第１平均モデルとの間の差を決定することによって、各参照対象について、参照対象の各々と参照対象の平均との間のスケーリングされていない形状差を決定するステップと；
各参照対象の位置合わせされた第２モデルと第２平均モデルとの間の差を決定することによって、各参照対象について、参照対象の各々と参照対象の平均との間のスケーリングされた形状差を決定するステップと；
統計演算子を表す共通の数学演算子において、参照対象の全てについて、決定されたスケーリングされていない形状差から決定されたスケーリングされた形状差への変換を決定するステップと；
により決定されてよい。
【００３９】
したがって、検査対象について上述ものと同様の操作が参照対象の各々について実行される。最初に、検査対象の第１モデルと同じタイプである第１モデルが、参照対象の各々について受け取られる。これらの第１モデルは、例えば参照対象の各々の画像又はビデオから導出されてよい。検査対象の第２モデルと同じタイプであり、既知のスケールを有する第２モデルも、参照対象の各々について受け取られる。参照対象の第１モデルは次々に第１平均モデルに対して位置合わせされてスケーリングされる。これが数回繰り返されると、新たな参照対象の新たな第１モデルが第１平均モデルに対して位置合わせされてスケーリングされるたびに、新たな参照対象の新たな第１モデルに基づいて第１平均モデルが更新され得る。参照対象の第２モデルは、既知のスケールを有し、いわば真のスケールで提供されるので、これらの第２モデルは、第２平均モデルと位置合わせ「のみ」される必要はあるが、スケーリングされる必要はない。
【００４０】
次のステップでは、各参照対象の位置合わせ及びスケーリングされた第１モデルと第１平均モデルとの間の差が（各参照対象について別々に）計算される。同様に、各参照対象の位置合わせされた第２モデルと第２平均モデルとの間の差が（各参照対象について別々に）計算される。第１モデルの位置合わせ及びスケーリングと第２モデルの位置合わせのため、これらの２つのタイプの差は、形状差（サイズ差ではない）に関する情報のみを含む。しかしながら、参照対象の位置合わせ及びスケーリングされた第１モデルと第１平均モデルとの間の差は、（未知のスケールを有する）スケーリングされていない形状差となるが、一方、参照対象の第２モデルと第２平均モデルとの間の差は、（既知のスケールを有する）スケーリングされた形状差となる。
【００４１】
その後、共通の数学演算子で参照対象の全てについて、決定されたスケールされていない形状差から、決定されたスケーリングされた形状差への変換を決定することによって、統計演算子を決定する。この共通の数学演算子は、行列形式で表すことができ、いわゆる統計演算子である。
【００４２】
好ましい実施形態によれば、統計演算子は、全ての参照対象のスケーリングされた形状差と、全ての参照対象のスケーリングされていない形状差に適用された統計演算子の適用の結果の間の二乗平均平方根の残余誤差（root  mean  square  residual  error）を最小にする最小平均二乗法（least  mean  square  method）に基づいて決定される。
【００４３】
スケーリングされていない形状差、統計演算子及びスケーリングされた形状差の間の依存性について、線形手法を用いることが特に好ましい。これは次のようにみることができる：
V  −  AvgVGT  =  P  *  (LGTS  −  AvgLGT)          （１）
ここで、Vは参照対象の第２モデルを表し、AvgVGTは第２平均モデルを表し、Pは統計演算子を表し、LGTSは参照対象の位置合わせ及びスケーリングされた第１モデルを表し、AvgLGTは第１平均を表す。これはまた、V−AvgVGTが上述のスケーリングされた形状差（参照対象の位置合わせされた第２モデルと第２平均モデルとの間の差）を表し、LGTS−AvgLGTが上述のスケーリングされていない形状差（参照対象の位置合わせ及びスケーリングされた第１モデルと第１平均モデルとの間の差異）を表すことを意味する。
【００４４】
したがって、統計演算子Pは、上述の線形システムを解くことによって見つけることができる。統計演算子Pが見つかった後、検査対象の第２モデル（推定されたスケールを有する検査対象のターゲットモデル）は、再編成された形式の同じタイプの線形方程式によって見つけることができる：
V  =  AvgVGT  +  P  *  (LGTS  −  AvgLGT))          （１’）
ここで、Vは検査対象の第２モデルを表し、AvgVGTは第２平均モデルを表し、Pは統計演算子を表し、LGTSは検査対象の位置合わせ及びスケーリングされた第１モデルを表し、AvgLGTは第１平均を表す。上記で説明したようなPを決定するための方程式１の使用とは対照的に、今回のVは、方程式１’において、（参照対象ではなく）検査対象の第２モデルを表し、LGTSは、（参照対象ではなく）検査対象の位置合わせ及びスケーリングされた第１モデルを表すことに留意されたい。
【００４５】
方法は、検査対象に類似する参照対象を事前に選択することによって洗練され得る。検査対象が被検者の顔を表し、参照対象が参照人物の顔を表す最も好ましい適用分野では、出願人の実験は、人の顔の形状特性と実際のサイズの間の統計的相関は、同じ民族性及び／又は同じ性別の人の顔に特に当てはまることを示している。人の年齢も、統計的相関を改善するために使用することができる関連情報のファクタとすることができる。
【００４６】
本発明の実施形態によると、方法は、検査対象と同じタイプの対象の第１モデルの集合から参照対象の複数の第１モデルを選択するステップを更に備え、参照対象の選択される複数の第１モデルは、上記の集合のサブセットであり、参照対象の複数の第１モデルは：
（ｉ）検査対象の第１モデルと集合内に含まれる第１モデルとの比較；及び／又は
（ｉｉ）事前定義されたアンケートへの回答；
に基づいて選択される。
【００４７】
言い換えると、第１平均モデル、第２平均モデル及び統計演算子を計算するための基礎となる参照対象を識別するために、参照対象の集合のサブグループが予め決定されてよい。これらの特に関連する参照対象は、検査対象の第１モデルと集合内に含まれる全て対象の第１モデルとの比較及び／又は事前定義されたアンケートへの回答を含む、検査対象の第１モデル自動分析によって識別することができる。アンケートは、民族性、性別、年齢及び／又は他の個人情報のような上述のファクタに関する質問を含む。
【００４８】
更なる実施形態によると、検査対象の第１モデルを第１平均モデルに対してスケーリングすることは、検査対象の第１モデルと第１平均モデルとの間の差の二乗平均平方根の最小化を含むモデル適合に基づく。第１平均モデルに対する検査対象の第１モデルのこのスケーリング及び位置合わせは、例えば重み付けされたN点位置合わせアルゴリズム（weighted  N-point  alignment  algorithm）を使用することによって行われてよい。そのような重み付けされたN点位置合わせアルゴリズムは、非特許文献４（Kabsch,  W.著：“A  solution  for  the  best  rotation  to  relate  two  sets  of  vectors”、Acta  Cryst  A、１９７６年；３２；９２２３）並びに非特許文献５（Kabsch,  W.著：“A  discussion  of  the  solution  for  the  best  rotation  to  relate  two  vectors”、Acta  Cryst  A、１９７８年；３４；８２７８）に説明されている。
【００４９】
好ましくは、検査対象の第１モデル、参照対象のモデル、検査対象の第２モデル及び参照対象の第２モデルは、2Dランドマークの集合、3Dランドマークの集合又は2Dランドマークのメッシュ又は3Dランドマークのメッシュを含む。そのようなモデルは、例えば非特許文献３又は非特許文献１で見つかり得る。
【００５０】
一般に、第２モデルは第１モデルと同じタイプである可能性があるが、第２モデルは、より多くのランドマーク又はモデル頂点を備える、第１モデルよりもより密集したモデルであることが好ましい。また、第１モデルのランドマーク／頂点は、第２モデルのランドマーク／頂点と同じである必要はないことに留意されたい。
【００５１】
更なる実施形態によると、検査対象の第１モデルは、所定のモデルテンプレートを受け取った画像データに適合（fit）させることによって決定される。、参照対象の第１モデル、検査対象の第２モデル及び参照対象の第２モデルが同じ方法で、すなわち所定のパラメトリックモデルを適合させることによって決定されてもよい。
【００５２】
参照対象の第２モデルは、3Dスキャナ、MRI装置、CT装置、超音波装置又はX線装置から受け取られる3D画像データから導出されてよい。参照対象の第２モデルは、検査対象の第２モデルとは対照的に、好ましくは、形状差及びサイズ差の間の統計的相関に関する知識を使用する上述の方法では推定されず、好ましくは、既知のスケール及び寸法を有する画像データから直接導出される。
【図面の簡単な説明】
【００５３】
本発明のこれら及び他の態様は、以下に説明される実施形態から明らかになり、これらの実施形態に関連して説明されるであろう。
【図１】本発明の一実施形態による装置を概略的に示すブロック図である。
【図２】本発明の一実施形態による方法を概略的に示すフローチャートである。
【図３Ａ】図３Ａに図示される顔が実際には図３Ｂに示される顔よりも大きい場合に、同じサイズに再スケーリングされた例示的な顔を概略的に示す図である。
【図３Ｂ】図３Ａに図示される顔が実際には図３Ｂに示される顔よりも大きい場合に、同じサイズに再スケーリングされた例示的な顔を概略的に示す図である。
【図４】本明細書で「第１モデル」として示される顔モデルの例示的な実施形態を示す図である。
【図５】本明細書で「第２モデル」として示される顔モデルの例示的な実施形態を示す図である。
【図６Ａ】数学的演算及びその逆の演算を概略的に示す図である。
【図６Ｂ】数学的演算及びその逆の演算を概略的に示す図である。
【図７】本発明による方法の結果を検証するための４つの統計プロットを示す図である。
【発明を実施するための形態】
【００５４】
以下に説明される実施形態は、単に本明細書に提示される方法及び装置の例示的な実施形態として理解されるべきである。これらの実施形態は、現在最も実用的で好ましいと考えられるものに基づく説明のために記載されている。しかしながら、これとは反対に、添付の特許請求の範囲の精神及び範囲内にある変更及び同等の構成をカバーするように意図されている。
【００５５】
図１は、本発明による装置の例示的な実施形態を概略的に示す。装置はその全体が参照番号１０で示されている。
【００５６】
装置１０は、受信ユニット１２及び処理ユニット１４を備える。装置１０は更に、メモリユニット１６及び出力ユニット１８を備えてよい。またさらに、装置は、キーボード、マウス、タッチスクリーン及び／又はいくつかの制御ボタン等の入力ユニット（図示せず）を備えてもよい。
【００５７】
受信ユニット１２は、画像データを受け取るように構成される。これらの画像データは、2D又は3D画像データを含んでよい。画像データは、2D画像／写真、3D画像、2D又は3Dスキャン及び／又は2D又は3D画像（画像シーケンス）を例示的に含むことができる。デバイス１０の実装のタイプに応じて、受信ユニット１２は、ハードワイヤードデータインタフェース（例えばUSBインタフェース又はLANインタフェース）又は無線データインタフェース（例えばBluetooth（登録商標）インタフェース又はWLANインタフェース）のいずれかのデータインタフェースとして実装されてよい。装置１０の別のタイプの実装では、受信ユニット１２は、画像データを生成することができるように構成される装置も含んでよい。そのような装置は、例えば2Dフォトカメラ、3Dフォトカメラ、2D又は3Dビデオカメラ、3Dスキャナ、MRI装置、CT装置、超音波装置又はX線装置を含むことができる。
【００５８】
メモリユニット１６は、デジタルデータを永続的又は一時的に保持するのに適した任意のタイプのデータストレージを備えることができる。メモリユニット１６は、任意のタイプの揮発性又は不揮発性メモリを含んでよく、ネットワーク、インターネット又はクラウドコンピューティングを介してアクセス可能な外部データベース（デバイス１０の外部）も指すことがある。
【００５９】
出力ユニット１８は、可聴、可視及び／又は触覚の形態で情報を出力することができるように構成される任意のタイプの装置を備えることができる。出力ユニット１８は、例えばディスプレイモニタ及び／又はラウドスピーカを備えてよい。
【００６０】
処理ユニット１４は一般に、装置１０の「脳」として想像されてよい。処理ユニット１４は、デジタルプロセッサ、アナログプロセッサ、情報を処理するように設計されるデジタル回路、状態マシン及び／又は情報を電子的に処理するための他の機構のうちの１つ以上を含んでよい。処理ユニット１４は、デバイス１０を制御及び／又は操作するための論理プロセスを実行するように構成されるソフトウェアが記憶されたCPU又は他の種類のコンピュータハードウェアとして実現されてもよい。処理ユニット１４は、例えば受信ユニット１２、メモリユニット１及び／又は出力ユニット１８が周辺デバイスとして実現される場合にこれらのデバイスとインタフェースするスタンドアロンのデバイスとして又はチップとして実現されてよい。
【００６１】
処理ユニット１４は、本発明による方法を実行するように構成される。この方法の例示的な実施形態が図２のフローチャートに概略的に示されている。
【００６２】
図２に図示される本発明による実施形態は、方法ステップＳ１０１〜Ｓ１０７を含む。ここで、方法ステップＳ１０１〜Ｓ１０７の必ずしも全てが必須の方法ステップではないことを理解されたい。例えば方法ステップＳ１０３及びＳ１０４は、オプションと考えられる方法ステップである。
【００６３】
本明細書で提示される方法は一般に、人間の顔の形状と実際のサイズとの間に統計的相関が存在するという統計的に立証された仮説に基づいており、これは、より大きな顔とより小さな顔との間のスケールフリーの特徴的顔形状に相違が現れるという事実につながる。出願人の広範な実験及び統計的評価は、小さな顔と大きな顔は一般に、その形状に関して異なる外観を有することを示している。これらの特徴的な形状の相違は、現実には大きな顔のピクチャを実際にはより小さな顔のピクチャと同じサイズにスケーリングされた場合にも保持される。
【００６４】
図３Ａ及び図３Ｂは、２つの例示的な顔を概略的に示しており、これらの２つの顔は、一方の顔に対して同じ寸法になるように再スケールされている。図３Ａに図示される顔は、実際には図３ｂに図示される顔よりも大きい（より大きなサイズを有する）。
【００６５】
自然により大きな顔と自然により小さな顔との間の以下の典型的な形状の相違を図３Ａと図３Ｂの比較から観察することができる：より大きな顔の鼻の先端２０は通常、より小さな顔のより上にカーブした鼻の先端２０’に比べて、より下にカーブする。鼻と上唇部との間の空間２２は通常、比較的小さな顔のもの（参照番号２２’の周辺を参照されたい）よりも、より下にカーブしてより波形になっている。より大きな顔の顎２４は通常、比較的小さな顔の顎２４’よりも角度が大きいように見える。より小さい面の顎２４’は、規則的に滑らかな輪郭を有し、通常、口のサイズに比べて比較的小さい。より大きな顔とより小さな顔との間の更なる特徴的な相違は通常、頬２６、２６’のエリア並びに目２８、２８’の周囲の領域において観察され得る。
【００６６】
前述の相違点は一見して観察することが容易な相違点に過ぎないことに留意されたい。しかしながら、最近のコンピュータビジョン技術は、そのような相違点及び他の相違点をより正確かつ統計的に適切な方法で決定することを可能にすることは明らかであるべきである。
【００６７】
以下では、図２に概略的に示される方法の実施形態を詳細に説明する。
【００６８】
方法はステップＳ１０１で始まる。このステップでは、検査の対象を意味する検査対象の画像データが取得される。これは、例えば被検者のビデオ又は画像の取得を含んでよい。
【００６９】
次のステップＳ１０２は、検査対象に対するパラメトリックモデルの適合を含む。このパラメトリックモデルは、ここでは一般に「第１モデル」と示され、Lと略記される。第１モデルLは好ましくは、検査対象の輪郭を表す約４０〜２００点を含むランドマーク／頂点モデルである。
【００７０】
図４は、被検者の顔３２に適用されるそのような第１モデルL（参照番号３０を参照されたい）の例を示す。そのような第１モデルLの一般的な例は、（ｉ）図４に概略的に示されるか又は非特許文献３（１５２１３）によって提案される2Dランドマークの集合、（ｉｉ）非特許文献１によって提案される3Dランドマークの密集したメッシュとすることができる。
【００７１】
オプションとして、ステップＳ１０２で決定された検査対象の第１モデルLを、ステップＳ１０３及びＳ１０４において、対象の特定のサブグループのメンバとして分類することができる。その分類は、検査対象の性別、民族性及び／又は年齢のような基準に基づいて行うことができる。これらの基準は、所定のアンケートに対して与えられた回答に基づいて決定されてもよい（ステップＳ１０３を参照されたい）。あるいはまた、分類は、検査対象の第１モデルを同じ種類の対象の他の第１モデルと比較する自動化された解析によって行うことも可能である。検査対象と同じタイプの対象のそのような第１モデルは、例えばメモリユニット１６に格納された第１モデルの集合に含まれてもよい。そのような第１モデルの集合、例えば他の人の顔ランドマーク／頂点モデルLの集合を事前に作成して記憶部１６に予め記憶しておく必要があることは明らかである。また、この集合は、本発明による方法の必要に応じて統計的に関連する評価を行うことができるように、他の人のこのような第１モデルLを十分に多く含まなければならないことも明らかである。
【００７２】
これら第１モデルLは全て、被検者の第１モデルLと同じタイプでなければならないことにも留意されたい。第１モデルLは、通常、未知のスケールのピクチャ又はビデオに基づいて決定されるので、第１モデルL自体は既知のスケールを有していないが、通常、スケーリングされていないピクセル座標で表される。
【００７３】
ステップＳ１０３及びＳ１０４の結果は、メモリユニット１６に格納される対象の第１モデルの集合のサブセットとしての、関連する参照対象又はより具体的には参照対象Gの第１モデルLの識別である。参照対象Gの第１モデルLのサブセットは、統計的に関連する評価のために十分な数の第１モデルも含んでいなければならないことに留意されたい。
【００７４】
検査対象の第１モデルLは、識別された参照対象の複数の第１モデルの平均との最良の二乗平均平方根適合（best  root  mean  square  fit）のために、厳密に位置合わせされてスケーリングされる。平均は、本明細書において、第１平均モデルAvgLGTとして示される。第１平均モデルAvgLGTに対する検査対象の第１モデルLの厳密な位置合わせ及びスケーリングの結果、検査対象の位置合わせ及びスケーリングされた第１モデルLGTSが得られる（ステップＳ１０５を参照されたい）。位置合わせ及びスケーリングを、例えば非特許文献４並びに非特許文献５に説明される、重み付けされたn点位置合わせアルゴリズムを使用して行うことができる。
【００７５】
次のステップＳ１０６は、２つのサブステップを含む。第１サブステップは、検査対象の位置合わせ及びスケーリングされた第１モデルLGTSと参照対象Gに対する第１平均モデルAvgLGTとの間の差を決定することによる、検査対象と参照対象の平均との間の形状差の決定である。この差を「形状差」と示す理由は、検査対象LGTSの第１モデルが参照対象Gの第１平均モデルAvgLGTに対して既に位置合わせされてスケーリングされているので、サイズ差はもはや現れないからである。第１平均モデルAvgLGTのスケールは、トレーニング段階中にこのスケールを計算することができるので、既知とみなすことができる。したがって、スケーリング操作の後、検査対象の第１モデルは、第１モデルの平均の既知であるがまだ正しくないスケールを得る。
【００７６】
ステップＳ１０６の次のサブステップでは、以下の式に基づいて、計算された形状差LGTS−AvgLGTが変換行列Pと乗算され、その結果が第２平均モデルAvgVGTに加算されて、推定されたスケールを有する検査対象の第２モデルVを計算する：
V  =  AvgVGT  +  P  *  (LGTS  −  AvgLGT)；          （１’）
【００７７】
変換行列Pは、ここでは一般に統計演算子として示される。この統計演算子は、参照対象の形状及びサイズの間の統計的相関を示す。第２平均モデルAvgVGTは、参照対象Gの複数の第２モデルの平均を含み、ここで、参照対象の第２モデルは、検査対象の第２モデルVと同じタイプである。第２モデルと第１モデルとの間の主な違いは、第２モデル、特に参照対象の第２モデルが既知のスケールを有することである。言い換えると、参照対象の第２モデルの実際の寸法は既知である。第１平均モデルAvgLGTのスケールは、第２平均モデルAvgVGTのスケールと同じであってもよく、より大きいかより小さいものであってもよく、かつ／又は異なる単位で表されてもよい（例えばAvgLGTについては、AvgVGTのmmではなくピクセル座標）。
【００７８】
ステップＳ１０６の最終結果は、推定されたスケールを有する検査対象の第２モデルVの決定である。このようなモデルVの例が図５に示されており、参照番号３４で示されている。第２モデルVは、同じ検査対象に関する。すなわち図４に示される被検者３２の同じ顔に関する。
【００７９】
図４と図５との間のサイズの相違は、未知のスケールを有す検査対象の第１モデルLから、推定された「真の」スケールを有する検査対象の第２モデルVへの再スケーリングを概略的に示すものとする。
【００８０】
第２モデル３４は、図５では3Dメッシュモデルとして示されていることにも留意されたい。しかしながら、これは、そのような第２モデルVの複数の可能な例のうちの１つに過ぎない。第２モデルVについて異なるタイプの実施形態が考えられる：（ｉ）一実施形態では、Vの表現は第１モデルLの表現と等しいタイプのものとみなされてよく；（ｉｉ）別の実施形態では、Vの表現は詳細な3Dモデルに対応し、一方、Lの表現は、2D又は3D座標での限定された顔ランドマークのセットに対応する（図４及び図５に示す実施形態）。Vの表現が詳細な3Dモデルであり、Lの表現が2Dランドマークモデルであるとき、提案される方法は2Dから3Dへの変換アルゴリズムをもたらすことに留意されたい。
【００８１】
ステップＳ１０６において検査対象の第２モデルVを決定するための上記式は、数学的理由から、好ましくは以下のように再定式化される：
V  =  AvgVGT  +  Txyz(P  *  T１D(LGTS  -  AvgLGT))；          （１’’）
ここで、T１Dは、X、Y、Z座標列を相互の上に積み重ねることにより、３列（XYZ）行列の中から単一の列ベクトル（single-column  vector）を作成する演算である。この数学的演算は、図６Ａに概略的に示されている。Txyzは、単一の列ベクトルをX、Y、Z成分に分割し、その中から３列の行列（XYZ）を作る逆演算である。この逆数学的演算は図６Ｂに概略的に示されている。
【００８２】
本明細書で提示される方法の最後のステップＳ１０７において、検査対象のサイズを、検査対象の推定された第２モデルVに基づいて決定することができる。言い換えると、例えばもともとは被検者の通常（モノ）写真画像のみが提供された場合であっても、被検者の顔の特定の寸法を測定することが可能である。このサイズ決定を、例えばその後に使用して、被検者に最もよく適合する患者インタフェースを選択することができる。
【００８３】
次の文の一節には、統計演算子Pと第２平均モデルAvgVGTがどのように決定されるかの説明が含まれる。被検者の画像データを評価する前に、これらの決定が全て最適に予め行われることに留意されたい。したがって、以下の決定は、好ましくは装置１０の学習段階中に行われる。
【００８４】
全ての参照対象G、すなわち、メモリユニット１６に格納された集合の対象の選択されたサブグループについて、以下の動作がそれぞれ実行される：
【００８５】
（１）検査対象の第１モデルと同じタイプの第１モデルを受け取る。
【００８６】
（２）検査対象の第２モデルと同じタイプであり、既知のスケールを有する第２モデルを受け取る。第１モデルLと第２モデルVは双方とも、これらのモデルが検査対象について生成されるのと同じ方法で参照対象の各々について生成されてよい。しかしながら、その違いは、参照対象の実際のサイズ寸法が既知であることである。
【００８７】
（３）各参照対象Gの第１モデルLは、最良の二乗平均平方根適合によって、第１平均モデルAvgLGTに対して位置合わせ及びスケーリングされ、その結果、参照対象について別個に位置合わせ及びスケーリングされた第１モデルLGTSが得られる。やはり、重み付けされたN点位置合わせアルゴリズムを使用することによって、位置合わせ及びスケーリングを行うことができる。
【００８８】
（４）各参照対象Gの第２モデルVは、第２平均モデルAvgVGTに対して位置合わせされる。この位置合わせにより、各参照対象について位置合わせされた第２モデルVGTが得られる。参照対象の第２モデルVは既に共通の既知のスケールを有するので、スケーリングは必要ではない。
【００８９】
（５）次いで、スケーリングされていない形状差が各参照対象について決定される。ここで、スケーリングされていない形状差は、参照対象の平均に対する、参照対象の各々の形状差を含む。このスケーリングされていない形状差は、各参照対象の位置合わせ及びスケーリングされた第１モデルLGTSと第１平均モデルAvgVGTとの間の差を計算することによって決定され得る。差分ベクトルLGTS  -  AvgLGTを、行列Ｌの列として書くことができる。
【００９０】
（６）スケーリングされた形状差が各参照対象について決定される。ここで、スケーリングされた形状差は、位置合わせされた第２モデルVGTと第２平均モデルAvgVGTとの間の差を計算することによって決定される。差分ベクトルLGTS  -  AvgLGTを、行列Ｖの列として書くことができる。
【００９１】
最後に、統計演算子Pは、行列Ｌに書かれた決定されたスケーリングされていない形状差を、行列Ｖに書かれた決定されたスケーリングされた形状差へ変換する、共通の数学演算子として決定されてよい。言い換えると、統計演算子Pは、以下の連立一次方程式を解くことによって見つけられる：
Ｖ  =  P・Ｌ
【００９２】
任意選択で（例えば参照対象Gの数がベクトルLGTS内の要素の数よりも少ないとき）、次元削減技法（例えば主成分分析）が、第１平均モデルAvgLGT及び限られた数のモーダルベクトルMkの線形組合せとして、位置合わせ及びスケーリングされた第１モデルLGTSに適用される：
0006464323.tif 000002
ここで、モーダルベクトルMkの数は、参照対象Gの数以下である。
【００９３】
上記の近似を、行列の形で以下のように書くことができる：
Ｌ＝Ｍ・Ｃ
ここで、参照対象の第１モデルに対応する係数Ckは、行列Ｃの列として書かれ、モーダルベクトルMkの要素は、行列Ｍの列として書かれる。
【００９４】
行列Ｍは、例えば共分散行列
Ｌ・ＬT
の最初のN個の固有ベクトルに対応する可能性がある。
【００９５】
係数Ｃの行列は、過度に定義された線形システム（over-defined  linear  system）を解くことによって見つかる：
Ｌ＝Ｍ・Ｃ
【００９６】
したがって、係数のベクトルCk、k＝１,…Nを用いて全てのLGTSを表現することができる。
【００９７】
次いで、変換行列Tは、良好に／過度に定義された線形システム
Ｖ＝T・Ｃ
を解くことによって見つかり、これは、推定：
0006464323.tif 000003
を可能にする。ここで、Tkは変換行列Tの列であり、係数Ckは（過度に定義された）線形システムを解くことによって見つかる：
LGTS  −  AvgLGT  =  sum_{k=１,…N}  Ck  *  Mk
【００９８】
一部の実施形態において、行列Ｃを、Ｌの線形組合せとして表現することができる：
Ｃ  =  (ＭT・Ｍ)-１・ＭT・Ｌ
これは直接的に
Ｖ  =  P・Ｌ
を与え、変換行列（統計演算子P）は、
P  =  T・(ＭT・Ｍ)-１・ＭT
である。
【００９９】
決定された統計演算子Pを用いて、第２モデルVを上述のように計算することができる（式（１’）又は式（１"）を参照されたい）。
【０１００】
図７は、本明細書に提示された方法によって分析された数千の顔の評価を示す。図７で視覚化された４つのプロットのそれぞれは、本明細書で提示された方法に基づいて計算された顔の寸法と、「真の」顔の寸法（グラウンドトゥルース）との間の関係を示す。検査をしている顔の寸法は、口幅、鼻幅、顔の高さ及び鼻の高さであった。方法の検証のための入力モデルLとして、完全な顔のスケールフリーの3D再構成を使用した。
【０１０１】
これらのプロットの全てから分かるように、推定される顔の寸法とグラウンドトゥルースとの間でかなり良好な相関を観察することができる。したがって、本明細書に提示される方法は、かなり有効であるとみることができる。
【０１０２】
本発明は、図面及び前述の説明において詳細に図示され説明されてきたが、そのような図示及び説明は、説明的又は例示的であって限定的ではないとみなされるべきであり、本発明は開示される実施形態に限定されない。開示される実施形態に対する他の変更は、図面、開示及び添付の特許請求の範囲の研究から、特許請求に係る発明を実施する際に当業者によって理解され、達成され得る。
【０１０３】
特許請求の範囲において、「備える（comprising）」という単語は他の要素又はステップを排除するものではなく、不定冠詞「a」又は「an」は複数を排除しない。単一の要素又は他のユニットが、請求項に列挙されるいくつかの項目の機能を果たすことがある。特定の手段が相互に異なる従属請求項に列挙されているという単なる事実は、これらの手段の組合せが有利に使用できないことを示すものではない。
【０１０４】
コンピュータプログラムは、他のハードウェアと一緒に又は他のハードウェアの一部として供給される光記憶媒体又は半導体媒体などの適切な媒体上に格納／分散させることができるが、インターネットや他の有線又は無線電気通信システム等を介して、他の形で分散されてもよい。
【０１０５】
特許請求の範囲内のいかなる参照符号も、その範囲を限定するものとして解釈されるべきではない。
【図１】
0006464323.tif 000004
【図２】
0006464323.tif 000005
【図３Ａ】
0006464323.tif 000006
【図３Ｂ】
0006464323.tif 000007
【図４】
0006464323.tif 000008
【図５】
0006464323.tif 000009
【図６Ａ】
0006464323.tif 000010
【図６Ｂ】
0006464323.tif 000011
【図７】
0006464323.tif 000012