(57)【要約】【課題】リアルタイムのトラッキングに計算上好適な、人の鼻梁トラッキング装置を提供する。【解決手段】顔画像の鼻梁の位置を特定する方法は、画像フレームを受けるステップ６０と、眼の位置を特定するステップ６２と、眼の位置と距離とから、鼻と口とを含む顔画像の位置及びサイズを推定するステップ６４と、顔画像の光強度分布に基づいて顔画像中の鼻梁区域を決定するステップ６６−７２とを含む。連続するフレームの各々について上述の方法を実行することにより、鼻梁と鼻先端とをトラッキングできる。【選択図】        図２
2006146571.tif 000002
【特許請求の範囲】
【請求項１】
顔画像の鼻梁の位置を特定するための、コンピュータで実現される方法であって、
ビデオ画像生成装置から画像フレームを受信するステップと、
画像フレーム中の画像の眼の位置を特定するステップと、
前記眼の位置とその間隔とに基づいて、顔の、鼻と口とを含む顔画像の位置とサイズとを推定するステップと、
前記顔画像の光強度分布に基づいて前記顔画像中の鼻梁区域を決定するステップとを含む、方法。
【請求項２】
前記決定するステップが、
前記顔画像の行セグメントの各々について水平光強度プロファイルを計算するステップと、
前記顔画像の前記行セグメントの各々について、前記水平光強度プロファイル中の鼻梁候補を見出すステップとを含み、前記水平光強度プロファイルは、前記鼻梁候補の位置において所定の基準を満たしている、請求項１に記載の方法。
【請求項３】
前記見出すステップが、
前記顔画像の前記行セグメントの各々について、前記水平光強度プロファイルに所定の最大フィルタを適用するステップを含み、前記最大フィルタは３個のセグメントを含んでおり、さらに、
前記顔画像の前記行セグメントの各々について、Ｓ１≦Ｓ２≧Ｓ３を満たす鼻梁候補を見出すステップを含み、ここでＳ１、Ｓ２、Ｓ３は最大フィルタ中のそれぞれ最も左のセグメント、中央のセグメント、最も右のセグメントの光強度値をそれぞれ示し、前記最大フィルタはさらに、Ａ、Ｂ、Ｃをそれぞれ正の定数として、重付け和ＡＳ１＋ＢＳ２＋ＣＳ３が行セグメント中で最大となるようにする、請求項２に記載の方法。
【請求項４】
画像シーケンス中の顔画像の鼻梁をトラッキングするための、コンピュータで実現される方法であって、前記顔画像の各々について、請求項１〜請求項３のいずれかに記載の方法を利用して顔画像の鼻梁の位置を特定するステップを含む、方法。
【請求項５】
顔画像から鼻の先端を見出すための、コンピュータで実現される方法であって、
請求項１〜請求項３のいずれかに記載の全てのステップを実行するステップと、
前記決定するステップで決定された鼻梁区域中において、当該鼻梁区域中で顔画像の光強度値が最も高くなる最大強度点を特定するステップと、
前記最大強度点から顔画像の下端まで延びる顔画像中の列セグメントを規定するステップと、
前記列セグメントの列方向に沿って、前記列セグメントの光強度プロファイルを作成するステップと、
前記光強度プロファイルの第１次導関数と第２次導関数とを調査することにより、鼻先端のレベルを特定するステップと、
前記鼻梁候補の回帰直線を求めることにより鼻梁線を形成するステップと、
前記鼻先端のレベルによって規定される線と前記鼻梁線との交点として、鼻先端を見出すステップとを含む、顔画像から鼻の先端を見出すための方法。
【請求項６】
前記鼻先端のレベルを特定するステップが、
前記列セグメントの前記光強度プロファイルの第１次導関数が最大値を有する点を特定することによって、前記列セグメントの前記光強度プロファイル中で鼻梁区域の先端に対応するレベルを特定するステップと、
前記列セグメントの前記光強度プロファイルの第２次導関数が予め定められた値を有する点を特定することにより、列セグメントの光強度プロファイル中における鼻孔レベルを特定するステップと、
前記鼻梁区域の先端のレベルと前記鼻孔レベルとの間の予め定められた点として、鼻先端のレベルを決定するステップとを含む、請求項５に記載の方法。
【請求項７】
前記鼻先端のレベルを決定するステップが、前記列セグメントにおいて、前記鼻梁区域の先端と前記鼻孔レベルとの平均点を計算するステップを含む、請求項６に記載の方法。
【請求項８】
画像シーケンス中の顔画像の鼻先端をトラッキングするための、コンピュータで実現される方法であって、前記顔画像の各々について、請求項５〜請求項７のいずれかに記載の方法を利用して顔画像の鼻先端の位置を特定するステップを含む、画像シーケンス中の顔画像の鼻先端をトラッキングするための方法。
【請求項９】
コンピュータ上で実行されると、コンピュータに、請求項１〜請求項８のいずれかに記載の全てのステップを行なわせる、コンピュータプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明はリアルタイムの人の鼻梁及び鼻先端のトラッキング技術に関し、視覚による人物認識、２Ｄ／３Ｄ仮想現実、先進的な人−コンピュータインタフェース、及びロボティクス応用等の様々な応用において他の顔の特徴と共に用いることができる。
【背景技術】
【０００２】
伝統的に、コンピュータ及びロボットは人間の命令により割当てられた仕事を行なうことのできるツールであると考えられてきた。最近、本発明者らは、機械が人間と同様なやり方でこの世界で動き、特にそれらが他の人間と相互に有益な関係で仲間として相互作用するような、共生システムを考えるようになった。
【０００３】
このようなマン−マシンの交流では、複数の方法による人と機械との相互作用が不可欠である。特に、顔の表情のトラッキングは必須である。
【０００４】
先行技術の顔特徴トラッキングアルゴリズムは、テンプレート又はエッジに基づく特徴の集まりに基づくものであり、初期設定と特徴のトラッキングとが困難であった。特徴の学習が必要とされること、トラッキングの過程で一致の可能性のある候補が多く生じることがその理由である[非特許文献１、２を参照]。さらにこのようなアプローチはより多くの計算時間を必要とする。実用的にするためには、顔特徴トラッキング方法はリアルタイムで動作し、どこでも利用でき、正確で頑健である必要がある。特に、システムはトレーニングの必要性なしに、任意のユーザに対し自然な条件のもとで動作し、眼鏡やひげがある場合など様々な顔の特徴に対処できなければならない。
【０００５】
最も支配的な顔の特徴は眼、鼻（鼻梁、鼻先端、鼻孔）、口であると言われている。顔、眼及び口のトラッキングに関しては多くの研究がある[非特許文献３、４、５、６、７を参照]が、鼻先端及び鼻孔に関する自動化されたトラッキングには見るべきものがほとんどない。本発明者らの知る限りでは、鼻梁のトラッキングについての研究は皆無である。
【０００６】
パタジャンは彼の著作において、口のトラッキングの参照点として鼻孔を用いている[非特許文献２を参照]。鼻孔の検出は、それらが見えている場合は非常に安定している。しかし、顔の向きによっては、それらはさえぎられてしまう。従って、鼻孔を参照点として用いるのは一般に実用的なアプローチとは言えない。
【０００７】
カワトは特許文献１において、顔がどのような向きを向いていても鼻先端を検出する方法を記載している。ここでは、二つの眼の位置から推定された検索領域内で光強度の最も高い領域を検索している。
【０００８】
照明の設定によっては、この方法は鼻先端領域でなく、頬領域の最も高い光強度の領域を検出してしまうと報告されている。また、画像フレーム中で見える形状によっては、鼻梁領域の一部が鼻先端より高い光強度を有する場合があり、このため検出精度が乱れることがある。
【０００９】
ゴロドニキ及びロスの鼻先端トラッキング方法は、テンプレート検索に基づくものであり、テンプレートベクトルが、鼻表面の極値付近に選ばれる[非特許文献８を参照]。その後、学習セッション時に記録された画素パターンを、後続の画像フレームでアルゴリズムによりトラッキングする。
【００１０】
この方法には、以下の三つの点で限界がある。
【００１１】
１）テンプレート記録セッションが必要であること。
【００１２】
２）照明条件に敏感であること。このため、ユーザの頭の動きを或る範囲内に制限している。
【００１３】
３）先行するトラッキングの結果に依存して後続のフレームのトラッキングを行なうこと。
【特許文献１】特開２００４−１５７７７８号
【特許文献２】米国特許第４，９７５，９６０号
【非特許文献１】ドミトリ・Ｏ．ゴロドニキ、ゲルハルト・ロス、「ノウス『あなたの鼻を口として使う』、ハンズフリーのゲーム及びインタフェース用知覚的視野技術」、画像及び視覚コンピューティング、第２２巻、２００４年。（Dmitry  O.  Gorodnichy,  and  Gerhard  Roth:  Nouse  'use  your  nose  as  a  mouse'  perceptual  vision  technology  for  hands-free  games  and  interfaces,  Image  and  Vision  Computing,  vol.  22,  2004.）
【非特許文献２】マルグリット・ベッケ、ジェームズ・ジップス、及びピーター・フレミング、「カメラマウス：重度障害者にコンピュータアクセスを提供するための、身体的特徴の視覚的トラッキング」、ＩＥＥＥ神経及びリハビリテーション工学論文集、第１０巻、第１号、２００２年３月。（Margrit  Betke,  James  Gips,  and  Peter  Fleming:  The  Camera  Mouse:  Visual  Tracking  of  Body  Features  to  Provide  Computer  Access  for  People  with  Severe  Disabilities,  IEEE  Transactions  on  Neural  and  Rehabilitation  Engineering,  Vol.  10,  No.  1,  March 2002.）
【非特許文献３】シンジロウ・カワト及びノブジ・テツタニ、「ＳＳＲフィルタ及びサポートベクトルマシンによる、リアルタイムスケール適応顔検出及びトラッキング」、ＡＣＣＶ予稿集、第１巻、２００４年。（Shinjiro  Kawato,  and  Nobuji  Tetsutani:  Scale  Adaptive  Face  Detection  and  Tracking  in  Real  Time  with  SSR  Filter  and  Support  Vector  Machine,  Proc.  of  ACCV,  vol.  1,  2004.）
【非特許文献４】チェン−チン・チャン、ウェン−カイ・タイ、マウ−ツェン・ヤン、イー−ティン・ハン及びチ−ジャン・ハン、「リアルタイムで唇、眼及び顔を検出するための新方法」、リアルタイム画像処理、第９巻、２００３年。（Cheng-Chin  Chiang,  Wen-Kai  Tai,  Mau-Tsuen  Yang,  Yi-Ting  Huang,  and  Chi-Juang  Huang:  A  Novel  Method  for  Detecting  Lips,  Eyes  and  Faces  in  Real-Time,  Real-Time  Imaging  Vol.  9,  2003.）
【非特許文献５】イェン−リ・ティアン、タケオ・カナデ及びジェフリー・Ｆ．コーン、「形状、色及び動きを組合せた頑健な唇検出」、ＡＣＣＶ‘２０００予稿集、台北、台湾、２０００年１月。（Ying-li  Tian,  Takeo  Kanade,  and  Jeffrey  F.  Cohn:  Robust  Lip  Tracking  by  Combining  Shape,  Color  and  Motion,  in  Proc.  of  ACCV'2000,  Taipei,  Taiwan,  January  2000.）
【非特許文献６】サブリ・グルブズ、ケイスケ・キノシタ及びスミオ・ヤノ、「トレーニング可能多変数ガウス分類器を用いたビデオシーケンスからの口トラッキング」、ＰＲＭＵ２００３、仙台、日本、２００３年１２月。（Sabri  Gurbuz,  Keisuke  Kinoshita,  and  Sumio  Yano:  Mouth  Tracking  from  Video  Sequences  using  Trainable  Multivariate  Gaussian  Classifiers,  PRMU  2003,  Sendai,  Japan,  December 2003.）
【非特許文献７】ヌリア・オリバー、アレックス・ペントランド及びフランソワ・ベラード、「ラフター：顔表情認識を伴うリアルタイムの顔及び唇トラッカ」、パターン認識、３３：１３６９−１３８２、２０００年。（Nuria  Oliver,  Alex  Pentland,  and  Francois  Berard:  Lafter:  A  Real-time  Face  and  Lips  Tracker  with  Facial  Expression  Recognition,  Pattern  Recognition,  33:1369-1382,  2000）
【非特許文献８】ドミトリ・Ｏ．ゴロドニキ、「顔トラッキングにおける鼻の重要性について」、ＩＥＥＥ自動顔及びジェスチャ認識に関する国際会議予稿集（ＦＧ‘０２）、ワシントンＤＣ、２００２年５月２０−２１日。（Dmitry  O.  Gorodnichy:  On  Importance  of  Nose  for  Face  Tracking,  In  Proc.  IEEE  International  Conference  on  Automatic  Face  and  Gesture Recognition  (FG'02),  Washington  DC,  May  20-21,  2002.）
【非特許文献９】ポール・バイオラ及びマイケル・ジョーンズ、「頑健なリアルタイム物体検出」、視覚モデリング、学習、コンピューティング及びサンプリングに関する統計的及びコンピュータ関連理論に関する第二回国際ワークショップ、カナダ、バンクーバー、２００１年７月１３日。（Paul  Viola,  and  Micheal  Jones:  Robust  Real-time  Object  Detection,  Second  International  Workshop  on  Statistical  and  Computational  Theories  of  Vision-  Modeling,  Learning,  Computing,  and  Sampling,  Vancouver,  Canada,  July  13,  2001.）
【発明の開示】
【発明が解決しようとする課題】
【００１４】
この発明の目的は、リアルタイムのトラッキングに計算上好適な、人の鼻梁トラッキング装置を提供することである。
【００１５】
この発明の別の目的は、陰及び照明の変化に対して頑健な鼻梁トラッキング装置を提供することである。
【００１６】
この発明のさらなる目的は、正面から見た顔の向き及びスケールの変化に対し不変である、鼻梁トラッキング装置を提供することである。
【００１７】
この発明の別の目的は、肌の色及び顔の寸法に対し不変である、鼻梁トラッキング装置を提供することである。
【００１８】
従って、この発明の別の目的は、人物に対し何ら仮定を用いることなく、またその人物に関する何らかの種類のトレーニングデータを必要とすることのない、鼻梁の測光的な属性に基づいた、鼻梁トラッキング装置を提供することである。
【００１９】
この発明の他の目的、特徴及び利点は、以下の要約、図面及びこの発明並びに好ましい実施の形態の詳細な説明から、パターン分析及び認識分野の当業者には明らかになるであろう。
【課題を解決するための手段】
【００２０】
この発明の方法は、鼻先端位置の検出率及び検出精度を改良し、さらに鼻梁線も検出する。これは眼に近い側の鼻梁端部から始めて鼻先端を見出すまで下方に検索を行なう。こうして、鼻梁と鼻先端位置とをリアルタイムで出力することができる。
【００２１】
幾何学的形状及び照度の変化がある場合に人の鼻梁をリアルタイムでトラッキングするための方法は、カラー又はモノクロのビデオ装置からの画像フレームを入力画像として得るステップと、現在入力されている画像を処理して眼の位置を特定するステップと、両眼間の距離に基づいて画像中の顔の位置とサイズとを推定するステップと、鼻及びおそらくは口領域を含む、一般的な顔の対象領域（ｒｅｇｉｏｎ  ｏｆ  ｉｎｔｅｒｅｓｔ：ＲＯＩ）を切出すステップと、鼻梁の測光的属性に基づいて鼻梁線と鼻先端とをリアルタイムで出力するステップとを含む。
【００２２】
より特定的には、この発明の一局面によれば、顔画像の鼻梁の位置を特定するための、コンピュータで実現される方法は、ビデオ画像生成装置から画像フレームを受信するステップと、画像フレーム中の画像の眼の位置を特定するステップと、眼の位置とその間隔とに基づいて、ある顔の鼻と口とを含む顔画像の位置とサイズとを推定するステップと、顔画像の光強度分布に基づいて顔画像中の鼻梁区域を決定するステップとを含む。
【００２３】
好ましくは、決定するステップは、顔画像の行セグメントの各々について水平光強度プロファイルを計算するステップと、顔画像の行セグメントの各々について水平光強度プロファイル中で鼻梁候補を見出すステップとを含み、水平光強度プロファイルは、鼻梁候補の位置において所定の基準を満たしている。
【００２４】
さらに好ましくは、見出すステップは、顔画像の行セグメントの各々について水平光強度プロファイルに所定の最大フィルタを適用するステップを含み、最大フィルタは３個のセグメントを含んでおり、さらに、顔画像の行セグメントの各々について、Ｓ１≦Ｓ２≧Ｓ３を満たす鼻梁候補を見出すステップを含み、ここでＳ１、Ｓ２、Ｓ３は最大フィルタ中のそれぞれ最も左のセグメント、中央のセグメント、最も右のセグメントの光強度値をそれぞれ示し、最大フィルタはさらに、Ａ、Ｂ、Ｃをそれぞれ正の定数として、重付け和、ＡＳ１＋ＢＳ２＋ＣＳ３が行セグメント中で最大となるようにする。
【００２５】
定数Ｂは定数Ａ及びＣより大きくてもよい。
【００２６】
定数Ａは定数Ｃと等しくてもよい。
【００２７】
この発明の別の局面に従えば、画像シーケンス中の顔画像の鼻梁をトラッキングするための、コンピュータで実現される方法は、顔画像の各々について、上述のいずれかの方法を利用して顔画像の鼻梁の位置を特定するステップを含む。
【００２８】
この発明のさらに別の局面に従えば、顔画像から鼻の先端を見出すための、コンピュータで実現される方法は、上述のいずれかの方法の全てのステップを実行するステップと、決定するステップで決定された鼻梁区域中において、当該鼻梁区域中で顔画像の光強度値が最も高くなる最大強度点を特定するステップと、最大強度点から顔画像の下端まで延びる顔画像中の列セグメントを規定するステップと、列セグメントの列方向に沿って、列セグメントの光強度プロファイルを作成するステップと、光強度プロファイルの第１次導関数と第２次導関数とを調査することにより、鼻先端のレベルを特定するステップと、鼻梁候補の回帰直線を求めることにより鼻梁線を形成するステップと、鼻先端のレベルによって規定される線と鼻梁線との交点として、鼻先端を見出すステップとを含む。
【００２９】
好ましくは、鼻先端レベルを特定するステップは、列セグメントの光強度プロファイルの第１次導関数が最大値を有する点を特定することによって、列セグメントの光強度プロファイル中で鼻梁区域の先端に対応するレベルを特定するステップと、列セグメントの光強度プロファイルの第２次導関数が予め定められた値を有する点を特定することにより、列セグメントの光強度プロファイル中における鼻孔レベルを特定するステップと、鼻梁区域の先端レベルと鼻孔レベルとの間の予め定められた点として、鼻先端のレベルを決定するステップと、を含む。
【００３０】
鼻先端のレベルを決定するステップは、列セグメントにおいて、鼻梁区域の先端と鼻孔レベルとの平均点を計算するステップを含む。
【００３１】
予め定められた値はゼロであってもよい。
【００３２】
この発明の別の局面に従えば、画像シーケンス中の顔画像の鼻先端をトラッキングするための、コンピュータで実現される方法は、顔画像の各々について、上述のいずれかの方法を利用して顔画像の鼻先端の位置を特定するステップを含む。
【００３３】
この発明のコンピュータプログラムは、コンピュータ上で実行されると、コンピュータに、上述の方法のいずれかの全てのステップを行なわせる。
【発明を実施するための最良の形態】
【００３４】
［実施の形態の概観］
以下に説明するこの発明の実施の形態は、人間の鼻の曲線が持つ測光的属性の利点を眼トラッキング技術と組合せて、鼻トラッキングに関して従来から認識されていた問題点を克服するものである。初めに、眼の位置を見出して顔のＲＯＩを推定し、その後この方法は鼻梁と鼻先端との両方に沿った鼻の曲線の光強度プロファイルを利用する。提案されたアプローチでは、この鼻梁トラッキング装置は照明条件の変化、肌の色合い、及び正面から見た顔の幾何学的形状並びに顔の動きに対し頑健となる。
【００３５】
図１は鼻梁及び鼻先端をトラッキングするための、この実施の形態に従ったトラッキング装置３０の概観ブロック図である。図１を参照して、トラッキング装置３０は、予め定められた速度で人の顔の画像フレームシーケンスを撮影するためのカラー（又はモノクロ）ビデオカメラ４０と、ビデオカメラによって撮影された各フレームを記憶するためのフレームメモリ４２と、フレームメモリ４２に記憶された各フレーム内で眼の位置を検出するための眼検出モジュール４４と、カメラ４０によって撮影された人の顔の鼻梁を検出するとともに鼻梁線及び鼻先端位置データを出力するための、鼻梁検出モジュール４６とを含む。
【００３６】
各フレームに対し、この実施の形態のトラッキング装置３０はビデオカメラ４０からの画像フレームを得る。眼検出モジュール４４は光強度平面を用いて各フレームの眼の位置を検出する。すなわち、鼻梁検出モジュール４６は人の鼻の曲線が有する相対的光強度情報（光強度分布）を、「眼の検出及びトラッキング」と題したセクションで簡単に説明する眼のトラッキング技術と組合せて利用する。この実施の形態では、撮影された画像は赤、緑、青（ｒｅｄ−ｇｒｅｅｎ−ｂｌｕｅ：ＲＧＢ）の画像である。従って、鼻梁検出モジュール４６は色平面の一つを光強度情報の尺度として用いることによって計算時間を節約する。この実施の形態では、光強度情報を代表するものとして、緑平面を用いる。
【００３７】
こうして、顔の支配的な特徴である眼がまず眼検出モジュール４４によって基準点としてトラッキングされる。
【００３８】
その後、鼻梁と鼻先端とが、各画像フレームにおいてリアルタイムで、過去のトラッキング結果に依存することなく、鼻梁検出モジュール４６によって検出される。眼検出モジュール４４及び鼻梁検出モジュール４６で用いられるアルゴリズムは後述する。
【００３９】
−眼の検出及びトラッキング−
この実施の形態のトラッキング装置３０はコンピュータハードウェアとコンピュータ上で実行される特定のコンピュータプログラムとで実現される。図２はコンピュータプログラムの全体の制御構造を示す。図２の全体構造を説明するに先だって、図２の各ステップの詳細を図３から図１２を参照して説明する。
【００４０】
図３を参照して、撮影された画像１２０中の顔の眼の位置１２２及び１２４が最初に検出される。このステップで用いられる眼の検出及びトラッキングアルゴリズムは非特許文献３に詳述されている。
【００４１】
次に、顔の対象領域（ＲＯＩ）１２６が画像１２０から抽出される。簡単に言えば、両眼の間のパターンを検出し更新したテンプレートマッチングでトラッキングする。顔の大きさの変化に対処するため、検出のために様々な縮尺の画像を考慮し、両眼間の距離に従って、適切な縮尺を選択する。
【００４２】
アルゴリズムは、非特許文献９に記載の「統合画像」（Ｉｎｔｅｇｒａｌ  ｉｍａｇｅ）と呼ばれる入力画像の中間表現を計算する。その後、６セグメント直交（ｓｉｘ−ｓｅｇｍｅｎｔｅｄ  ｒｅｃｔａｎｇｕｌａｒ：ＳＳＲ）フィルタを用いて、画像中の眼の領域の明暗関係をフィルタリングする。結果として得られる顔候補をさらに、サポートベクトルマシン（ｓｕｐｐｏｒｔ  ｖｅｃｔｏｒ  ｍａｃｈｉｎｅ：ＳＶＭ）によって検証する。
【００４３】
−鼻梁及び鼻先端の検出−
「眼の検出及びトラッキング」と題されたセクションで説明されたように、顔のＲＯＩ１４０が選択される。図３を参照して、撮影された画像１２０中の眼の位置１２２及び１２４を利用した顔のＲＯＩ選択処理は、おおよそ１．２×両眼間の距離の幅と、１．８×両眼間の距離の高さの寸法を有する、回転補正された矩形領域１２６を選択することを含む。結果として得られるＲＯＩ候補１２６は切出され、回転されて顔ＲＯＩ１４０の画像が得られる。顔ＲＯＩ１４０は眼の位置１４２及び１４４によって規定される眼のレベルから始まり、典型的には首上部までである。
【００４４】
人の鼻は、凸形状を有し、眼のレベルから鼻先端までの鼻梁は一線上に延びる。一般に、或る点での光の強度の測定値は、その点と光源との距離が増加するにつれて小さくなる。これは、光がその光源の位置から離れるにつれて広がるからである。従って、曲率に関する情報は光強度分布で表現される。図４は右側に、顔ＲＯＩ１４０から抽出された行セグメント１６０の光強度プロファイル１７０を示す。
【００４５】
この実施の形態では、この物理的現象をノイズ減少及びパターン検索と関連させて利用する。
【００４６】
鼻は凸形状を有する。従って、鼻梁には側面に比べより多くの光強度が集まっている。光強度プロファイルのために顔のＲＯＩ画像の単一の行を用いる代わりに、複数の行を用いて垂直の矩形１６２によって示されるピクセルの垂直線の光強度値の和をとることにより、ビデオノイズの影響を大幅に削減できる。従って、ノイズの影響が相殺されるのと同時に、光強度値が鼻の側部よりも鼻梁においてより速い速度で累積される。眼の線より下の、互いに重複する部分を持つセグメントに対しこの処理を繰返すことにより、光強度プロファイルの３Ｄパターン１７０が生成される。
【００４７】
すなわち、凸曲面上の点は側部より高い光強度を有することとなる。ここで、この実施の形態では行セグメント１６０の光強度分布を用いて鼻梁のトレースを行なうために高速フィルタリングのアプローチを利用している。
【００４８】
非特許文献３に記載された両眼間の検出フィルタと同様に、この実施の形態では最大フィルタと呼ばれる、３セグメントの畳込みフィルタを用い、光強度の積分値を用いて鼻梁候補の位置のトレーシングを行なう。ここで中央のセグメントは側部のセグメントと等しいかまたは大きく、３個のセグメント全ての定数を乗じた光強度の合計は、鼻梁の位置で最大値となる。図４及び図５は眼の線から始めて各行の最大光強度パターンをトレースする、３個のセグメント１８２、１８４及び１８６を備えた最大フィルタ１８０を示す。基準は以下の通りである。
【００４９】
【数１】
2006146571.tif 000003
ここでＳｉは図５に示す最大フィルタのセグメント１８２、１８４及び１８６の光強度の積分値を示し、Ａ、Ｂ及びＣは全て予め定められた定数である。好ましくは、定数Ｂは定数Ａ及びＣより大きい。定数Ａは定数Ｃと等しくてもよい。例えば、Ｂ＝３でありＡ＝Ｃ＝１である。
【００５０】
フィルタは顔のＲＯＩ画像の全ての行セグメントと畳込みされる。各行で、式１の基準を満たす画素の位置が、さらに処理すべき鼻梁候補であると考えられる。
【００５１】
最大フィルタと画像の行セグメントとの直接畳込みは、計算上のコストが大きい処理である。このため、図６を参照して、行セグメントの光強度値の累積計２００を用いて、ＳｉをＳｉの２個の参照指標を用いて計算できる。各行セグメントの累積計は以下のように計算される。
ＣＳＵＭ（０）＝ｒｏｗＡｒｒ（０）、
ＣＳＵＭ（ｊ）＝ＣＳＵＭ（ｊ−１）＋ｒｏｗＡｒｒ（ｊ）；ｊ＝１,２,…Ｎ    （２）
ここでｒｏｗＡｒｒとＣＳＵＭとはそれぞれ行アレイの光強度値とその累積計である。従って、指標ｋ１とｋ２との間のＳｉは以下のように計算することができる。
Ｓｉ（ｋ１；ｋ２）＝ＣＳＵＭ（ｋ２）−ＣＳＵＭ（ｋ１）    （３）
各行セグメントは、式１を用いて鼻梁位置を見出すために、顔ＲＯＩのいずれかの端部に達するか、又は式１が満たされなくなるまで、処理される。すなわち、図７に示すように、鼻梁候補点２２０が見出されると、それらのうち幾つか２２２は鼻梁上にはなく、鼻先端よりも低い場合がある。このため、図８のボックス２４０で示されるように、鼻梁候補が鼻梁上に位置するよう、修正処理が必要となる。
【００５２】
Ｔ（ｒ）は、以下の式で規定される、最大フィルタ１８０から出力される顔ＲＯＩ画像のｒ番目の行セグメントのｊ番目の位置での最大累積光強度合計を示すものとする。
【００５３】
【数２】
2006146571.tif 000004
ここでＴ（ｒ）は鼻梁上の３セグメントフィルタの区域下の光強度の累算に相当する。従って、拡散光の条件下で、或る点と光源との距離が増加すれば、又はその点が陰になれば、その点のＴ（ｒ）値は小さくなる。このことから、鼻先端は鼻孔線上の点よりも高いＴ（ｒ）を有することが分る。なぜなら、鼻孔線上の点は、図８の右側のＴ（ｒ）プロファイル線２４２で示されるように、鼻曲線上にはないからである。このため、鼻先端と口ひげの線との間ではＴ（ｒ）の勾配が高いことが期待され、さらに、鼻孔線上方の全ての候補点は鼻孔線上のものより高いＴ（ｒ）を有するものと期待される。
【００５４】
−鼻梁線及び鼻先端を得るためのアルゴリズム−
鼻梁線及び鼻先端を得るためのアルゴリズムを以下で説明する。
【００５５】
１．Ｔ（ｒ）線２４２の勾配∇Ｔ（ｒ）を決定する。この実施の形態では、∇Ｔ（ｒ）は図９に示すように決定される。図９を参照して、∇Ｔ（ｒ）は、（例えば点２６０の）Ｔ（ｒ）と（例えば点２６２の）Ｔ（ｒ＋１）との差をΔで除したものに等しい。ここでΔは予め定められた自然数であって、例えば、３である。この定義によれば、∇Ｔ（ｒ）はＴ（ｒ）の値が減少していれば正となる。絶対値は曲線の急峻さを示す。もちろん、他の定義を用いてもよい。
【００５６】
２．∇Ｔ（ｒ）の指標を勾配値の降順にソートする。
【００５７】
３．行の指標が目のレベルから始まるものとして、∇Ｔ（ｒ）の最も高い勾配の位置から始めて、Ｔ（ｒ）≧Ｔ（ｋ）∀ｒ＜ｋとなるｋ番目の行を見出す。これは、Ｔ（ｒ）の値が急峻に減少する点が最も早く検討されることを意味する。
【００５８】
４．図１０を参照して、Ｔ（ｉ）がｉ＜ｋについて最大となる行の指標ｉを見出し、ｉ番目の行から開始する列セグメントを選択する。図１０に列セグメントを示す。図１０を参照して、列セグメント２７０はｉ番目の行から開始し典型的には顔のＲＯＩの下端まで伸びる、顔ＲＯＩの垂直セグメントである。
【００５９】
５．図１１（ａ）を参照して、垂直方向の、列セグメント２７０の水平光強度プロファイル（ｈｐｒｏｊ）を形成する。
【００６０】
６．図１１（ｂ）を参照して、ｈｐｒｏｊ２８０上のビデオノイズの影響を除去して、平滑化された光強度プロファイル（ｓｈｐｒｏｊ）２８２を得る。例えば、ｈｐｒｏｊに高速フーリエ変換（ＦＦＴ）を行ない、０．１５πディジタル周波数より上の全てのＦＦＴ係数をゼロに設定し、結果として得られる係数の配列の逆高速フーリエ変換（ＩＦＦＴ）をとる。平滑化されたプロファイル上で、最初の３個の極値（２個の極大２８４及び２８８と１個の極小２８６）を探す。
【００６１】
７．図１１（ｃ）を参照して、鼻先端の第１次導関数２９４の絶対値（｜∇ｓｈｐｒｏｊ｜）は、第一の極大２８４と第一の極小２８６との間で最大値２９６を有する。
【００６２】
８．さらに図１１（ｃ）を参照して、第１次導関数はゼロか鼻孔線の定数かいずれかである。すなわち、鼻先端の後、第２次導関数がゼロ（∇２ｓｈｐｒｏｊ（ｐ）＝０）となる最初の点２９８は鼻孔線である。
【００６３】
９．さらに、鼻梁から鼻先端まで、図１２の線３１２で示すように、式１を用いて抽出された全ての点の回帰直線を求めて鼻梁を表すものとする。図１２では、鼻梁点３１０Ａから３１０Ｎまでの回帰直線を求めている。線３１２は鼻梁を表すものと仮定される。
【００６４】
１０．図１２を参照して、鼻先端は鼻梁線３１２上の鼻梁の先端から、先のステップで見出された鼻孔線との間のどこかの点である。従って、鼻先端は、ある線上にあると仮定される。図１２の線３１４がこの線を表す。鼻先端は、鼻梁線３１２と線３１４との交点３１６である。
【００６５】
−コンピュータによる実現−
この実施の形態の鼻梁及び鼻先端トラッキング装置３０は、肌の色の違い及び照明条件によってパラメータを微調整する必要がない。どのユーザがいつ、カメラの前に現れても、トラッキング装置３０は自動的にその人の眼、鼻梁及び鼻先端のトラッキングを、学習なしで開始する。
【００６６】
図２に戻って、この実施の形態の装置３０を実現するプログラムの全体の制御構造を説明する。プログラムはステップ６０で始まる。各フレームについて、システム３０はステップ６０で画像フレームを撮影する。ステップ６２で、ステップ６０で撮影された画像内で眼が検出される。ステップ６４で、顔のＲＯＩが抽出される。
【００６７】
次に、抽出された顔ＲＯＩの各行セグメントについて、ステップ６６から７２のステップが繰返される。具体的には、各行セグメントについて、行セグメントの全ての画素列の累積和をステップ６８で計算し、ステップ７０で対象の行セグメントについて計算された累積和に最大フィルタ（図５を参照）を適用して、行セグメントの水平方向のＴ（ｒ）プロファイル（図４を参照）を得る。このようにして得たＴ（ｒ）プロファイルの例を図４の右側に示す。
【００６８】
行セグメントの各々について、ステップ６８及び７０でＴ（ｒ）プロファイルが得られた後、ステップ７４で口ひげの線を推定する。口ひげの線をどのように推定するかを図８及び図９に示す。ステップ７６で、口ひげの線の上方で最大のＴ（ｒ）の行が選択される。ステップ７８で、ステップ７６で選択された行の下で顔ＲＯＩの下端まで伸びる列セグメントを抽出する。列セグメントの例を図１０に列セグメント２７０として示す。
【００６９】
ステップ８０で、ステップ７８で抽出された列セグメントの水平射影が形成される。この射影の一例を図１１（ａ）に示す。ステップ８２で、この射影に対しＦＦＴを適用し、所定のディジタル周波数より上のＦＦＴ係数をゼロに設定し、結果として得られるＦＦＴ係数のアレイのＩＦＦＴをとることによって、この射影は平滑化される。平滑化された射影の例を図１１（ｂ）に示す。
【００７０】
ステップ８４で、プロファイルの最初の３個の極値（２個の極大及びその間の極小）が図１１（ｂ）に示すように点２８４、２８６及び２８８として見出される。ステップ８６で、点２８４と２８６との間のプロファイルの第１次導関数がとられ、第１次導関数の最大点が、図１１（ｃ）の点２９６である鼻梁の先端を示す。
【００７１】
ステップ８８で、プロファイルの第２次導関数がとられ、点２９６の後で第２次導関数がゼロとなる点が鼻孔線を示す。鼻先端は、鼻梁の先端と鼻孔線との間のどこかにある。この実施の形態では、鼻先端レベルは鼻梁の先端と鼻孔線位置との平均（中心点）として、ステップ９０で計算される。
【００７２】
ステップ９２では、鼻梁上の全ての点の回帰直線（鼻梁線）を求める。ステップ９４で、鼻先端線と鼻線との交点を探す。この点が鼻先端である。
【００７３】
図１３は上述のプログラムを実行してこの実施の形態の装置３０を実現するコンピュータシステム３３０の概観を示す。上述の実施の形態はコンピュータハードウェア及びその上で実行されるコンピュータプログラムで実現される。図１３はこの実施の形態のコンピュータシステム３３０の外観図であり、図１４はシステム３３０をブロック図で示す。
【００７４】
図１３を参照して、コンピュータシステム３３０は、ＦＤ（Ｆｌｅｘｉｂｌｅ  Ｄｉｓｋ）ドライブ３５２及びＣＤ−ＲＯＭ（Ｃｏｍｐａｃｔ  Ｄｉｓｃ  Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）ドライブ３５０を含むコンピュータ３４０と、キーボード３４６と、マウス３４８と、モニタ３４２と、ビデオカメラ４０とを含む。
【００７５】
図１４を参照して、コンピュータ３４０は、ＦＤドライブ３５２及びＣＤ−ＲＯＭドライブ３５０に加えて、ＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）３５６と、ＣＰＵ３５６、ＣＤ−ＲＯＭドライブ３５０及びＦＤドライブ３５２に接続されたバス３６６と、ブートアッププログラム等のプログラムを記憶するためのＲｅａｄ−Ｏｎｌｙ  Ｍｅｍｏｒｙ（ＲＯＭ）３５８と、ＣＰＵ３５６に接続され、アプリケーションプログラムの命令を一時的に記憶するとともに一時記憶空間を提供するためのＲａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ（ＲＡＭ）３６０と、アプリケーションプログラム、システムプログラム、及びデータを記憶するためのハードディスク３５４とを含む。ここでは図示しないが、コンピュータ３４０はさらに、ローカルエリアネットワーク（ＬＡＮ）への接続を提供するネットワークアダプタボードを含んでもよい。
【００７６】
コンピュータシステム３３０にこの実施の形態のトラッキング装置３０の機能を実行させるプログラムは、ＣＤ−ＲＯＭ３６２又はＦＤ３６４に記憶されて、ＣＤ−ＲＯＭドライブ３５０又はＦＤドライブ３５２に挿入され、さらにハードディスク３５４に転送されてもよい。これに代えて、プログラムは、図示しないネットワークを介してコンピュータ３４０に送信され、ハードディスク３５４に記憶されてもよい。プログラムは実行の際にＲＡＭ３６０にロードされる。プログラムはＣＤ−ＲＯＭ３６２、ＦＤ３６４又はネットワークから直接ロードされてもよい。
【００７７】
プログラムは、コンピュータ３４０にこの実施の形態のトラッキング装置３０の機能を実行させるための幾つかの命令を含む。必要とされる基本的機能の幾つかは、コンピュータ３４０上で実行されるオペレーティングシステム（ＯＳ）又はサードパーティプログラム、もしくはコンピュータ３４０にインストールされたモジュールによって提供されるので、プログラムはこの実施の形態のトラッキング装置３０を実現するための基本的機能全てを必ずしも含まなくてもよい。プログラムは、制御された様態で適切な機能を呼出し、所望の結果が得られるようにする命令の部分のみを含んでいればよい。コンピュータシステム３３０がどのように動作するかは周知であり、従ってここでは繰返さない。
【００７８】
−トラッキングの結果−
図１５及び１６は自動的にトラッキングされた鼻梁及び先端の幾つかの例を示す。図１５に示すように、鼻先端３８０、３８２及び３８４は異なる向きと異なる照明設定との下で正確にトラッキングされている。さらに、図１６で示すように、鼻先端３９０はサングラスをかけている場合でもトラッキングできている。
【００７９】
提案されたアルゴリズムはＣ＋＋で実現され、通常のＯＳの下で実行される。実験結果により、コンピュータハードウェア及びソフトウェアで実現された装置３０はリアルタイムで、完全に自動的に、毎秒３０フレーム（ｆｐｓ）で実行されたことが検証された。装置３０は、（１）異なる肌の色、（２）正面から見た顔の向き及びスケールの変化、並びに（３）照明の変化によらず個人を成功裏にトラッキングした。
【００８０】
この実施の形態では、鼻梁のトラッキングのために、凸曲面トラッキングフィルタを用いる。上述の説明はまた鼻梁先端の光強度プロファイルの第１次導関数が最大値を有することを示している。同様に、光強度プロファイルの第２次導関数は鼻孔線でゼロである。鼻先端はこれら２個のレベルの間にある。
【００８１】
この発明の装置と方法とが、鼻梁トラッキングに関連して説明された。しかし、他の顔の特徴点をトラッキングするために、様々な修正や変更が可能である。
【００８２】
上述の実施の形態では、画像はカラーであったが、この発明はそのような実施の形態に限定されず、画像は光強度画像のみであってもよい。その場合、光強度情報そのものを直接、光強度情報の表現として用いてもよい。
【００８３】
今回開示された実施の形態は単に例示であって、本発明が上記した実施の形態のみに制限されるわけではない。本発明の範囲は、発明の詳細な説明の記載を参酌した上で、特許請求の範囲の各請求項によって示され、そこに記載された文言と均等の意味および範囲内でのすべての変更を含む。
【図面の簡単な説明】
【００８４】
【図１】この発明の一実施の形態のトラッキング装置３０のブロック図である。
【図２】この実施の形態のトラッキング装置３０を実現するコンピュータ上で実行されるプログラムのフローチャートである。
【図３】顔ＲＯＩの抽出を示す図である。
【図４】行セグメント１６０が顔ＲＯＩからどのように抽出されるかを示す図である。
【図５】この実施の形態で用いられる、３セグメントの畳込みフィルタ１８０を示す図である。
【図６】行セグメントの光強度値の累積和２００を示す図である。
【図７】成功裏に抽出された鼻梁候補と、鼻梁及び鼻先端の更なる処理により正確に見出された、幾つかの誤った鼻梁候補とを示す図である。
【図８】成功裏に抽出された鼻梁候補（その幾つかは鼻先端点より下にあり従って正確でない。）と、その光強度プロファイルとを示す図である。
【図９】∇Ｔ（ｒ）の定義を示す図である。
【図１０】列セグメントを示す図である。
【図１１】列セグメントのプロファイルを示す図である。
【図１２】鼻先端をどのように決定するかを示す図である。
【図１３】上述のプログラムを実行し、この実施の形態の装置３０を実現するコンピュータシステム３３０の外観を示す図である。
【図１４】図１３に示すコンピュータ３４０の構造を示す図である。
【図１５】この実施の形態の実験結果を示す図である。
【図１６】この実施の形態の実験結果を示す図である。
【符号の説明】
【００８５】
３０  トラッキング装置
４０  ビデオカメラ
４２  フレームメモリ
４４  眼検出モジュール
４６  鼻梁検出モジュール
１２２、１２４、１４２、１４４  眼の位置
１２６、１４０  顔の対象領域（ＲＯＩ）
１６０  行セグメント
１７０  光強度プロファイル
１８０  最大フィルタ
２７０  列セグメント
２８０  光強度プロファイル（ｈｐｒｏｊ）
２８２  平滑化された光強度プロファイル（ｓｈｐｒｏｊ）
３３０  コンピュータシステム
３４０  コンピュータ
【図１】
2006146571.tif 000005
【図２】
2006146571.tif 000006
【図３】
2006146571.tif 000007
【図４】
2006146571.tif 000008
【図５】
2006146571.tif 000009
【図６】
2006146571.tif 000010
【図７】
2006146571.tif 000011
【図８】
2006146571.tif 000012
【図９】
2006146571.tif 000013
【図１０】
2006146571.tif 000014
【図１１】
2006146571.tif 000015
【図１２】
2006146571.tif 000016
【図１３】
2006146571.tif 000017
【図１４】
2006146571.tif 000018
【図１５】
2006146571.tif 000019
【図１６】
2006146571.tif 000020
【外国語明細書】
2006146571000001.pdf
2006146571000002.pdf
2006146571000003.pdf
2006146571000004.pdf