(57)【要約】【課題】自然な条件下で話している話者の口画像に対する微妙な違いの影響を、すぐさま取除く。【解決手段】自然な条件下で話している話者の口画像に対する平行移動、回転及びスケールの影響を、すぐさま取除くための方法は、ビデオ画像３２の各々に対し、ユーザの画像中の目印となる位置２箇所を決定するステップ４６と、ビデオ画像中でユーザの口の輪郭を決定するステップ４０，４２と、目印の位置と口の輪郭とをあわせて利用することにより、ユーザの口画像の変形パラメータを推定して、任意変形と逆の変形をビデオ画像に対し適用可能とするステップ４４，４７，４８とを含む。【選択図】        図１
2006277022.tif 000002
【特許請求の範囲】
【請求項１】
ユーザのビデオ画像に視覚的音声前処理を行なうシステムにおいて、ユーザの口画像に対する任意変形に関するパラメータを推定する方法であって、
前記ビデオ画像の各々に対し、
前記ユーザの前記画像中の目印となる位置２箇所を決定するステップと、
前記ビデオ画像中のユーザの口の輪郭を決定するステップと、
前記目印の位置と前記口の輪郭の位置とをあわせて利用することにより、前記任意変形と逆の変形が前記ビデオ画像に対し適用可能となるように、前記ユーザの口画像に関する変形パラメータを推定するステップとを含む、方法。
【請求項２】
前記推定するステップは、前記画像中の前記目印の位置を利用して、前記ユーザの前記画像の回転量を推定するステップを含む、請求項１に記載の方法。
【請求項３】
前記推定するステップは、
前記ユーザの口画像の、主成分分析に基づく回転量の推定を利用して、ユーザの画像の回転量を推定するステップと、
前記目印の位置を利用して推定した画像の回転量と、前記主成分分析を利用して推定された前記画像の回転量とを組み合わせることにより、前記ユーザの画像の回転角を推定するステップとを含む、請求項１に記載の方法。
【請求項４】
前記推定するステップが、前記ユーザの口画像の、主成分分析に基づく回転量の推定を利用して、前記ユーザの画像の回転量を推定するステップを含む、請求項１に記載の方法。
【請求項５】
前記主成分分析に基づく回転量の推定を利用してユーザの画像の回転量を推定する前記ステップが、
前記画像中の前記口唇の外側輪郭を決定するステップと、
前記唇の外側輪郭のサンプル点の平均と共分散行列とを計算するステップと、
前記共分散行列の第一の固有ベクトルｅ１を求めるステップと、
角度α＝ａｔａｎ（ｅｙ／ｅｘ）を計算するステップとを含み、
ここでｅｘおよびｅｙは前記第一の固有ベクトルのｘ軸成分およびｙ軸成分である、請求項４に記載の方法。
【請求項６】
前記推定するステップが、
前記画像中の前記目印間の距離を、前記画像中の前記目印の前記位置と、推定された変形とを利用して計算するステップと、
口区域を含み、さらに計算で求められた前記目印間の距離と同じ幅となるような距離で選択された幅を有する、口領域を選択するステップと、
所定の定数の、計算で求められた前記目印間の距離に対する比率によって、前記口画像のスケーリング係数を推定するステップと、を含む、請求項１〜請求項５のいずれかに記載の方法。
【請求項７】
前記口画像のスケーリング係数によって、前記選択された口領域をスケーリングするステップをさらに含む、請求項６に記載の方法。
【請求項８】
目印となる位置２箇所を決定する前記ステップは、前記ユーザの前記画像中の瞳の位置を決定するステップを含む、請求項１〜請求項７のいずれかに記載の方法。
【請求項９】
前記口領域を所定の場所にシフトすることにより、前記口領域に対する平行移動の影響を除去するステップをさらに含む、請求項１〜請求項８のいずれかに記載の方法。
【請求項１０】
視覚的前処理に用いるプログラム製品であって、
プロセッサを用いたシステムに、請求項１〜請求項９のいずれかに記載のステップのすべてを行なわせる命令を記憶したコンピュータ読取可能媒体を含む、プログラム製品。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、自然な発声条件下で一貫した視覚的な音声特徴量の抽出を行なうことに関する。より正確には、この発明は頭部の画像の平行移動、回転およびスケールの微妙な違い(similarity)をすぐさま修正することによって、話者が自身の頭を自由に動かしても差し支えないようにする、視覚的音声特徴量の抽出に関する。
【背景技術】
【０００２】
視覚的音声処理は、マン−マシンインターフェイスの研究において重要な課題の１つである。例えば、聴覚的情報に視覚的情報を加えることは少なくとも２つの実用的な基準に合致する。すなわち、これは音声認識における人の視覚的知覚を模倣し、さらに、これは音響信号に常に存在するとは限らない情報を含み得るからである［非特許文献２、８、１５を参照］。
【０００３】
この統合手法は主に、非特許文献９及び非特許文献１３に示される初期段階での統合と最終段階での統合とに分類され、視覚的音声特徴量抽出アルゴリズムは主に、モデル（輪郭、スネーク等）を用いる方法と、外観（画素）を用いる方法とに分類される。詳細は非特許文献１１、１２、及び１６を参照されたい。
【０００４】
モデルを用いるアプローチでも外観を用いるアプローチでも、自然な発声条件下にあっては、一貫した視覚的音声特徴量を抽出することは、制御された条件下におけるよりも困難である。報告されたさまざまな視覚的特徴量抽出方法及び２つの統合手法では、実験作業は制御された環境で行なわれるものとされ（例えば非特許文献９、１２及び１６を参照）、話者には頭部を自然に動かしながら話すことが許されない。
【０００５】
これに対して、自然な条件下では、話者は自然に動く。従って、口の画像の微妙な違いを修正することは、視覚的音声処理のために一貫した視覚的特徴量を抽出するには決定的に重要な課題である。
【非特許文献１】Ｓ．グルブズ、Ｋ．キノシタ及びＳ．ヤノ、「トレーニング可能な多変量ガウス分類器を用いたビデオシーケンスからの口トラッキング」、ＰＲＭＵ２００３、仙台、日本、２００３年１２月（S.  Gurbuz,  K.  Kinoshita  and  S.  Yano.  Mouth  Tracking  from  Video  Sequences  using  Trainable  Multivariate  Gaussian  Classifiers.  PRMU  2003,  Sendai,  Japan,  December  2003.）
【非特許文献２】Ａ．アジャウダーニ及びＣ．ベノイト．「ｈｍｍベースのａｓｒにおける聴覚及び視覚パラメータの統合について」、人と機械による音声読取：モデル、システム及び応用、ＮＡＴＯ  ＡＳＩシリーズ、シリーズＦ、コンピュータ及びシステムサイエンス、１５０号、４６１−４７１ページ、１９９６年（A.  Adjoudani  and  C.  Benoit.  On  the  integration  of  auditory  and  visual  parameters  in  an  hmm-based  asr.  In  Speechreading  by  Humans  and  Machines:  models,  systems,  and  applications,  NATO  ASI  Series.  Series  F,  Computer  and  Systems  Sciences,  number  150,  pages  461-471,  1996.）
【非特許文献３】Ｃ．ブレグラー、Ｈ．ヒルド、Ｓ．マンケ、及びＡ．ワイベル、「唇の読取による、連続文字認識の改良」、音響音声及び信号処理国際会議予稿集、１９９３年（C.  Bregler,  H.  Hild,  S.  Manke,  and  A.  Waibel.  Improving  connected  letter  recognition  by  lipreading.  In  Proceedings  of  International  Conference  on  Acoustics  Speech  and  Signal  Processing,  1993.）
【非特許文献４】Ｇ．イェンガー、Ｇ．ポタミアノス、Ｃ．ネティ、Ｔ．ファリク、及びＡ．ヴァーマ、「自動音声読取のための頑健な視覚的ｒｏｉ検出」、ＩＥＥＥマルチメディア信号処理第４回ワークショップ、７９−８４ページ、２００１年（G.  Iyengar,  G.  Potamianos,  C.  Neti,  T.  Faruquie,  and  A.  Verma.  Robust  detection  of  visual  roi  for  automatic  speechreading.  In  IEEE  Fourth  Workshop  on  Multimedia  Signal  Processing,  pages  79-84,  2001.）
【非特許文献５】Ａ．Ｊ．ジェイン、「ディジタル画像処理の基礎」、プレンティスホール、１９９７年（A.  K.  Jain.  Fundamentals  of  Digital  Image  Processing.  Prentice-Hall,  1997.）
【非特許文献６】Ｍ．カス、Ａ．ウィトキン及びＤ．ターゾプーロス、「スネークス：活性輪郭モデル」、コンピュータヴィジョンに関する第１回国際会議予稿集、２５９−２６８ページ、１９８７年（M.  Kass,  A.  Witkin,  and  D.  Terzopoulos.  Snakes:  Active  contour  models.  In Proceedings  of  1st  International  Conference  on  Computer  Vision,  pages  259-268,  1987.）
【非特許文献７】Ｓ．カワト、Ｎ．テツタニ、「ＳＳＲフィルタ及びサポートベクトルマシンを用いたリアルタイムのスケール適応顔検出及びトラッキング」、コンピュータヴィジョンに関するアジア会議、２００４年（S.  Kawato,  N.  Tetsutani.  Scale  adaptive  face  detection  and  tracking  in  real  time  with  SSR  filter  and  support  vector  machine.  In  Asian  Conference  on  Computer  Vision,  2004.）
【非特許文献８】Ｈ．マクガーク及びＪ．マクドナルド、「唇を聴き声を見る」、ネイチャー、２６４：７４６−７４８、１９７６年（H.  McGurk  and  J.  MacDonald.  Hearing  lips  and  seeing  voices.  Nature,  264:746-748,  1976.）
【非特許文献９】Ｓ．ナカムラ、「聴覚的-視覚的音声処理のための統計的マルチモーダル統合」、ＩＥＥＥ神経回路網トランザクション、１３（４）、２００２年（S.  Nakamura.  Statistical  multimodal  integration  for  audio-visual  speech  processing.  IEEE  Transactions  on  Neural  Networks,  13(4),  2002.）
【非特許文献１０】Ｅ．パターソン、Ｓ．グルブズ、Ｚ．チュフェキ、及びＪ．ガウディ、「移動する話し手、話者独立の特徴量研究とＣｕａｖｅマルチモーダル音声コーパスを用いたベースライン結果」、ＥＵＲＡＳＩＰ応用信号処理ジャーナル、２００２（１１）、２００２年（E.  Patterson,  S.  Gurbuz,  Z.  Tufekci,  and  J.  Gowdy.  Moving-talker,  speaker-independent  feature  study  and  baseline  results  using  the  cuave  multimodal  speech  corpus.  EURASIP  Journal  on  Applied  Signal  Processing,  2002(11),  2002.）
【非特許文献１１】Ｅ．パタジャン、Ｂ．ビショフ、Ｄ．ボドフ及びＮ．ブルック、「音声認識を向上するための改良された自動唇読取システム」、コンピュータシステムにおけるヒューマンファクタに関する会議、１９−２５ページ、１９８８年（E.  Petajan,  B.  Bischoff,  D.  Bodoff,  and  N.  Brooke.  An  improved  automatic  lipreading  system  to  enhance  speech  recognition.  In  Conference  on  Human  Factors  in  Computing  Systems,  pages  19-25,  1988.）
【非特許文献１２】Ｇ．ポタミアノス、Ｊ．ルティン、及びＣ．ネティ、「聴覚的−視覚的ｌｖｃｓｒのための階層的判別特徴量」、音響音声及び信号処理国際会議予稿集、２００１年。（G.  Potamianos,  J.  Luettin,  and  C.  Neti.  Hierarchical  discriminant  features  for  audio-visual  lvcsr.  In  Proceedings  of  International  Conference  on  Acoustics  Speech  and  Signal  Processing,  2001.）
【非特許文献１３】Ｄ．ロイ、「相互情報を用いた音声と視覚の統合」、音響音声及び信号処理国際会議予稿集、２０００年（D.  Roy.  Integration  of  speech  and  vision  using  mutual  information.  In  Proceedings  of  International  Conference  on  Acoustics  Speech  and  Signal  Processing,  2000）
【非特許文献１４】Ａ．Ｗ．シニア、「顔認識システムのための顔と特徴量の検出」、聴覚及び視覚ベースのバイオメトリック人物認証（ＡＶＢＰＡ）予稿集、１５４−１５９ページ、１９９９年（A.  W.  Senior.  Face  and  feature  finding  for  face  recognition  system.  In  Proceedings  of  Audio-and  Video-Based  Biometric  Person  Authentication  (AVBPA),  pages  154-159, 1999.）
【非特許文献１５】Ｅ．バティキオティス−ベイツィン、Ｋ．Ｇ．ムンハル、Ｍ．ヒラヤマ、Ｙ.Ｖ．リー、及びＤ．ターゾポーラス、「音声におけるオーディオビジュアルな挙動の力学」、人と機械による音声読取：データ、モデル及びシステム、Ｄ．Ｇ．ストーク及びＭ．Ｅ．ヘンケ編、ＮＡＴＯスプリンガーフェアラーク、ニューヨーク、ＮＹ（１９９６）、１５０巻、１９９６年（E.  Vatikiotis-Bateson,  K.  G.  Munhall,  M.  Hirayama,  Y.  V.  Lee,  and  D.  Terzopoulos.  The  dynamics  of  audiovisual  behavior  in speech.  In  Speechreading  by  Man  and  Machine:  Data,  Models  and  Systems,  D.  G.  Stork  and  M.  E.  Hennecke  Eds.  NATOSpringer-Verlag,  New  York,  NY  (1996),  volume  150,  1996.）
【非特許文献１６】Ｘ．ツァン、Ｒ．Ｍ．マーセロー、Ｍ．クレメンツ、及びＣ．Ｃ．ブラウン、「改良された音声認識のための視覚的音声特徴量の抽出」、音響音声及び信号処理国際会議、２００２年（X.  Zhang,  R.  M.  Mersereau,  M.  Clements,  and  C.  C.  Brown.  Visual  speech  feature  extraction  for  improved  speech  recognition.  In  International  Conference  on  Acoustics  Speech  and  Signal  Processing,  2002.）
【発明の開示】
【発明が解決しようとする課題】
【０００６】
発明者らが知る限りでは、視覚的音声処理のために口画像の微妙な違いを修正することに関する研究はこれまでなされていない。
【０００７】
この発明は、一貫した視覚的な音声特徴量の抽出を容易にすることにより、聴覚と視覚とを統合して自然な音声のための音声認識装置の性能を改良するためになされた。この目的のためには、口画像への平行移動の影響、スケーリングの影響及び回転の影響をなくして、視覚的音声処理用に一貫した視覚的特徴を抽出可能な技術が必要である。
【０００８】
従って、この発明の目的の１つは、自然な条件下で話している話者の口画像に対する微妙な違いの影響を、すぐさまなくすためのコンピュータプログラムを提供することである。
【０００９】
この発明の別の目的は、口の境界を検出し、口画像領域の歪のパラメータを推定して逆の歪を適用することにより、自然な条件下で話している話者の口画像に対する微妙な違いの影響を、すぐさまなくすためのコンピュータプログラムを提供することである。
【課題を解決するための手段】
【００１０】
この発明の第一の局面は、ユーザのビデオ画像に視覚的音声前処理を行なうシステムにおいて、ユーザの口画像に対する任意変形に関するパラメータを推定する方法に関する。この方法は、ビデオ画像の各々に対し、ユーザの画像中の目印となる位置２箇所を決定するステップと、ビデオ画像中のユーザの口の輪郭を決定するステップと、目印の位置と口の輪郭の位置とをあわせて利用することにより、任意変形と逆の変形がビデオ画像に対し適用可能となるように、ユーザの口画像に関する変形パラメータを推定するステップとを含む。
【００１１】
好ましくは、推定するステップは、画像中の目印の位置を利用して、ユーザの画像の回転量を推定するステップを含む。
【００１２】
より好ましくは、推定するステップは、ユーザの口画像の、主成分分析に基づく回転量の推定を利用して、ユーザの画像の回転量を推定するステップと、目印の位置を利用して推定した画像の回転量と、主成分分析を利用して推定された画像の回転量とを組み合わせることにより、ユーザの画像の回転角を推定するステップとを含む。
【００１３】
さらに好ましくは、推定するステップが、ユーザの口画像の、主成分分析に基づく回転量の推定を利用して、ユーザの画像の回転量を推定するステップを含む。
【００１４】
主成分分析に基づく回転量の推定を利用してユーザ画像の回転量を推定するステップは、画像中の口唇の外側輪郭を決定するステップと、唇の外側輪郭のサンプル点の平均と共分散行列とを計算するステップと、共分散行列の第一の固有ベクトルｅ１を求めるステップと、角度α＝ａｔａｎ（ｅｙ／ｅｘ）を計算するステップとを含んでもよく、ここでｅｘおよびｅｙは第一の固有ベクトルのｘ軸成分およびｙ軸成分である。
【００１５】
好ましくは、推定するステップが、画像中の目印間の距離を、画像中の目印の位置と推定された変形とを利用して計算するステップと、口区域を含みさらに目印間の計算された距離と同じ幅となるような距離で選択された幅を有する、口領域を選択するステップと、所定の定数の、計算された目印間の距離に対する比率によって、口画像のスケーリング係数を推定するステップと、をさらに含む。
【００１６】
より好ましくは、方法は、口画像のスケーリング係数によって、選択された口領域をスケーリングするステップをさらに含む。
【００１７】
さらに好ましくは、目印となる位置２箇所を決定するステップは、ユーザの画像中の瞳の位置を決定するステップを含む。
【００１８】
この方法はさらに、口領域を所定の場所にシフトすることにより、口に対する平行移動の影響を除去するステップを含んでもよい。
【００１９】
この発明の第２の局面に従えば、視覚的前処理に用いるプログラム製品は、プロセッサを用いたシステムに、上述の方法のいずれかに記載のステップのすべてを行なわせる命令を記憶したコンピュータ読取可能媒体を含む。
【発明を実施するための最良の形態】
【００２０】
＜第一の実施例＞
視覚的前処理を行なう動機は、視覚的音声処理のための一貫した視覚的特徴量の抽出を容易にすることである。すなわち、この前処理によって、話者の頭の回転、平行移動及びカメラスケールのパラメータを口画像から除去する。図１はこの発明の視覚的前処理アルゴリズムの概要を示すブロック図である。
【００２１】
［一般的構造］
図１を参照して、この実施例の口画像修正装置３０は、画像フレーム３２の各々から口画像を抽出し、話者の頭部の回転、平行移動、及びカメラスケールパラメータによって引起こされる歪のパラメータを推定し、微妙な違いを修正した口画像３４を出力する。
【００２２】
口画像修正装置３０は、画像フレーム３２中の口画像をトラッキングする口トラッキングモジュール４０と、画像フレーム３２の各々において、話者の口エッジを検出する口輪郭線検出モジュール４２と、検出された口画像へのＰＣＡ（Ｐｒｉｎｃｉｐａｌ  Ｃｏｍｐｏｎｅｎｔ  Ａｎａｌｙｓｉｓ：主成分分析）に基づき、口画像の回転量を推定するＰＣＡによる回転量推定モジュール４４と、各画像フレーム３２において目の画像をトラッキングし、各画像フレーム３２について話者の瞳画像の座標を出力する両眼トラッキングモジュール４６と、両眼トラッキングモジュール４６から与えられる両眼の位置に基づいて、顔の回転量を推定する両眼位置による回転量推定モジュール４７と、モジュール４４及び４７で推定された回転量を組合わせるための回転量推定組合せモジュール４８とを含む。
【００２３】
口画像修正装置３０はさらに、瞳間の距離を修正して回転による歪を除去するための両眼距離修正モジュール４９と、回転量推定組合せモジュール４８によって推定された回転量に基づき、話者の頭部の回転によって引起される口画像の歪を修正するための、口領域回転量修正モジュール５０と、口画像を含む顔画像の予め定められた領域を選択するための口ＲＯＩ（Ｒｅｇｉｏｎ  ｏｆ  Ｉｎｔｅｒｅｓｔ：関心領域）選択モジュール５２と、口画像を予め定められた基準サイズ（Ｎ×Ｍ画素）に正規化するためのスケール修正モジュール５４と、正規化された口画像のサイズ（Ｎ及びＭ）を記憶するためのメモリ５６と、ＲＯＩ中の口画像の平行移動の影響をなくし、微妙な違いを修正した口画像３４を出力するための平行移動修正モジュール５８とを含む。
【００２４】
［Ａ．修正ステップ］
一般に、観察された口画像ｘと基準となる口画像ｘ°との関係は、以下のように表せる。
【００２５】
ｘ＝ｓＲ（α）ｘ°＋ｔ    （１）
ここで、ｓはスケーリングパラメータであり、Ｒ（α）は２Ｄ回転行列（αは回転角）であり、ｔは平行移動ベクトルである。画像フレームは全て、任意のｓ、Ｒ（α）及びｔの影響を除去するために以下のように前処理される。
【００２６】
１．モジュール４４及び４７で推定されたＰＣＡの結果と標準座標系に対する目の角度とを組合わせることにより、モジュール４８でＲ（α）の推定と修正とを行なう。
【００２７】
２．両眼の間の距離と上唇の輪郭とを基準として用いて、モジュール５０及び５２で口境界を選択する。
【００２８】
３．両眼の間の距離に基づいて、スケール修正モジュール５４でスケールｓを修正する。
【００２９】
４．固定された座標位置へ口の中心を移動することにより、平行移動修正モジュール５８において平行移動の影響を除去する。
【００３０】
［Ｂ．口境界の選択］
口境界は、口トラッキングアルゴリズムと目のトラッキングアルゴリズムとを合わせて利用することによって選択される。この実施例で用いるアルゴリズムは、本件発明者らによって開発されたものであるが、ここでは入手可能などのようなアルゴリズムを用いてもよい。
【００３１】
口境界の選択は、特にスケール修正のため、この微妙な違いを修正する処理において重要な手順である。発声の間に口の形状はしばしば変形するので、セグメント化した唇の外輪郭又は口角にもとづいた口境界の選択は不正確なスケール修正につながる。このため、顔上で（少なくとも２点の）変形しない目印を測定基準として選択し、セグメント化された口領域が存在する口境界を選択する必要がある。
【００３２】
発明者らは、両眼が好ましい目印となることを見出し、モジュール４７及び４９でそれぞれ推定し修正した瞳間の距離を、口境界選択時の基準距離として利用した。すなわち、口境界の幅は、話者の瞳間の距離と距離方向に同じ幅となるように選択され、セグメント化された口がその中の水平方向中心に位置する。同様に、高さも同じ距離で設定されるが、口の上方境界は上唇の外輪郭の先端で始まる。なぜなら、上顎は目の位置に対し移動しないからである。こうして、Ｌｔ×Ｌｔの口画像が得られる。ここで、Ｌｔは時間ｔにおける、時間依存の瞳間の画素距離である。
【００３３】
この実施例のモジュール４０で用いられる口トラッキングアルゴリズムはベイズのフレームワークに基づくものである（非特許文献１を参照）。ここでは予めラベリングする必要のないカラー画像を利用する。これは現在のフレーム中の口領域をセグメント化し、対象となる領域を選択することによって、次のフレームでの検索空間を限定する。両眼トラッキングモジュール４６で用いられる目トラッキングアルゴリズムは両眼の中点を検出することに基づく。ここで用いられるアルゴリズムの詳細は非特許文献７に見られる。これらのアルゴリズムはともに、通常のパブリックドメインのオペレーティングシステムで１．９ＧＨｚで動作する最新のコンピュータ上でリアルタイムに動作する。
【００３４】
［Ｃ．微妙な違いのパラメータ除去］
一方で、口の外観の歪は一般に任意の３Ｄ回転によって引起される。他方で、人とコンピュータのインタフェイスの応用を考えれば、話者にはカメラに向き合うことが要求される。話者はカメラに向き合うが、頭部を自由に動かすことはできる。
【００３５】
カメラの光軸に平行な話者の頭部の動きは、画像のスケーリングを引起す。カメラの光軸に垂直な話者の頭部の動きは、平行移動を引起す（この場合投影的な歪は避ける）。光軸に対して回るような頭部の動きは、口画像の２Ｄ回転を引起す。一般に、頭部の動きは上述の動きのいずれか、またはその組合せである。もし話者がカメラの光軸から目をそらせば、それはその時点で話者がコンピュータと意思の疎通をはかる意図がない、という意味である。
【００３６】
自然な発声の場合、このような歪の大きさはカメラの光軸に対する話者の頭部の角度に依存する。このような動きは図２に見られるような遠近感（奥行き方向）の歪を生じさせる（３Ｄの頭部回転による）。この実施例で用いるアルゴリズムは、顔がこのように部分的にしか見えない場合、話者がコンピュータと意思の疎通をはかる意図がないものと考え、このような遠近感（奥行き方向）の歪を除くことはしない。
【００３７】
人とコンピュータのインタフェイスの応用設計では、セグメント化された口画像は全てのフレームについて、視覚的特徴量抽出処理に先立って、特に外観に基づく視覚的特徴量抽出処理に先立っては、前処理を行なって正準変形を施しておく必要がある。ユーザに求められるのは、発声の間、カメラの焦点にほぼ顔を向けていることなので、剪断変形の効果はなしと見ることができ、ｘ方向及びｙ方向のスケーリングを同一とみなすことができる。こうして、セグメント化された口画像データに生じうる微妙な違いは、平行移動、スケーリングまたは回転のみか、これらを組合わせたものとなる。
【００３８】
上述の仮定に基づき、観察された口画像データｘと基準口画像データｘ°との関係は次のように表される。
【００３９】
ｘ＝ｓＲ（α）ｘ°＋ｔ    （２）
ここでｓはスケーリングパラメータであり、Ｒ（α）はαの２Ｄ回転行列であり、αは２Ｄ回転角であり、ｔは平行移動ベクトルである。
【００４０】
固定された座標位置に口画像の中心を移動することにより、セグメント化された口画像から平行移動ベクトルｔを容易になくすことができる。以下のサブセクションでは、回転角αとスケーリングパラメータｓとをそれぞれどのように推定し除去するかを説明する。
【００４１】
［Ｄ．唇の回転の問題］
口角または鼻や目等の他の顔の特徴のみを利用する場合、自然な発声の間にそのような顔の目印の位置を定めることに画素上の正確さが必要なため、回転を正確に修正するには問題がある［非特許文献４、７及び１０を参照］。目印を使用する口回転修正では、トラッキングした瞳を用いることが合理的であって、ＰＣＡベースの回転量推定及び修正方法と組合わせて上述の問題を克服できることがわかっている。
【００４２】
Ｄ．１．  ＰＣＡを用いた回転量修正
ＰＣＡは、多変量データを分析して主成分として知られる新たな直交軸の組を特定する方法である［画像処理におけるＰＣＡの詳細については非特許文献５を参照］。これはＰＣＡによる回転量推定モジュール４４で行なわれる。第一の主成分は、データの最も主要な分散を示す軸であり、第二の主成分はデータの２番目に主要な分散を示す直交軸であり、以下同様である。
【００４３】
図３に示すように、有向エッジ検出フィルタを適用して、唇の外輪郭を抽出した。輪郭７０上のｉ番目の点の座標をｘｉとし、μとＣとをそれぞれＮ個のサンプル点に対する平均と共分散とする。
【００４４】
【数１】
2006277022.tif 000003
ここで、Ｔは転置を表す。ここでの課題は、新たな直交軸（ｕ−及びｖ−軸）の組を見出し、標準座標系（ｘ−及びｙ−軸）に対する回転角αを推定し、口画素座標データの回転をなくすことである。
【００４５】
図４（Ａ）を参照して、ｘ−軸８０とｕ−軸８２との間の回転角α８４を推定するために、唇の外輪郭端の共分散行列Ｃの固有値｛λ１，λ２｝を求め、最大固有値に対応する固有ベクトルｅ１を見出す。この処理は以下のとおりである。
【００４６】
ｄｅｔ（Ｃ−λ１)＝０                （５）
次に、固有ベクトル（特性ベクトルともいう。）を次の式に従って求める。
【００４７】
Ｃｅｉ＝λｉｅｉ，      ｉ＝１，２      （６）
回転角αは以下のように計算される。
【００４８】
α＝ａｔａｎ（ｅｙ／ｅｘ）              （７）
ここでｅｘ及びｅｙはｅ１の２成分である。
【００４９】
次に、口領域回転量修正モジュール５０において、口画像データｘにＲ−１＝Ｒ（−α）を乗ずることにより、回転修正された口画像が得られる。図４（Ｂ）は回転修正後の口画像を示す。
【００５０】
Ｄ．２．  スケーリングの問題
スケーリングの問題は、話者のカメラからの距離、カメラのズーム係数、及び話者の実際の口の寸法から生じる。この場合、唇画像の周波数内容を利用するＤＣＴ（Ｄｉｓｃｒｅｔｅ  Ｃｏｓｉｎｅ  Ｔｒａｎｓｆｏｒｍａｔｉｏｎ：離散的コサイン変換）またはウェーブレット変換法等の、画素に基づく視覚的特徴量抽出法は、上述の要因の１つまたは２つ以上によって引起されるスケールパラメータを除去することなく口画像を処理した場合、一貫性を欠く観察ベクトルを生じさせることになる。
【００５１】
図５に示すような回転した画像でスケーリングファクタを除去するためには、まず、セクションＣで計算したＲ−１を用いてモジュール５０で回転を修正する。次に、両眼距離Ｌｔ（１００）を測定し、図５（Ｂ）に示すようにモジュール４９で修正する。この画像をＭ／Ｌｔでスケーリングすることにより図５（Ｃ）に示すように瞳間の距離１１０はＭとなる。ここでＭは予め規定した正規化のための画素長である。Ｎ×Ｍサイズの正規化された口画像１１２がこのスケールの正規化された画像から切取られる。ここで、上方向の境界は上唇の輪郭(図５（Ｃ））である。これを、微妙な違いを修正した口画像３４と呼ぶ。
【００５２】
［コンピュータによる実現］
この実施例に従う口画像修正装置３０は、コンピュータハードウェアとその上で実行されるコンピュータプログラムで実現され得る。例えば、口トラッキングモジュール４０は発明者らが開発したプログラムで実現できる。しかしながら、これは公に入手可能な目トラッキングプログラムでも実現可能である。同様に、モジュール４２から５８もコンピュータプログラムで実現可能である。
【００５３】
図６は上述の適当なコンピュータプログラムとともに、この実施例の口画像修正装置３０を実現するコンピュータシステム３３０の斜視図である。図６を参照して、このコンピュータシステム３３０は、ＣＤ−ＲＯＭ（コンパクトディスク読出専用メモリ）ドライブ３５０及びＦＤ（フレキシブルディスク）ドライブ３５２を有するコンピュータ３４０と、いずれもコンピュータ３４０に接続されたキーボード３４６と、マウス３４８と、モニタ３４２とを含む。システム３３０はさらに、コンピュータ３４０に接続されて話者の頭部画像のフレームをキャプチャするビデオカメラ３７４を含む。システム３３０はさらに、図示しないマイクロフォンを含む。
【００５４】
図７はコンピュータ３４０のハードウェアブロック図である。図７を参照して、ＣＤ−ＲＯＭドライブ３５０及びＦＤドライブ３５２に加えて、コンピュータ３４０はＣＰＵ（中央処理装置）３５６と、ＣＰＵ３５６に接続されたバス３６６と、バス３６６に接続された読出専用メモリ（ＲＯＭ）３５８と、バス３６６に接続されたランダムアクセスメモリ（ＲＡＭ）３６０と、バス３６６に接続されたハードディスクドライブ３５４と、バス３６６に接続され、ビデオカメラ３７４の出力の各フレームをキャプチャするためのビデオキャプチャボード３６８とを含む。
【００５５】
ＣＤ−ＲＯＭドライブ３５０は挿入されるＣＤ−ＲＯＭ３６２からデータを読出し、ＦＤドライブ３５２はＦＤ３６４からデータを読出し、ここにデータを書込む。
【００５６】
上述の口画像修正装置３０を実現するプログラムはＣＤ−ＲＯＭ３６２またはＦＤ３６４に記憶され、さらにハードディスク３５４に転送される。プログラムがＣＰＵ３５６によって実行される時に、プログラムはハードディスクドライブ３５４から読出されてＲＡＭ３６０にロードされる。ＣＰＵは、ＲＡＭ３６０のプログラムカウンタ（図示せず）という名前のレジスタによって指定されるアドレスから命令をフェッチし、命令中のオペランドによって指定されるＲＡＭ３６０またはハードディスクドライブ３５４等の記憶装置からデータをフェッチし、結果を命令オペランドによって指定されるアドレスに書込む。
【００５７】
コンピュータ３４０の動作は周知であるので、ここでは詳細は説明しない。
【００５８】
［動作］
口画像修正装置３０は以下のように動作する。カラーの画像フレーム３２の各々について、口トラッキングモジュール４０が口領域をセグメント化し、ＲＯＩを選択して次のフレームの探索領域を制限する。口輪郭線検出モジュール４２は図３に示すような口の輪郭７０を検出する。ＰＣＡによる回転量推定モジュール４４は口輪郭線検出モジュール４２から出力される輪郭７０で、ＰＣＡを利用した画像で予め規定されたｘ−及びｙ−軸を基準に、回転角を推定する。推定された角度が回転量推定組合せモジュール４８に与えられる。
【００５９】
両眼トラッキングモジュール４６は、各画像フレーム３２の両眼の画像をトラッキングして、ｘ−座標及びｙ−座標を基準とする話者の瞳画像の座標を、両眼位置による回転量推定モジュール４７と両眼距離修正モジュール４９とに出力する。
【００６０】
回転量推定組合せモジュール４８はＰＣＡによる回転量推定モジュール４４からの角度と回転量推定組合せモジュール４８からの角度とを組合わせ、両眼距離修正モジュール４９と口領域回転量修正モジュール５０とに推定された角度αを出力する。
【００６１】
両眼距離修正モジュール４９は話者の瞳間の距離Ｌｔを修正し、この距離Ｌｔを口ＲＯＩ選択モジュール５２とスケール修正モジュール５４とに与える。
【００６２】
口領域回転量修正モジュール５０はＲ−１(α)を利用し、回転量推定組合せモジュール４８からのαを利用して、口領域周囲の話者の顔画像を修正する。口領域回転量修正モジュール５０は修正された口領域の画像を口ＲＯＩ選択モジュール５２に出力する。
【００６３】
口ＲＯＩ選択モジュール５２は話者の瞳間の距離と同じ幅の距離となるように選択され、セグメント化された口が水平方向の中央に位置するようなＲＯＩを選択する。同様に、ＲＯＩの高さも同じ距離に設定される。ＲＯＩの上方境界は上唇の外輪郭の先端で始まる。従って、Ｌｔ×Ｌｔの口画像が得られる。ここで、Ｌｔは時間ｔにおける、時間に依存する瞳間の画素距離である。
【００６４】
スケール修正モジュール５４はＲＯＩの画像をＭ／Ｌｔでスケーリングし、この結果、瞳間の距離は図５（Ｃ）に示すようにＭ１１０となる。ここでＭは予め規定した正規化のための画素長である。Ｎ×Ｍサイズの正規化された口画像がこのスケールの正規化された画像からスケール修正モジュール５４によって切取られる。
【００６５】
最後に、画像の口の中心を画像の幅方向中央の固定された座標点に移動することにより、平行移動の歪を除去する。
【００６６】
今回開示された実施の形態は単に例示であって、本発明が上記した実施の形態のみに制限されるわけではない。本発明の範囲は、発明の詳細な説明の記載を参酌した上で、特許請求の範囲の各請求項によって示され、そこに記載された文言と均等の意味および範囲内でのすべての変更を含む。
【図面の簡単な説明】
【００６７】
【図１】この発明の一実施例に従った口画像修正装置３０を示すブロック図である。
【図２】話者の頭部の回転により引起される口画像の奥行き方向の歪を示す図である。
【図３】口の輪郭７０を示す図である。
【図４】口画像の回転角αのＰＣＡによる推定を示す図である。
【図５】この発明の一実施例による口画像のスケール修正を示す図である。
【図６】この発明の第一の実施例を実現するコンピュータシステム３３０の斜視図である。
【図７】図６に示すコンピュータ３４０のブロック図である。
【符号の説明】
【００６８】
３０  口画像修正装置
３２  画像フレーム
３４  微妙な違いを修正した口画像
４０  口トラッキングモジュール
４２  口輪郭線検出モジュール
４４  ＰＣＡによる回転量推定モジュール
４６  両眼トラッキングモジュール
４８  回転量推定組合せモジュール
５０  口領域回転量修正モジュール
５２  口ＲＯＩ選択モジュール
５４  スケール修正モジュール
５６  メモリ
５８  平行移動修正モジュール
【図１】
2006277022.tif 000004
【図２】
2006277022.tif 000005
【図３】
2006277022.tif 000006
【図４】
2006277022.tif 000007
【図５】
2006277022.tif 000008
【図６】
2006277022.tif 000009
【図７】
2006277022.tif 000010
【外国語明細書】
2006277022000001.pdf
2006277022000002.pdf
2006277022000003.pdf
2006277022000004.pdf