(57)【要約】信号処理システムは隠れマルコフモデル（ＨＭＭ）を用いて信号を処理する。このモデルの状態数は、少なくとも部分的には反復アルゴリズムがこのモデルに適用されることに基づいて確定される。ここでの反復アルゴリズムは、このモデルが特定の実行基準を満たすまで、少なくとも部分的には状態間で演算された近似観測に基づいて、このモデルの状態数を調整する。次に調整された状態数を有するこのモデルは、信号の特徴を確定するために使用され、そして信号処理システムの動作はこの確定された特徴に基づいて制御される。
2004513439.tif 000002
【特許請求の範囲】
【請求項１】
信号処理システムにおいて信号を処理するために用いられる方法であって：
隠れマルコフモデルを用いて信号を処理するステップにおいて、前記の隠れマルコフモデルは、少なくとも部分的には反復アルゴリズムが適用されることによって確定された状態数を有し、前記の反復アルゴリズムは、前記のモデルが特定の実行基準を満たすまで、少なくとも部分的には前記の状態間で演算された近似観測に基づいて、前記モデルの状態数を調整し、前記の状態数が確定されたモデルは、前記の信号の特徴を確定するために利用されるようなステップ；及び、
前記の確定された信号の特徴に基づいて前記の信号処理システムの動作を制御するステップ；
から構成される方法。
【請求項２】
請求項１に記載の方法において：
前記の信号は、画像シーケンスから構成され、かつ前記の確定された特徴は、前記の画像シーケンスにおける特定の顔の表情の強度から構成されるような方法。
【請求項３】
請求項１に記載の方法において：
前記の反復アルゴリズムは、前記モデルの初期状態数に適用されるような方法。
【請求項４】
請求項３に記載の方法において：
前記の初期状態数は、前記モデルのデフォルト状態数から構成されるような方法。
【請求項５】
請求項１に記載の方法において：
前記の反復アルゴリズムは、前記の状態の間における平均分離が所定の範囲内に入るまで前記の状態数を反復的に増加あるいは減少させるような方法。
【請求項６】
請求項１に記載の方法において：
前記の近似観測は、１対の点を通過する線に沿って演算される相互エントロピーから構成され、前記の各点は、前記モデルの状態に一番対応すると思われる特徴空間における点を表すような方法。
【請求項７】
請求項１に記載の方法において：
前記モデルが有する１対の状態についての前記の近似観測は、Ｐ１（ｘ）及びＰ２（ｘ）が前記の２つの状態の確率関数であり、ｘ０１，ｘ０２が前記の各状態に最も対応すると思われる点であり、
【数１】
2004513439.tif 000012
ｖ０＝ｘ０１，ｖ１＝ｘ０２−ｘ０１であるところにおいて、
【数２】
2004513439.tif 000013
として演算されるような方法。
【請求項８】
請求項１に記載の方法において：
前記モデルが有する１対の状態についての前記の近似観測は、Ｐ１（ｘ）及びＰ２（ｘ）が前記の２つの状態の確率関数であり、ｘ０１，ｘ０２が前記の各状態に最も対応すると思われる点であり、
【数３】
2004513439.tif 000014
ｖ０＝ｘ０１，ｖ１＝ｘ０２−ｘ０１であるところにおいて、
【数４】
2004513439.tif 000015
として演算されるような方法。
【請求項９】
請求項１に記載の方法において：
前記の反復アルゴリズムは、複数のアルゴリズムのなかから選択された１つのアルゴリズムから構成され、前記の１つの特定のアルゴリズムの選択は、少なくとも部分的には前記モデルの予想される状態数に基づいて行われるような方法。
【請求項１０】
請求項１に記載の方法において：
前記モデルの予想される状態数が特定された数を上回る場合、前記モデルの状態数を調整するために第１反復アルゴリズムが使用され、前記モデルの予想される状態数が前記の特定された数以下である場合、前記モデルの状態数を調整するために第２反復アルゴリズムが使用されるような方法。
【請求項１１】
請求項１０に記載の方法において：
前記の特定された状態数はおよそ１０であるところの方法。
【請求項１２】
請求項１０に記載の方法において：
前記の第１反復アルゴリズムは、ローカル近似テストを実施し、各反復操作において前記モデルには、複数の状態が追加あるいは削除されることが可能であるような方法。
【請求項１３】
請求項１０に記載の方法において：
前記の第１反復アルゴリズムは、グローバル近似テストを実施し、各反復操作において前記モデルには、状態が１つだけ追加あるいは削除されることが可能であるような方法。
【請求項１４】
請求項１に記載の方法において：
前記の制御ステップは、前記の確定された信号の特徴に基づいて前記の信号処理システムの出力を生成する工程から構成されるような方法。
【請求項１５】
請求項１に記載の方法において：
前記の制御ステップは、前記の確定された信号の特徴に基づいて前記の信号処理システムの操作パラメータを変更する工程から構成されるような方法。
【請求項１６】
信号処理システムにおいて信号を処理するために用いられる装置であって：
プロセッサベースの装置であり、（ｉ）隠れマルコフモデルを用いて信号を処理するところにおいて、前記の隠れマルコフモデルは、少なくとも部分的には反復アルゴリズムが適用されることによって確定された状態数を有し、前記の反復アルゴリズムは、前記モデルが特定の実行基準を満たすまで、少なくとも部分的には前記の状態間で演算された近似観測に基づいて、前記モデルの状態数を調整し、前記の状態数が確定されたモデルは、前記の信号の特徴を確定するために利用されるような操作；及び、（ｉｉ）前記の確定された信号の特徴に基づいて前記の信号処理システムの動作を制御するような操作が可能なプロセッサベースの装置；
から構成される装置。
【請求項１７】
信号処理システムにおいて信号を処理するために用いられる１つあるいは複数のプログラムが記憶される記憶媒体から構成される製造品において：前記の１つあるいは複数のプログラムは、プロセッサによって実行される際、
隠れマルコフモデルを用いて信号を処理するステップにおいて、前記の隠れマルコフモデルは、少なくとも部分的には反復アルゴリズムが適用されることによって確定された状態数を有し、前記の反復アルゴリズムは、前記のモデルが特定の実行基準を満たすまで、少なくとも部分的には前記の状態間で演算された近似観測に基づいて、前記モデルの状態数を調整し、前記の状態数が確定されたモデルは、前記の信号の特徴を確定するために利用され、さらに前記の信号処理システムの動作は、前記の確定された信号の特徴に基づいて制御されるようなステップを実施するプログラムであることを特徴とする製造品。
【発明の詳細な説明】
【０００１】
（発明の属する技術分野）
本発明は一般に信号処理システムの分野に関し、より詳細には隠れマルコフモデル（ＨＭＭ）を用いる画像信号処理方法及びその他の信号処理方法及び装置に関する。
【０００２】
（発明の背景）
ＨＭＭはさまざまな周知の信号処理技法において用いられている。例えば、ＨＭＭは顔の表情を認知するための画像シーケンスの分析に用いられる。顔の表情とは複雑な時空間運動パターンからなっている。ある表情に対応する動きは一般に（ｉ）オンセット、（ｉｉ）アペックス、及び（ｉｉｉ）オフセットの３つの段階に分けられる。これらの段階はそれぞれ、表情に向かっていく遷移と、表情のピークを維持している段階と、前記の表情から元に戻るまでの遷移とに対応する。オンセット段階における変化レート及びアペックス段階の持続時間は、多くの場合表情の基となる感情の強度と関係する。
【０００３】
ＨＭＭはまさにこのような顔の表情パターンの時空間的特徴を利用するように設計された。ＨＭＭを用いて顔の表情を認知する技法の例は以下の文献において記載される。
Ｔ． Ｏｔｓｕｋａ ｅｔ ａｌ．， “Ｒｅｃｏｇｎｉｚｉｎｇ Ａｂｒｕｐｔｌｙ Ｃｈａｎｇｉｎｇ Ｆａｃｉａｌ Ｅｘｐｒｅｓｓｉｏｎｓ Ｆｒｏｍ Ｔｉｍｅ−Ｓｅｑｕｅｎｔｉａｌ Ｆａｃｅ Ｉｍａｇｅｓ，” Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ ａｎｄ Ｐａｔｔｅｒｎ Ｒｅｃｏｇｎｉｔｉｏｎ （ＣＶＰＲ）， １９９８；
Ｔ． Ｏｔｓｕｋａ ｅｔ ａｌ．， “Ｒｅｃｏｇｎｉｚｉｎｇ Ｍｕｌｔｉｐｌｅ Ｐｅｒｓｏｎｓ’ Ｆａｃｉａｌ Ｅｘｐｒｅｓｓｉｏｎ Ｕｓｉｎｇ ＨＭＭ Ｂａｓｅｄ ｏｎ Ａｕｔｏｍａｔｉｃ Ｅｘｔｒａｃｔｉｏｎ ｏｆ Ｓｉｇｎｉｆｉｃａｎｔ Ｆｒａｍｅｓ ｆｒｏｍ Ｉｍａｇｅ Ｓｅｑｕｅｎｃｅｓ，” Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｉｍａｇｅ Ｐｒｏｃｅｓｓｉｎｇ （ＩＣＩＰ）， ｐｐ． ５４６−５４９， １９９７．
上記に記載される顔の表情の認知及びその他の信号処理の応用において使用されるＨＭＭは、逐次（ｓｅｑｕｅｎｔｉａｌ）ＨＭＭであってよい。逐次ＨＭＭは、左右（ｌｅｆｔ−ｔｏ−ｒｉｇｈｔ）ＨＭＭとも呼ばれ、典型的にはパターン認知や分析などのために逐次データをモデル化するために用いられる。逐次データは一般に多次元空間において線形軌道を表す。表情認知のためにある顔が一定期間観測される際に、逐次データは、例えば表情の抽象多次元空間における一組の顔の特徴点が通る軌道を表すことができる。
【０００４】
信号処理の応用における逐次ＨＭＭ及びその他の類型のＨＭＭの一般的な用途において生じる重大な問題は、ＨＭＭのための適切な状態数の確定に関連する。一般的には、ＨＭＭを実際にデータ処理のために使用する前にＨＭＭの状態数を特定する必要がある。しかし従来技術における状態数を確定する技法には、あるトレーニングデータの集合に最も適するモデルを提供することが通常できないという欠陥がある。
【０００５】
（課題を解決するための手段）
本発明は反復アルゴリズムを用いて隠れマルコフモデル（ＨＭＭ）の適切な状態数を確定する方法及び装置を提供する。ここにおける反復アルゴリズムは状態間の近似観測に基づいて状態数を調整する。この結果得られたＨＭＭは信号処理システムにおいてデータを処理するために利用され、この処理操作の結果に基づいてシステムの動作は実施される。
【０００６】
本発明の一様相における信号処理システムは、少なくとも部分的には反復アルゴリズムが適用された結果に基づいて確定された状態数を有するＨＭＭを用いて信号を処理する。ここで反復アルゴリズムは少なくとも部分的には状態間で演算された近似観測に基づいて初期あるいはデフォルト状態数から始まってこのＨＭＭが特定の実行基準を満たすまでＨＭＭの状態数を調整する。例えばこの反復アルゴリズムは状態間の平均分離が所定の範囲内に入るまで反復的に状態数を増加あるいは減少させることができる。続いて状態数が調整されたＨＭＭは、信号の特徴を確定するために使用され、信号処理システムの動作は前記の確定された特徴に基づいて制御される。
【０００７】
本発明の一実施形態において、調整された状態数を有するＨＭＭを用いて処理される信号は、画像シーケンスであり、ここにおいてＨＭＭは前記の画像シーケンスにあると思われる特定の表情の強度を確定するために用いられる。
【０００８】
本発明のまた別の実施形態において、状態間の近似観測は、ある１対の点を通過する線に沿って演算される相互エントロピーという形をとり、前記の各点は、ＨＭＭの状態に最も対応すると思われる特徴空間内の点を表す。
【０００９】
本発明の更なる実施形態においては、想定されるＨＭＭの状態数が特定の数を上回る場合にはＨＭＭの状態数を調整するために第１反復アルゴリズムが用いられ、想定されるＨＭＭの状態数が特定の数と同等であるかあるいはこれを下回る場合にはＨＭＭの状態数を調整するために第２反復アルゴリズムが用いられる。ここで特定された状態数はおよそ１０であり得る。第１アルゴリズムはローカル近似テストを実行し、各反復操作においてＨＭＭから複数の状態を追加あるいは削除することを可能にするように設定されることができる。第２アルゴリズムはグローバル近似テストを実行し、各反復操作において１つだけ状態を追加あるいは削除することを可能にするように設定されることができる。
【００１０】
本発明の利点としては、ＨＭＭに適切な状態数がトレーニングデータの集合に基づいて確定されることが可能であることであり、この結果得られたモデルはあらかじめ固定された状態数を指定されるモデルよりもはるに正確に機能する。本発明の技法は、ビデオ・コンファレンシング・システム及びビデオ監視／モニタリング・システム、発話認知システム、及びヒューマン・マシン・インタフェースなどのビデオカメラベースのシステムなどを含むさまざまな信号処理アプリケーションに利用されることが可能である。
【００１１】
（発明の実施形態）
以下に説明される本発明における一実施形態は、あるトレーニングデータの集合に適合するのにＨＭＭが余計な状態を有するかあるいは状態の追加を要するかを評価する反復アルゴリズムを用いて逐次ＨＭＭあるいはその他の類型のＨＭＭに適切な状態数を確定する技法を提供する。状態数の確定されたＨＭＭは、データを処理するための信号処理アプリケーションにおいて用いられることができ、これによってこのシステムにおける１つ以上の動作が少なくとも部分的にはこの処理の結果に基づいて制御される。例えば以下により詳細に説明されるように、本発明の実施形態に従って生成されたＨＭＭは、画像処理システムにおいて表情の強度を予測するために用いられることができる。
【００１２】
図１は２次元空間における線形軌道数としてプロットされた逐次トレーニングデータの集合の一例を示す。例えば前述のように表情認知のためにある顔が一定期間観測される際に、各逐次データ軌道は顔の表情の抽象多次元空間における一組の顔の特徴点が通る軌道を表すことができる。トレーニングデータは図中の点線に対応する。図中の円はデータをモデル化するのに使用されるＨＭＭの状態を表す。より詳細には前記の小さい円はデータをモデル化するための１つのＨＭＭを表し、大きいほうの円はデータをモデル化するためのまた別のＨＭＭを表す。このＨＭＭは両方ともトレーニングデータをモデル化するが、一方のほうが他方よりも多くの状態を有する。本発明は、あるトレーニングデータの集合を表すのに適切な状態数を確定する技法を提供する。
【００１３】
本発明の一実施形態では、ある特定の実行基準が満たされるまでＨＭＭの状態数を調整する反復アルゴリズムが使用される。より詳細にはこのアルゴリズムはデフォルト状態数から始まり、以下にさらに詳細に説明されるような近似観測を用いて状態間の平均分離を測定する。続いて平均分離が所定の範囲内に入るかあるいは別の特定実行基準を満たすまで状態数は反復的に追加あるいは削除される。
【００１４】
状態数の変更が要される場合において、新たなＨＭＭの状態集合のパラメータの初期値は以前のＨＭＭ状態集合のパラメータに基づいて演算される。パラメータの演算は周知である一般的なＥＭ（Ｅｘｐｅｃｔａｔｉｏｎ−Ｍａｘｉｍｉｚａｔｉｏｎ）アルゴリズムを用いて実施されることができる。本発明の実施形態に従ったこのアプローチの利点は、状態のパラメータの概算に必要なプロセスステップの数が縮小されることによって、反復アルゴリズムの演算コストの低下が実現されるという点にある。
【００１５】
上記の本発明の実施形態において使用される状態間の近似観測を以下においてより詳細に説明する。この実施形態において近似観測は、ある１対の状態に最も対応すると思われる１対の点を通る線に沿って演算される、クルバック・リーブラ分岐（Ｋｕｌｌｂａｃｋ−Ｌｅｉｂｌｅｒ Ｄｉｖｅｒｇｅｎｃｅ）としても知られる相互エントロピーの１類型を表す。あるいは別の実施形態においては例えばその他の分岐観測に基づいた近似観測など、異なる近似観測が用いられることが可能である。
【００１６】
図２は本発明の一実施形態における近似観測を示す一般的な例図である。この例図において、前記の観測は、状態２６と２８にそれぞれ最も対応すると思われる１対の点２２と２４とを結ぶ線２０の距離ｄとして示される。この図はさらに状態２６と２８とのそれぞれに対応するベクトルｒｋ及びｒｋ＋１を示す。
【００１７】
以下においては図２の近似観測ｄについてのさらに詳細な説明が提供される。Ｐ１（ｘ）とＰ２（Ｘ）は２つの状態の確率関数を表し、ｘ０１及びｘ０２は各状態に最も対応すると思われる点を表すとすると、すなわち
【００１８】
【数５】
2004513439.tif 000003
となる。確立関数Ｐ１（ｘ）及びＰ２（ｘ）を有する２つの状態の近似値は次の関係式によって求められることが可能である。
【００１９】
【数６】
2004513439.tif 000004
ここにおいてｖ０＝ｘ０１，ｖ１＝ｘ０２−ｘ０１であり、αは−∞から＋∞までの積分変数である。
【００２０】
ここでの近似観測は、本発明の実施例の１つとして提供されるのであって、当業者には自明であるように本発明の実施においては他にも多数の近似観測の類型が用いられることが可能である。本発明のまた別の実施例として、前記の近似観測の演算法の変形例が以下に示される。
【００２１】
【数７】
2004513439.tif 000005
図３は本発明の一実施形態に従ったＨＭＭの状態数を調整するプロセスを示すフローチャートである。ここでステップ３０においてＨＭＭの初期状態数が設定され、一般的な技法を用いて状態パラメータが初期化される。続いてＨＭＭのすべての状態パラメータを精緻化し及び／または概算するために上述のＥＭアルゴリズムがステップ３１において用いられる。ＥＭアルゴリズムは、参照によって本明細書中に挿入される以下の文献においてより詳細に説明される。
Ｂ． Ｊ． Ｆｒｅｙ， “Ｇｒａｐｈｉｃａｌ Ｍｏｄｅｌｓ ｆｏｒ Ｍａｃｈｉｎｅ Ｌｅａｒｎｉｎｇ ａｎｄ Ｄｉｇｉｔａｌ Ｃｏｍｍｕｎｉｃａｔｉｏｎ，” ＭＩＴ Ｐｒｅｓｓ， Ｃａｍｂｒｉｄｇｅ， ＭＡ， １９９８．
ステップ３２は、１つあるいは複数の状態が追加されるべきかあるいは削除されるべきかを確定するためにＨＭＭの状態を処理する工程である。ステップ３３においては、前記ステップ３２の処理の結果ＨＭＭの状態数が変更されたか否かを確定する工程である。状態数が変更されなかった場合このプロセスは終了する。このプロセスはさらに本フローチャートには示されない例えば反復操作を所定回数実行した後の終了、あるいはループ状態（繰り返し）が検出されたことによる終了など、他の条件によって終了されることもできる。ステップ３３において状態数が変更されたと確定された場合このプロセスはステップ３１に戻る。従って図３のプロセスは、ステップ３２における処理でＨＭＭに状態を追加あるいは削除する必要がないことが示されるまで、あるいは上記の他の終了条件が満たされるまでは続行される。
【００２２】
ここに説明される本発明の一実施形態においては、ＨＭＭの状態数を調整するのに２つの異なるアルゴリズムが使用され、ここで予想されるＨＭＭの状態数によって特定のアルゴリズムが選択される。前記のアルゴリズムはそれぞれ図３のフローチャートにおけるステップ３２に対応する。状態数を多数（例えば１０よりも多く）有すると予測されるＨＭＭについては、ローカル近似テストが実行され、ここでは各反復操作において複数の状態が追加あるいは削減されることが可能である。状態数が比較的少ない（例えば１０以下）と予想されるＨＭＭについては、グローバル近似テストが実行され、ここでは各反復操作において１つだけ状態が追加あるいは削減されることが可能である。この２つのアルゴリズムの詳細については、以下の図４と図５の説明において記載される。
【００２３】
図４は状態数を多数（例えば１０よりも多く）有すると予想されるＨＭＭに用いられる反復アルゴリズムのフローチャートを示す。前述のように図４のフローチャートで示される反復アルゴリズムは全般において図３のフローチャートにおけるステップ３２に対応する。
【００２４】
ステップ４０では状態インデックス変数ｋが２に設定されることによって状態のパラメータが初期化される。Ｎが状態数の特定された最高値を表すと仮定すると、続くステップ４１では、ｋがＮ−１以下であるかがチェックされる。
【００２５】
ステップ４１においてｋがＮ−１以下でない場合、ｋの値はステップ４２において１に設定される。続くステップ４３では再びｋがＮ−１以下であるかがチェックされる。ｋがＮ−１以下でない場合このプロセスは図３のフローチャートにおける点Ｂに戻り、すなわちステップ３２は完了されたとみなされる。ステップ４３においてｋがＮ＝１以下である場合ステップ４４では状態ｋあるいは状態ｋ＋１が削除されるようマークされているかがチェックされる。そうマークされていない場合、次のステップ４５でＨ（Ｐｋ，Ｐｋ＋１）が第１閾値Ｈよりも大きいかが判定される。
【００２６】
【数８】
2004513439.tif 000006
である場合、続くステップ４６ではある状態がマークされ、これが状態ｋとｋ＋１との間に挿入かつ初期化される。そしてこのプロセスはさらにステップ４７へと移行し、ここでｋの値は増大される。
【００２７】
ステップ４４において状態ｋあるいは状態ｋ＋１が削除されるようにマークされていると判定された場合、あるいはステップ４５における判定の結果がノーであった場合、このプロセスは直接ステップ４７へ移行し、状態が追加されるずにｋは増大される。ｋがステップ４７において増大された後、このプロセスはステップ４３へ戻る。ステップ４３において一旦ｋがＮ−１よりも大きいと判定された際には、このプロセスは図３のフローチャートにおける点Ｂに戻る。
【００２８】
ステップ４１においてｋがＮ−１以下であると判定された場合、次にステップ４８では、Ｈ（Ｐｋ−１，Ｐｋ）とＨ（Ｐｋ，Ｐｋ＋１）との合計が第２閾値Ｈ以下であるかが判断される。
【００２９】
【数９】
2004513439.tif 000007
である場合、ステップ４９に示されるように状態ｋは削除されるようマークされる。ｋの値は次のステップ５０において増大され、このプロセスはステップ４１に戻る。ステップ４８の判断の結果がノーであった場合、このプロセスはステップ４２に移行し、ｋは再び１に設定される。
【００３０】
図５は状態数が比較的少ない（例えば１０以下）と予想されるＨＭＭに用いられる反復アルゴリズムを示すフローチャートである。図４と同様にこのアルゴリズムは全般には図３のフローチャートにおけるステップ３２に対応する。ｎが現在のＨＭＭの状態数を表すとすると、ステップ５２では、１からｎ−１までのｋについてのＨ（Ｐｋ，Ｐｋ＋１）の値の合計が第３閾値Ｈよりも大きいかどうかが判定される。
【００３１】
【数１０】
2004513439.tif 000008
である場合、ステップ５３に示されるように新たな状態ｋ＊がこのモデルに導入される。ここにおいて、
【００３２】
【数１１】
2004513439.tif 000009
であり、このパラメータは一般的な技法によって初期化される。このプロセスは次に図３のフローチャートにおける点Ｂに戻る。ステップ５２の判定の結果がノーであった場合、次のステップ５４ではＨ（Ｐｋ，Ｐｋ＋１）の値の合計が第４閾値Ｈ以下であるかが判定される。
【００３３】
【数１２】
2004513439.tif 000010
である場合、ステップ５５に示されるように状態ｋ＊は削除される。ここにおいて、
【００３４】
【数１３】
2004513439.tif 000011
であり、この後プロセスは図３の点Ｂに戻る。
【００３５】
上述の反復アルゴリズムに用いられる第１、第２、第３、及び第４閾値は一般にアプリケーションによって変化する。これらの閾値は、少なくとも部分的には反復の回数と所望の実行レベルとの相互関係に基づいて確定されることができる。例えばこれらのうちの１つあるいはそれ以上の閾値は、まず人工的に生成されたデータを用いて試行錯誤によって得られ、それから特定のアプリケーションからのデータによって変更されることができる。もちろんある閾値の集合を用いて生成された特定のモデルの品質を最終的に示すのは、これがある信号処理システムにおいて実装される際の、その認知機能である。
【００３６】
本発明の一実施形態における第３及び第４閾値はそれぞれ第１及び第２閾値の関数であってもよい。例えば第３閾値は第１閾値にｎを掛けて演算されることができ、ここにおいてｎは、前述のように現在の反復操作におけるＨＭＭの状態数を表す。同様に第４閾値も第２閾値にｎ／２を掛けて演算されることができる。
【００３７】
第１及び第２閾値も相互の関数であることができる。例えば第２閾値は第１閾値と所定の因数との積でありうる。この場合においての因数は反復アルゴリズムにおける無限のループ（繰り返し）を回避するために用いられ、およそ０．８に設定されうる。
【００３８】
本発明の実施形態に従った信号処理システムの一例の操作を、以下において図６及び図７を参照しながら説明する。
【００３９】
図６は本発明の実施形態に従って状態数が確定されたＨＭＭを用いて顔の表情の概算技法を実行する画像処理システム１００を示す。システム１００は、プロセッサ１１２、メモリ１１４、出入力（Ｉ／Ｏ）装置１１５、及びコントローラ１１６を含む。これらの装置のすべては相互に通信を行うために１つ以上のシステムバスあるいはその他のインターコネクションの集合１１７によって接続される。
【００４０】
このシステム１００は、さらに図に示されるようにコントローラ１１６に結合するカメラ１１８を含む。カメラ１１８は例えば、機械的パン・ティルト・ズーム（ＰＴＺ／ｐａｎ−ｔｉｌｔ−ｚｏｏｍ）カメラ、広角電子ズームカメラ、あるいはその他のあらゆる適切な画像キャプチャ装置であってよい。したがって本明細書中に使用されるこの「カメラ」という用語はあらゆる画像キャプチャ装置及びこのような装置が複数組み合わさった構造を含む。
このシステム１００は、例えばビデオ・コンファレンシング、ビデオ監視、ヒューマン・マシン・インタフェースなどの多数の異なる画像信号アプリケーションに適用されることができる。より一般的にはこのシステム１００は本発明の技法に従って生成されるＨＭＭを利用することによって収益を得るあらゆるアプリケーションに適用されることが可能である。
【００４１】
システム１００はその操作においてある人物１２０のビデオ信号あるいはその他の画像シーケンスを生成する。カメラ１１８は人物１２０の頭部１２４がカメラ１１８の視野に入るように調整されることができる。カメラ１１８によって生成された画像シーケンスに対応し、人物１２０の顔を含むビデオ信号は、次に以下に詳しく説明されるように、ＨＭＭに基づく表情概算技法を用いてシステム１００において処理される。
【００４２】
画像シーケンスは、少なくとも部分的には図７に示されるような二方向性星型位相ＨＭＭを用いて確定された表情の強度あるいはその他の特徴の概算に基づいて、画像に映る人物１２０の顔の特定の表情を確定するために処理されることが可能である。次に確定された表情に基づいてシステムの出力は調整されることができる。例えばヒューマン・マシン・インタフェースあるいはその他のシステム・アプリケーションは、疑問符あるいは別の出力を生成するか、あるいは確定された表情に基づいてまた別の動作をとることもできる。その他のあらゆるシステム動作の制御は、少なくとも部分的には確定された表情及び／またはこの表情の強度などといった特定の特徴に基づいて実施される。
【００４３】
システム１００の素子あるいは素子の集合は、一般的なデスクトップあるいはポータブルコンピュータ及びこれらのコンピュータやその他の処理装置の部分あるいは組み合わせの素子に対応することができる。さらに本発明の別の実施形態においては、プロセッサ１１２、メモリ１１４、コントローラ１１６及び／またはその他の素子の部分的あるいはすべての機能が１つの装置にまとめられることも可能である。例えばシステム１００の１つあるいはそれ以上の素子はＡＳＩＣ（ａｐｐｌｉｃａｔｉｏｎ ｓｐｅｃｉｆｉｃ ｉｎｔｅｇｒａｔｅｄ ｃｉｒｃｕｉｔ）あるいはＡＳＩＣカードとしてコンピュータ、テレビ、セットトップボックス、あるいはその他の処理装置に編入されることができる。
【００４４】
以下において使用される「プロセッサ」という用語は、マイクロプロセッサ、中央制御装置（ＣＰＵ），マイクロコントローラ、デジタル信号処理プロセッサ（ＤＳＰ）、及びその他のあらゆるデータ処理素子であって、処理装置において利用されることが可能なものを含む。さらにここでメモリ１１４は、電子メモリ、光学あるいは磁気ディスクベースメモリ、テープベースメモリ、及びこれらのメモリやその他の記憶装置の１部あるいは組み合わせを含むことができることに言及しておくべきである。
【００４５】
本発明の実施形態にしたがって状態数が確定されたＨＭＭを用いてシステム１００において実施されることができる表情概算技法の更なる詳細は、発明者Ａ． Ｃｏｌｍｅｎａｒｅｚ 及び Ｓ． Ｇｕｔｔａの名のにおいて本特許出願と同時に申請された米国特許出願代理人申請番号７０１２５３の”Ｅｓｔｉｍａｔｉｏｎ ｏｆ Ｆａｃｉａｌ Ｅｘｐｒｅｓｓｉｏｎ Ｉｎｔｅｎｓｉｔｙ Ｕｓｉｎｇ ａ Ｂｉｄｉｒｅｃｔｉｏｎａｌ Ｓｔａｒ Ｔｏｐｏｌｏｇｙ Ｈｉｄｄｅｎ Ｍａｒｋｏｖ Ｍｏｄｅｌ，”に記載され、ここにおいて上記の内容は参照により本明細書中に挿入される。
【００４６】
図７は二方向性星型位相ＨＭＭの一例である二方向性星型位相ＨＭＭ１３０を示し、これは上記引用された米国特許出願において記載されるように、単一のニュートラル表情状態１３２を有する。ニュートラル表情状態１３２からは、６つの異なる経路があり、これらはそれぞれ特定の表情に対応し、それぞれ合計Ｎの状態数を有する。この例においてモデル化された表情は、嬉しい、悲しい、怒り、恐怖、嫌悪、及び驚き、である。簡素化のために、各表情は複数相互連結される状態経路をもってモデル化される。さらにここで表情のオンセットとオフセットとの段階にそれぞれ対応する行きと帰りの経路は同等であると仮定する。ニュートラルの表情は、単一の状態であるニュートラル表情状態１３２によってモデル化される。ニュートラル表情状態１３２は、各表情経路の第１状態に連結する。ある表情観測が、モデル化された表情の強度の中の最高レベルまで達する場合、この表情経路におけるすべての状態がまずは前進方向において順に達されていき、それから折り返し逆方向において順に進みニュ−トラル表情状態まで戻っていく。
【００４７】
トレーニングのためのデータが充分にあると仮定すると、図７における二方向性星型位相ＨＭＭは、すべての強度レベルにおける顔の表情の展開を捉えることができる。ここでたどられていく各々の状態は、対応する表情経路の最終状態に対応するアペックスあるいは表情の最強レベルへ向かっていく一歩一歩を表す。この後に続く表情分析において、この表情観測は必ずしも経路における最終状態に達する必要はない。したがって、本発明を利用して観測された顔の表情の強度は、表情経路において達した最高状態のレベルと、その状態にとどまっていた持続時間とによって測定されることができる。
【００４８】
図７のＨＭＭ１３０における２つの連続する状態の分離は、上記に記載される近似観測によって確定されることができる。
【００４９】
ＨＭＭ１３０における各経路にとって適切な状態数は、本発明の技法を用いて次のように確定される。まず各経路は、デフォルト状態数を仮定し、状態間の平均分離を測定することによってトレーンされる。続いて状態数は、図３のプロセス及び図４あるいは図５のいずれかの反復アルゴリズムを用いて反復的に増加あるいは削減され、平均分離が所定の範囲内に入るまでＨＭＭの経路は再三トレーンされる。
【００５０】
図７のＨＭＭの各経路は、それぞれ同数Ｎの状態を有するように表示されるが、これは例示に過ぎず、本発明の範囲を限定することにはならない。本発明の別の実施形態において、ＨＭＭのある表情経路に適切な状態数を確定するために上記に記載の手順が用いられ、ここで各経路がそれぞれ異なる状態数を有するようにすることができる。
【００５１】
ここで図７のＨＭＭ１３０は、本発明の技法にしたがって生成されるＨＭＭの類型の一例に過ぎないことが理解されるべきである。本発明はこの他にもさまざまなＨＭＭの類型について用られることが可能である。
【００５２】
上記に記載される本発明の実施形態は、例示的な説明に過ぎない。例えば本発明は、ビデオ・コンファレンシング・システム、ビデオ監視システム、その他のカメラベースシステム、及びこれ以外でＨＭＭを利用する信号処理システムなどの、数多くの画像処理システムに利用されることができる。さらに本発明は、少なくとも部分的には電子、磁気、あるいは光学記憶媒体に記憶され、例えばシステム１００におけるプロセッサ１１２のような処理装置によって実行される１つあるいは複数のソフトウェアプログラムという形をとって実施されることができる。本発明の範囲に含まれる上記の実施形態及びその他数多くの実施形態は、本明細書中の特許請求の範囲において当業者に明らかにされる。
【図面の簡単な説明】
【図１】
異なる状態数を有する隠れマルコフモデル（ＨＭＭ）が同一組のトレーニングデータに適合される方法を示す図である。
【図２】
本発明の実施形態に従ってＨＭＭに適切な状態数を確定するために反復アルゴリズムにおいて用いられる状態間の近似観測を示す図である。
【図３】
本発明の実施形態に従ってＨＭＭの状態数を調整するプロセスの一例を示すフローチャートである。
【図４】
多数の状態を含むアプリケーションにおけるローカル近似テストに基づく図３のプロセスで用いられる反復アルゴリズムのフローチャートを示す。
【図５】
多数の状態を含むアプリケーションにおけるグローバル近似テストに基づく図３のプロセスで用いられる反復アルゴリズムのフローチャートを示す。
【図６】
本発明が実装されることが可能な画像処理システムのブロック図である。
【図７】
本発明の技法を用いて状態数が確定されることができる二方向性星型位相ＨＭＭの一例を示す。
【図３】
2004513439.tif 000016
【図４】
2004513439.tif 000017
【図５】
2004513439.tif 000018
【図６】
2004513439.tif 000019
【図７】
2004513439.tif 000020
【国際公開パンフレット】
2004513439.tif 000021
2004513439.tif 000022
2004513439.tif 000023
2004513439.tif 000024
2004513439.tif 000025
2004513439.tif 000026
2004513439.tif 000027
2004513439.tif 000028
2004513439.tif 000029
2004513439.tif 000030
2004513439.tif 000031
2004513439.tif 000032
2004513439.tif 000033
2004513439.tif 000034
2004513439.tif 000035
2004513439.tif 000036
2004513439.tif 000037
2004513439.tif 000038
2004513439.tif 000039
2004513439.tif 000040
2004513439.tif 000041
2004513439.tif 000042
【国際公開パンフレット（コレクトバージョン）】
2004513439.tif 000043
【国際調査報告】
2004513439.tif 000044
2004513439.tif 000045
2004513439.tif 000046