(57)【要約】【課題】スポッティング認識技術を、音声情報ではなく画像情報に適用して、これまで読唇技術で対象とされていなかった文章の発話シーンを対象とし、文章の中からキーワードを認識するワードスポッティング読唇を行う。【解決手段】撮像手段１は、少なくとも口唇領域を含む顔画像を取得する。領域抽出手段２は取得顔画像から口唇領域を抽出する。特徴量計測手段３は抽出された口唇領域より形状特徴量を計測する。キーワードDB４には、計測されたキーワード発話シーンの特徴量を登録する。判断手段５は計測された特徴量と登録されているキーワードDBの特徴量を比較し、口唇の発話内容を判断する。結果表示手段６は、利用者に表示する表示装置である。【選択図】        図１
2012059017.tif 000002
【特許請求の範囲】
【請求項１】
少なくとも口唇領域を含む顔画像を取得する撮像手段と、
取得画像から口唇領域を抽出する領域抽出手段と、
抽出された口唇領域より形状特徴量を計測する特徴量計測手段と、
登録モードにおいて計測されたキーワード発話シーンの特徴量を登録するキーワードDBと、
認識モードにおいて、前記登録されているキーワードの特徴量と、文章の発話シーンを対象として計測された特徴量とを比較することにより口唇の発話内容を認識する認識処理を行って、文章の中からキーワードを認識するワードスポッティング読唇を行う判断手段と、
前記判断手段が行った認識結果を表示する表示手段とを備えることから成るワードスポッティング読唇装置。
【請求項２】
前記キーワードの特徴量と計測された特徴量を比較することにより行う認識処理は、連続DPマッチングによるスポッティング認識により行う請求項１に記載のワードスポッティング読唇装置。
【請求項３】
前記連続DPマッチングによるスポッティング認識は、文章発話シーンの入力画像系列から得られる特徴量と、前記キーワード発話シーンを参照パターンとして得られた特徴量との距離を、発話区間について累積した累積距離を求めて、累積距離が最小になる１個の参照パターンを、認識結果として表示する請求項２に記載のワードスポッティング読唇装置。
【請求項４】
登録するキーワードを発話した少なくとも口唇領域を含む利用者の顔画像を取得し、
取得画像から口唇領域を抽出して、キーワード発話シーンの特徴量を計測し、
前記キーワードの特徴量をキーワードDBへ登録し、
認識すべき文章を発話した少なくとも口唇領域を含む利用者の顔画像を取得し、
取得画像から口唇領域を抽出して、文章発話シーンを対象として計測された特徴量を計測し、
前記登録されているキーワードの特徴量と、文章の発話シーンを対象として計測された特徴量とを比較することにより口唇の発話内容を認識する認識処理を行って、文章の中からキーワードを認識するワードスポッティング読唇を行ない、
前記認識結果を表示することから成るワードスポッティング読唇方法。
【請求項５】
前記キーワードの特徴量と計測された特徴量を比較することにより行う認識処理は、連続DPマッチングによるスポッティング認識により行う請求項４に記載のワードスポッティング読唇方法。
【請求項６】
前記連続DPマッチングによるスポッティング認識は、文章発話シーンの入力画像系列から得られた特徴量と、前記キーワード発話シーンを参照パターンとして得られた特徴量との距離を、発話区間について累積した累積距離を求めて、累積距離が最小になる１個の参照パターンを、認識結果として表示する請求項５に記載のワードスポッティング読唇方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、発話文章の中からキーワードを認識することによりワードスポッティング読唇を行うワードスポッティング読唇装置及び方法に関する。
【背景技術】
【０００２】
聴覚・言語障害者のコミュニケーション手段として用いられる読話（読唇）には訓練が必要である。コンピュータを用いた読話が可能であれば、訓練の必要はなくなる。しかし、コンピュータを用いた機械読唇は1980年代から取り組まれているにも関わらず、認識対象が単音や単語にとどまっており、実用化に至っていない。
【０００３】
キーボードやマウス、ボタンなどの手で操作する手段を必要としない音声認識技術は古くから取り組まれている分野であり、少しずつ普及しつつあるが、周囲の騒音に影響を受ける問題がある。これに対して、読唇を用いる場合、音声を発する必要がないため、電車や病院などの公共の場所などでの利用も期待できる。ただし、読唇を単独で用いるのでなく、音声認識と統合した手法なども提案されている。しかし、読唇技術は十分に発達しておらず、認識対象が単音や単語にとどまっており、実用化に至っていない。
【０００４】
特許文献1は、音声情報に基づく発話内容認識、いわゆる音声認識において、スポッティング認識を用いることを提案している。ただし、対象は音声情報であり、本発明が対象としている画像情報に基づく認識である読唇技術とは大きく異なる。
【０００５】
特許文献２では、読唇において単語を認識するアルゴリズムを提案している。認識対象は単語であり、本発明が対象としている文章とは大きく異なる。
【０００６】
特許文献３では、読唇技術を利用した携帯電話機用入力方法を提案している。読唇処理については特許文献２を引用しているにすぎない。認識対象は単語であり、本発明が対象としている文章とは大きく異なる。
【０００７】
特許文献４では、５母音の基本口形の口形認識に基づいて言葉を認識する技術を開示する。「言葉」を対象としているが、例として挙げているのは単語あるいは短文に過ぎない。現在フレームと前フレームとの差異に基づいて、口形期間検出を行っているので、発話中に一定の口形を形成してしまうと、口形期間検出の条件を満たしてしまう問題がある。
【０００８】
特許文献５では、身振り手振りとして７種類のジェスチャ動画像（いいえ、拍手、こっちこっち、じゃんけん、まる、ばいばい、頭をかく）を処理対象としている。連続DPマッチングを用いたスポッティング認識を利用しているが、本発明とは処理対象を異にしている。
【０００９】
図１１は、特許文献５に開示のジェスチャ認識処理の流れを示す図である。認識対象の動画像が取り込まれ、特徴抽出して入力パターンとして格納される（ステップＳ１）。次に、予め定めた５つの標準パターンの内の１つめの標準パターン、たとえば、右手のみをあげる標準パターンを選択する（ステップＳ２）。この標準パターンと入力の両手をあげる入力パターンの比較、より具体的には類似度を示す距離の計算が行われる（ステップＳ３→Ｓ４→Ｓ５→Ｓ３のループ処理）。距離計算が入力パターンの全フレームについて行われると、その距離計算結果がしきい値と比較される。距離計算結果が小さいほど標準パターンとの類似度が高い。
【００１０】
次に、手順をステップＳ６→Ｓ７→Ｓ２へと進め、標準パターンを次のタイプの標準パターンに切り換える。ここで、両手を上げる標準パターンが選択されたものとすると、ステップＳ３からＳ５のループ処理で距離計算を行う。このような距離計算を入力パターンの最後尾まで行う（ステップＳ３〜Ｓ５のループ処理）。最終列の各行の累積距離の値が入力パターンとある標準パターンの距離となる。この累積距離の値をしきい値と比較する（ステップＳ６）。標準パターンと違う動きをする入力パターンはしきい値よりも大きくなるので、標準パターンの種類が変更されて上述の距離計算が再び行われる。標準パターンと同じ動き、逆行する動きを持つ入力パターンはしきい値よりも小さくなる。
【００１１】
次に、選択された累積距離のマトリクス位置を接続した折れ線の傾斜から動作が前進、停止、後進のいずれであるかを解析する（Ｓ９）。その解析結果はジェスチャの認識結果、すなわち、累積距離がしきい値よりも小さい標準パターンの識別名とともにＣＲＴ４に表示される（Ｓ１０）。
【００１２】
特許文献５は、上記した累積距離の計算のために、連続DPマッチングを用いたスポッティング認識を用いるが、その処理対象は、ジェスチャ動画像である。
【００１３】
非特許文献１は、本発明者らが先に提案したものであり、複数の口唇領域を用いた単語認識技術を開示している。本発明のアルゴリズムで用いている形状特徴量は、非特許文献１に基づいているが、その認識対象は単語である。 
【００１４】
非特許文献２は、本発明者らが先に提案したものであり、トラジェクトリ特徴量を利用した単語読唇技術を開示している。本発明のアルゴリズムで用いている顔抽出から口唇領域の正規化処理までは、非特許文献２に基づいているが、その認識対象は単語である。 
【先行技術文献】
【特許文献】
【００１５】
【特許文献１】特開2009-139862号公報
【特許文献２】特開平11-149296号公報
【特許文献３】特開2002-252682号公報
【特許文献４】特開2008-310382号公報
【特許文献５】特開平9-330400号公報
【非特許文献】
【００１６】
【非特許文献１】齊藤 剛史、久木 貢、森下 和敏、小西 亮介、「複数の口唇領域を用いた単語認識」、第11回 画像の認識・理解シンポジウム（MIRU2008）、pp.434-439、2008年7月
【非特許文献２】齊藤 剛史、石倉 寛之、山下 晃平、小西 亮介、「トラジェクトリ特徴量を利用した単語読唇に関する基礎検討」、電子情報通信学会信学技報、vol.109、no.470、pp.259-264、2010年3月
【発明の概要】
【発明が解決しようとする課題】
【００１７】
前述の通り、音声情報に基づくスポッティング認識および単語を対象とした読唇に関して様々な技術が公知である。このように、従来の読唇に関する研究は単音認識あるいは単語認識であり、文章を対象とした認識は無い。また、音声やジェスチャを入力とするスポッティング認識技術は知られているが、読唇における文章発話シーンを対象としたスポッティング認識に関する文献はこれまで報告されていない。
【００１８】
そこで、本発明は、スポッティング認識技術を、音声情報ではなく画像情報に適用して、これまで読唇技術で対象とされていなかった文章の発話シーンを対象とし、文章の中からキーワードを認識するワードスポッティング読唇を行うことを目的としている。
【課題を解決するための手段】
【００１９】
本発明のワードスポッティング読唇装置は、少なくとも口唇領域を含む顔画像を取得する撮像手段と、取得画像から口唇領域を抽出する領域抽出手段と、抽出された口唇領域より形状特徴量を計測する特徴量計測手段と、登録モードにおいて計測されたキーワード発話シーンの特徴量を登録するキーワードDBと、認識モードにおいて、前記登録されているキーワードの特徴量と、文章の発話シーンを対象として計測された特徴量とを比較することにより口唇の発話内容を認識する認識処理を行って、文章の中からキーワードを認識するワードスポッティング読唇を行う判断手段と、前記判断手段が行った認識結果を表示する表示手段とを備える。
【００２０】
また、本発明のワードスポッティング読唇方法は、登録するキーワードを発話した少なくとも口唇領域を含む利用者の顔画像を取得し、取得画像から口唇領域を抽出して、キーワード発話シーンの特徴量を計測し、前記キーワードの特徴量をキーワードDBへ登録する。認識すべき文章を発話した少なくとも口唇領域を含む利用者の顔画像を取得し、取得画像から口唇領域を抽出して、文章発話シーンを対象として計測された特徴量を計測する。登録されているキーワードの特徴量と、文章の発話シーンを対象として計測された特徴量とを比較することにより口唇の発話内容を認識する認識処理を行って、文章の中からキーワードを認識するワードスポッティング読唇を行ない、この認識結果を表示する。
【００２１】
キーワードの特徴量と計測された特徴量を比較することにより行う認識処理は、連続DPマッチングによるスポッティング認識により行う。この連続DPマッチングによるスポッティング認識は、文章発話シーンの入力画像系列から得られた特徴量と、前記キーワード発話シーンを参照パターンとして得られた特徴量との距離を、発話区間について累積した累積距離を求めて、累積距離が最小になる１個の参照パターンを、認識結果として表示する。
【発明の効果】
【００２２】
本発明では、発話区間検出問題と認識問題を同時に対象とするスポッティング認識を用いたことにより、単音や単語にとどまっていた認識対象を、文章発話シーンに適用可能にして、実用性の高い読唇インタフェースを提供することができる。
【図面の簡単な説明】
【００２３】
【図１】本発明に基づき構成したワードスポッティング読唇装置の構成図である。
【図２】登録モードの処理の流れを示す図である。
【図３】認識モードの処理の流れを示す図である。
【図４】(a)は、構築した顔モデルを例示する図であり、(b)は、構築した口唇モデルを例示する図である。
【図５】AAMにより抽出された唇輪郭情報を元に定義した五つの口唇領域を例示する図である。
【図６】処理対象文章を発話して計測される13個の特徴量の時間的変化を示すグラフである。
【図７】三つのキーワードを発話した際に計測される13個の特徴量の時間的変化を示すグラフである。
【図８】連続DPマッチング出力値を示すグラフである。
【図９】認識対象キーワードを示す表である。
【図１０】実験の結果を示すグラフである。
【図１１】特許文献５に開示のジェスチャ認識処理の流れを示す図である。
【発明を実施するための形態】
【００２４】
以下、例示に基づき本発明を説明する。図１は、本発明に基づき構成したワードスポッティング読唇装置の構成図である。図1中の撮像手段１は、1台の撮像装置であり、これはカメラでよい。領域抽出手段２、特徴量計測手段３、及び判断手段５は、コンピュータによって構成可能の機能手段である。キーワードDB４は、コンピュータ記憶装置によって構成可能である。
【００２５】
撮像手段１は、少なくとも口唇領域を含む顔画像を取得する。領域抽出手段２は取得顔画像から口唇領域を抽出する。特徴量計測手段３は抽出された口唇領域より形状特徴量を計測する。キーワードDB４には、計測されたキーワード発話シーンの特徴量を登録する。判断手段５は計測された特徴量と登録されているキーワードDBの特徴量を比較し、口唇の発話内容を判断する。結果表示手段６は、利用者に表示する表示装置であり、ディスプレイ（スピーカなどでも可）でよい。
【００２６】
登録モードにおいて、利用者が登録すべきキーワードの発話シーンから、口唇形状変化を登録する。このため、撮像手段１により取得した顔画像から、領域抽出手段２により口唇領域を抽出する。特徴量計測手段３は、抽出された口唇領域より形状特徴量を計測して、この計測されたキーワード発話シーンの特徴量をキーワードDB４に登録する。
【００２７】
認識モードにおいては、利用者は認識すべき文章を発話する。登録モードと同様に、撮像手段１により取得した顔画像から、領域抽出手段２により口唇領域を抽出し、特徴量計測手段３は、抽出された口唇領域より形状特徴量を計測する。文章の発話シーンを対象として計測された特徴量は、判断手段５において、登録モードで登録されたキーワードDB４の特徴量と比較して、文章の中からキーワードを認識するワードスポッティング読唇を行う。結果表示手段６は、判断結果を表示する。
【００２８】
次に、図２及び図３を参照して、上述した登録モード及び認識モードについてさらに説明する。図２は、登録モードの処理の流れを示す図である。S1〜S5は、それぞれ処理ステップを表している。ステップS1で利用者は登録するキーワードを発話する。少なくとも口唇領域を含む利用者の顔画像は、ステップS2でカメラより画像として取得する。ステップS3で取得画像から口唇領域を抽出し、ステップS4でキーワード（参照パターン）の特徴量を計測する。ステップS5でキーワード（参照パターン）特徴量をキーワードDBへ登録する。
【００２９】
図３は認識モードの処理の流れを示す図である。まずステップS1で利用者は認識すべき文章を発話する。図２に示す登録モードと同様に、利用者の顔画像は、ステップS2でカメラより画像として取得され、ステップS3で取得画像から口唇領域を抽出し、ステップS4で文章発話シーンの入力画像系列から得られる特徴量を計測する。計測された特徴量はステップS5で、キーワード発話シーンを参照パターンとして得られた特徴量と比較する認識処理がなされる。ステップS6で認識結果を表示する。
【００３０】
計測された特徴量をキーワードDBの特徴量と比較する認識処理は、連続DP（Dynamic Programming）マッチングによるスポッティング認識により行う。スポッティングとは、終始点の定まっていない系列のある時点がもう一方の系列の終点に対応すると仮定し、それ以前の最適対応を求める方法であり、系列パターンとその発話区間の判定を同時に行える。区間の判定とは発話区間の開始時刻と終了時刻を求めることである。
【００３１】
文章発話シーンの入力画像系列から得られた特徴量と、キーワード発話シーンを参照パターンとして得られた特徴量との距離を、発話区間について、累積した累積距離を求める。この値を正規化したものA(t)が、時刻tにおける参照パターンに対する連続DPマッチングの出力である。複数個の参照パターンを想定すると、それぞれ正規化したものA(t)を各時刻tにおいて得る。発話終了時付近において累積距離が最小になる１個の参照パターンが求められる。この参照パターンを、認識結果として表示する。
【実施例１】
【００３２】
（口唇領域の抽出）
図４(a)は、構築した顔モデルを例示する図であり、図４(b)は、構築した口唇モデルを例示する図である。撮像手段（カメラ）により取得した顔画像には、目や眉、首など口唇以外の部位が多く写っており、このような画像から直接口唇領域を抽出することは困難である。そこで、最初に顔領域を抽出し、抽出した顔領域より口唇領域を抽出するための注目領域ROIを設定する。最後にROI内において口唇領域を抽出する。顔抽出と口唇抽出にはCootesらが提案したActive Appearance Model（AAM）を適用する。AAM は，画像上で平均的な形状から様々に変形する物体（例えば顔）に関して，その形状と内部の明度分布を同時に低次元で表現することのできる統計モデルとして周知である。
【００３３】
顔領域を抽出するために、図４(a)に示す顔モデルを構築する。顔モデルの制御点は、左右の目輪郭に対してそれぞれ8点、左右の眉に対してそれぞれ5点、鼻輪郭に対して11点、合計37点を与える。ここで顔モデルに口唇輪郭と顔輪郭を含めないのは、発話時の口唇の動きにより抽出精度が低下することを防ぐためである。
【００３４】
次に、口唇領域を抽出するために、図４(b)に示す口唇モデルを構築する。抽出された顔領域より口唇領域を抽出するための注目領域ROIを設定する。例えば、注目領域ROIは一辺の長さが左右目尻間（図４(a)の制御点番号#0〜#8）とする正方形であり、鼻の一部を含む位置（図４(a)の四つの制御点#27、#28、#34、#35の重心座標）に上辺を設定する。注目領域ROIの位置とサイズは、発話時の口唇の動きに対応するように経験的に決めた値である。
【００３５】
図４(b)に示す口唇モデルの制御点は、例えば、外側唇輪郭に対して16点、内側唇輪郭に対して12点、左右の鼻孔にそれぞれ1点ずつ、合計30点を与える。鼻孔に制御点を与えるのは、唇輪郭のみのモデルを構築する場合、発話時の口唇の急激な変化に対応することができない問題が生じたためである。鼻孔は発話中に大きな変化がほとんどなく常に安定な抽出が行える。
【００３６】
図５は、AAMにより抽出された唇輪郭情報を元に定義した五つの口唇領域を例示する図である。まず外側唇輪郭内の領域をRE（図５(b)）、内側唇輪郭内の領域をRI（図５(c)）、REからRIを除いた領域の唇領域RL（図５(d)）と記す。また、RIにおいて口内領域RO（図５(e)）と歯領域RT（図５(f)）を定義する。これらはRE=RI∪RL、RI=RO∪RTの関係がある。歯領域はしきい値処理により抽出する。
【００３７】
発話時に発話者の頭部は動いてしまう。また画像に写る発話者の顔のサイズをすべて同じにすることは難しい。そこで、これらの動きやサイズにより特徴量が変化することを避けるため、サイズと傾きに対して正規化処理を施す。正規化処理は、標準的な鼻孔間距離（図４(b)の制御点#28、#29のユークリッド距離）を与え、各フレームにおける鼻孔間距離を求め、スケール比sn=dn/dn*を求める。また制御点#28と#29の角度θnを求める。snとθnを元にアフィン変換を適用することにより、正規化処理を実現する。撮影画像から顔領域を抽出して正規化処理するまでの上述した処理は、非特許文献２に開示の技術を用いて行うことができる。
【００３８】
（特徴量の計測）
次に、特徴量の計測について説明する。特徴量の計測については、非特許文献１に開示の技術を用いて行うことができる。図５に示すような五つの口唇領域より以下に列挙する13個の形状特徴量を定義する。
Fi={WE,HE,SE,AE,WI,HI,SI,AI,SL,SO,AO,ST,AT} 
・外側唇輪郭内領域REより横幅WE、縦幅HE、面積SE、アスペクト比AEの4特徴量、
・内側唇輪郭内領域RIより横幅WI、縦幅HI、面積SI、アスペクト比AIの4特徴量、
・唇領域RLより面積SL、
・口内領域ROより面積SO、アスペクト比AOの2特徴量、
・歯領域RTより面積ST、アスペクト比ATの2特徴量、
をそれぞれ定義する。各フレームで計測される特徴量を時系列データとして記憶する。 
【００３９】
図６は、後述する評価実験に用いる処理対象文章「新型インフルエンザのワクチン接種が１９日、県内の医療機関でも始まった。」を発話して計測される13個の特徴量の時間的変化を示すグラフである。横軸は時間と同じ概念であるフレームを表しており、図６では約400フレームの発話時間における特徴量の推移を示している。また図７は三つのキーワード「新型インフルエンザ」、「ワクチン接種」、「医療機関」を発話した際に計測される13個の特徴量の時間的変化を示している。図６と同様に横軸はフレームを表している。
【００４０】
（認識処理）
次に、連続DP（Dynamic Programming）マッチングによるスポッティング認識について説明する。連続DPマッチングを用いたスポッティング認識は、特許文献５に開示の技術に基づき行うことができる。スポッティングとは、終始点の定まっていない系列のある時点がもう一方の系列の終点に対応すると仮定し、それ以前の最適対応を求める方法であり、系列パターンとその区間の判定を同時に行える。区間の判定とは発話区間の開始時刻と終了時刻を求めることである。入力画像系列（文章発話シーン）から得られる特徴量をU={u(t)|1≦t<∞}、ある一つの参照パターンをZ={z(τ)|1≦τ≦T}と表記する。ここで例えば、上述した13個の形状特徴量の内、SI、AE、STの三つを用いるとu(t)とz(τ)はそれぞれu(t)={SI(t),AE(t),ST(t)},z(τ)={SI(τ),AE(τ),ST(τ)}と表記される。また両者の距離d(t,τ)=‖u(t)-z(τ)‖と定義する。
【００４１】
連続DPマッチングは、(t,τ)における累積距離S(t,τ)を以下のように定義する。初期条件をS(-1,τ)=S(0,τ)=∞,(1≦τ≦T)として、t≧1についての以下の漸化式、
【００４２】
【数１】
2012059017.tif 000003
【００４３】
で与える。時刻tに発話が終了、すなわちt=Tと仮定すると、S(t,T)は参照パターンの区間［1,T］について、入力時系列に最適に整合したときの累積距離を示す。この値を正規化したものA(t)=S(t,T)/3Tが時刻tにおける参照パターンに対する連続DPマッチングの出力である。 
【００４４】
I個の参照パターンを想定すると、各時刻tにおいてAm(t)=,m=1,2,…,Iを得る。入力シーンに対応するAm(t)が、発話終了時付近において最小になると期待される。故に、各時刻の発話を表すカテゴリを次式（数２）で定める。数２は、Am(t)が最小となるmを求めており、この時のｔは発話区間の終了時刻である。例えば、後述する図９に示す認識対象キーワード表を例にすれば、Label（W01〜W14）として表記したキーワードがそれぞれ、インデックス（番号）m=1,2,…,I（I=14）の参照パターンに相当する。例えば、「新型」（m=1）の参照パターンのA(t)が最も小さい場合、「新型」のインデックスである1がm*に代入されることになる。
【００４５】
発話区間の開始時刻は、求まった終了時刻ｔを（時間軸で）前方に辿る（バックトレースと呼ばれている）ことで求まる。累積距離S(t,τ)の漸化式は、上記した3式（数１）を評価して最小となる値を求める。この3式のうち、どの式を用いたのかを記憶しておくことにより、バックトレースを行なう。
【００４６】
【数２】
2012059017.tif 000004
【００４７】
argは引数を返す関数、hはしきい値、nullは空カテゴリを表す。
【００４８】
図８は、連続DPマッチング出力値を示すグラフである。図６の発話シーンをU、図７に示す三つのキーワードを参照パターンZlｍ,m=1,2,3とする。このとき連続DPマッチングを適用して得られた出力値を図８に示している。横軸は時間t（ここではフレーム）を表している。また、ここではしきい値をh=10とした。図８より、連続DPマッチングの出力値は、参照パターンのキーワードを発話する口唇の動きに類似した動きが、入力時系列に見つかる場合、入力時系列におけるキーワード終了時付近で最小になる傾向があることがわかる。図８では三つのキーワードにおいて最小となる位置を強調表示している。発話内容は「新型インフルエンザのワクチン接種が１９日、県内の医療機関でも始まった。」であり、「新型インフルエンザ」、「ワクチン接種」、「医療機関」が正しく認識されていることがわかる。 
【実施例２】
【００４９】
処理対象文として、2009年10月20日の朝日新聞の5記事28文を利用して、評価実験を行った。5記事28文中の１記事５文のみを、以下に例示する。
［記事1］朝日新聞：2010年10月20日（神戸）
(1)新型インフルエンザのワクチン接種が１９日、県内の医療機関でも始まった。
(2)インフルエンザ患者の診療に当たる医師や看護師らを優先し、まずは県内約４５００の医療機関の約４万人に接種する。
(3)１１月からは心臓や呼吸器などに重度の疾患がある人や妊婦への接種も始める。
(4)この日、尼崎市の県立塚口病院では医師や看護師１８人がワクチンの接種を受けた。
(5)同病院によると、数日かけて医師全員と外来や小児科病棟の看護師計約９０人に接種する。
【００５０】
図９は、認識対象キーワードを示す表である。5人の日本人学生（A〜E）を発話者とし、一人あたり29文に対して5回の発話シーンをビデオカメラで撮影した。画像解像度は640×480画素、フレームレートは30fpsである。図９に示すように、認識対象とするキーワードは全文の中から出現頻度の多い14キーワードを選んだ。表中の出現回数は29文において各キーワードが出現する回数を意味する。全発話シーンで出現する14キーワードの発話区間を目視で抽出し、参照パターンとして用いた。本実験では各文につき5回の発話シーンがある。そこである1回分の発話シーン、すなわち29文を処理対象文、残り4回分（4×29文）の発話シーンから得た14語を参照パターンとしてleave-one-out法によりスポッティング認識を適用した。ただし、図９に示すように単語によって出現回数が異なる。そこで参照パターンは各キーワードにつきランダムで選んだ4個とした。また評価基準として、連続DPマッチングを適用して正解発話区間に正しいキーワードが認識された割合である認識率R[%]として定義する。
【００５１】
上述した13個の特徴量のうち、認識に最適な特徴量の組み合わせを決定するための実験を行った。図１０は、実験の結果を示すグラフである。具体的には、認識に用いる特徴量の組み合わせを変化させ、認識精度の高かった組み合わせを以降の実験で採用する。すなわち、13個の特徴量のうちから一つずつ特徴量を選び、特徴量数を1として13通りの認識実験を行う。13通りの中で最も認識率の高い特徴量F1を選び出し、F1と残りの12個の特徴量を加えた特徴量数2において12通りの認識実験を行う。12通りの中で最も認識率の高い特徴量F2を選び出し、以下同様にして特徴量数を13まで増やして認識に有効な特徴量をヒューリスティックに推定する。図１０に示す横軸は特徴量数および各特徴量数で選ばれた特徴量、縦軸は認識率である。A〜Eの5人の各認識率とその平均を示している。この結果、特徴量数7において{SI,AE,ST,HI,WE,SO,SL}の組み合わせで最高平均認識率50.9%を得た。この条件で、A〜Eの認識率はそれぞれ43.3%、54.8%、54.0%、55.1%、47.1%であった。読唇におけるスポッティング認識の可能性が十分に確認された。
【産業上の利用可能性】
【００５２】
音声認識分野に関しては、高い認識精度があるにもかかわらず、騒音環境には不向きな問題から、一部の用途に限られて普及していた技術を読唇技術との統合を行うことにより、騒音環境に対する問題を克服でき、あらゆる場で用いられる可能性が高くなる。これにより、ヒューマンインタフェースとしての音声認識技術の応用分野が広がる。例えば、音声認識機能をもつカーナビゲーションシステムが市販されているが、車内音楽や窓の開放による騒音を気にせずに認識が可能となる。またインタフェースに適用することも可能であるため、コンピュータや電気製品などの操作手段がボタンなどから言葉にかわる可能性も秘めている。
【００５３】
聴覚障害者や発話障害者のコミュニケーション支援は、PDAなどによるキーまたはペン操作、接触センサが利用されていた。文章を対象とした読唇が実現できれば、例えばカメラ付き携帯電話へ搭載すれば、新しい機器を購入することなく読唇技術が利用可能となる。さらに読唇はユーザに発話を意識させることが可能である利点をもつ。高齢化社会を迎える我が国にとって、読唇技術は福祉支援として社会に大きなメリットを与える発明と期待できる。経済的、精神的に改善されたシステムの構築は利用者にとって重要である。以上のことより福祉情報工学分野、情報機器分野に大きな波及効果が期待できる。 
【符号の説明】
【００５４】
１  撮像手段
２  領域抽出手段
３  特徴量計測手段
４  キーワードDB
５  判断手段
６  結果表示手段
【図１】
2012059017.tif 000005
【図２】
2012059017.tif 000006
【図３】
2012059017.tif 000007
【図４】
2012059017.tif 000008
【図５】
2012059017.tif 000009
【図６】
2012059017.tif 000010
【図７】
2012059017.tif 000011
【図８】
2012059017.tif 000012
【図９】
2012059017.tif 000013
【図１０】
2012059017.tif 000014
【図１１】
2012059017.tif 000015