(57)【要約】      （修正有）【課題】ヒトの映像を用いることにより、周囲の雑音等に左右されることなく、発言者の発音および発言内容を推定する方法を提供する。【解決手段】ヒトの顔の映像を用いて、口唇の輪郭形状を所定の単位時間毎に計測し、その形状の特徴を、フーリエ記述子法により有限個のフーリエ記述子として定量化し、これらの値を記録した後、所定のフーリエ記述子のデータを用いて、その値の変化により該ヒトの発音の開始点および終了点を判定するとともに、これら開始点から終了点までの間における前記所定のフーリエ記述子を含む複数個のフーリエ記述子のデータを用いて、回帰計算により近似のｎ次多項式を算出し、これらのフーリエ記述子の個々について、ｎ＋１個の係数を取得してから、これら各係数と、母音および子音ごとにあらかじめ定めておいた各係数の標準値とを、線形判別関数を用いて比較することにより、前記ヒトが発言した文字を推定する。【選択図】図１
2008146268.tif 000002
【特許請求の範囲】
【請求項１】
ヒトの顔の映像を用いて、口唇の輪郭形状を所定の単位時間毎に計測し、その形状の特徴を、フーリエ記述子法により有限個のフーリエ記述子として定量化し、これらの値を記録した後、
所定のフーリエ記述子のデータを用いて、その値の変化により該ヒトの発音の開始点および終了点を判定するとともに、
これら開始点から終了点までの間における前記所定のフーリエ記述子を含む複数個のフーリエ記述子のデータを用いて、回帰計算により近似のｎ次多項式を算出し、これらのフーリエ記述子の個々について、ｎ＋１個の係数を取得してから、
これら各係数と、母音および子音ごとにあらかじめ定めておいた各係数の標準値とを、線形判別関数を用いて比較することにより、前記ヒトが発言した文字を推定することを特徴とする発音の推定方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、話している人の映像（動画）から発話内容の推定を行うデジタル「読唇技術」に関する。
【背景技術】
【０００２】
本発明者らは既に、ヒトの顔の画像における口および左右の眼の形状を、フーリエ記述子法を用いて定量的に表現し、これらを元に回帰計算を行うことにより、ヒトの心理状態を推定する方法を提案している（非特許文献１〜２および特願２００５−２５０９８３号を参照）。
【０００３】
この提案によれば、ヒトの顔の静止画像から、その口および左右の眼の形状を表情要素として、それぞれをフーリエ記述子を用いて定量化し、線形判別式を用いて、これらをあらかじめ設定されている複数の基本感情について判定得点を算出して正規化し、それぞれの形状における各基本感情に関する感情確信度を求めるとともに、これらの形状を、各基本感情ごとに定めておいた各表情要素ごとの重要度を加味した重回帰式に当てはめて計算することにより、ヒトの心理状態を推定することが可能になる。
【０００４】
なお、フーリエ記述子法とは、２次元平面上に描かれた閉曲線が、周長を周期とする周期関数で表されることを利用して、閉曲線の特徴量をフーリエ級数展開し、フーリエ係数あるいはその組み合わせによって、２次元閉曲線の特徴表現を行う方法である（非特許文献３を参照）。
【０００５】
例えば、図５に示すような２次元平面上の閉曲線を考えた場合、閉曲線上の一点Ａを始点とし、始点から時計回りに曲線上を長さｓだけ進んだ点の位置をＺ（ｓ）、Ｚ（ｓ）における方向ベクトルと水平軸とのなす角を偏角φ（ｓ）、閉曲線の周長をＬとすると、始点における偏角はφ（０）、終点における偏角φ（Ｌ）はφ（Ｌ）＝φ（０）−２πとなり、始点と終点において偏角に２πの差が生じ、不連続な関数となる。
【０００６】
また、閉曲線では、始点と終点が一致するため、
【数１】
2008146268.tif 000003
式（１）を用いて正規化することにより、図６に示すような、始点と終点の偏角が一致する周長Ｌの周期関数を得ることができる。
【０００７】
ここで、φ*（ｔ）をフーリエ級数展開すると、
【数２】
2008146268.tif 000004
式（２）となり、これによって得られる有限個のフーリエ記述子ａk，ｂk（ｋ＝１，２・・・）により、不規則な閉図形の形状特徴を記述することができる。
【０００８】
ここに、
【数３】
2008146268.tif 000005
である。なお、形状の全体的な構造はフーリエ記述子の低周波数成分に反映され、局所的な変動は高周波数成分に現れることになる。
【０００９】
一方、本発明者らは別途、ヒトの画像（静止画）から抽出した口の輪郭形状を、フーリエ記述子法を用いて定量化することによって、このような不規則な閉図形の形状特徴を分類できることを報告している（非特許文献４を参照）。
【００１０】
【非特許文献１】池田和外、有馬正和、細田龍介，フーリエ記述子による表情の特徴表現，「平成１５年度日本人間工学会関西支部大会講演論文集」，２００３年１１月，ｐ．３８−４１
【非特許文献２】池田和外、有馬正和、細田龍介，フーリエ記述子による表情の特徴表現（第２報），「平成１６年度日本人間工学会関西支部大会講演論文集」，２００４年１２月，ｐ．２１４−２１７
【非特許文献３】C.T. Zahn and R. Z. Roskies, Fourier descriptors for plane closed curves, IEEE Trans. on Computers, 1972, Vol.C-21，p.269-281
【非特許文献４】義平真昭、有馬正和，フーリエ記述子法による「読唇技術」開発の試み，「平成１７年度日本人間工学会関西支部大会講演論文集」，２００５年１２月，ｐ．１７５−１７６
【発明の開示】
【発明が解決しようとする課題】
【００１１】
ところで、近年、大学をはじめとする高等教育機関における障害学生支援に係る対応の遅れが指摘されており、特に、スロープや昇降機の設置というハード面の整備が求められる肢体不自由者に比べ、最も人的な支援（技能と人数）を必要とする聴覚障害学生への対応が重要な課題となってきている。そこで、その対策として、マイク等から入力されたヒトの発音を周波数分析する自動音声認識システムの導入などが進められてきている。
【００１２】
しかしながら、現在実用化されている音声認識システムの多くは、静かな場面（場所）での使用を想定しているため、背景雑音が存在する環境下では、その認識精度が著しく低下してしまうという問題がある。また、発言者の感情，体調や抑揚の変化によって、認識結果が異なってしまう場合もある。
【００１３】
本発明は、上記する課題に対処するためになされたものであり、ヒトの映像を用いることにより、周囲の雑音等に左右されることなく、発言者の発音および発言内容を推定する方法を提供することを目的としている。
【課題を解決するための手段】
【００１４】
前記の目的を達成するために、請求項１に記載の発明は、ヒトの顔の映像を用いて、口唇の輪郭形状を所定の単位時間毎に計測し、その形状の特徴を、フーリエ記述子法により有限個のフーリエ記述子として定量化し、これらの値を記録した後、所定のフーリエ記述子のデータを用いて、その値の変化により該ヒトの発音の開始点および終了点を判定するとともに、これら開始点から終了点までの間における前記所定のフーリエ記述子を含む複数個のフーリエ記述子のデータを用いて、回帰計算により近似のｎ次多項式を算出し、これらのフーリエ記述子の個々について、ｎ＋１個の係数を取得してから、これら各係数と、母音および子音ごとにあらかじめ定めておいた各係数の標準値とを、線形判別関数を用いて比較することにより、前記ヒトが発言した文字を推定することを特徴とする発音の推定方法である。
【００１５】
聴覚障害者からの聞き取り調査等から、彼らが発言者の口元（唇や舌）の動きに注目し、その形状の変化を捉えることによって、発音の推定を行っていることが知られている。そこで、本発明者らは、口の動きのトレースに、形状認識手法のひとつであるフーリエ記述子法を導入し、定量的に表現された唇の輪郭形状と発音との関連を詳細に調べた結果、イ）口唇の輪郭形状を定量化することで、クラスター分析による母音および子音の分類が可能なこと。
ロ）発音の中間付近（静止画像）の口唇の輪郭形状から、母音の判別分析（形状モデルの構築）が可能なこと。
ハ）映像（動画）から、口唇の動きに伴うフーリエ記述子の変化を記録することによって、子音の判別分析が可能なこと。
を見出した。
【００１６】
本発明は、以上のような知見に基づきなされたものであり、請求項１に記載の発明によれば、ヒトの顔の映像（動画）から単位時間毎に取得した口唇の輪郭形状の特徴を、フーリエ記述子法により定量化し、所定のフーリエ記述子の変化により、発音の開始点と終了点を判定するとともに、前記所定のフーリエ記述子を含む複数個のフーリエ記述子のｎ次近似式を計算し、得られたｎ＋１個の係数を、各発音ごとにあらかじめ定めておいた線形判別関数に代入してから、最も大きな値をとる関数を判別することによって、前記ヒトが発言した文字を推定することができる。
【００１７】
なお、本発明は、ヒトの口唇の輪郭形状の特徴を数量化するのに、フーリエ記述子法を用いる。フーリエ記述子は、他の形状に関する特徴である面積・周囲長・複雑度や、凹凸性、モーメントなどが、二つの異なる形状に対して必ずしも異なる値を持つとは限らないのに対し、閉曲線を対象としているため、異なる輪郭形状に対しては必ず異なる値をとるという特徴を有する。
【００１８】
また、フーリエ記述子は、曲線を特徴づける関数を被展開関数とするフーリエ変換によって、閉曲線を記述する方法であり、被展開関数の違いによりＺ型とＧ型，Ｐ型などが知られている。本発明においては、閉曲線を周波数における振幅成分と位相成分により表現することが可能で、しかも閉曲線（口の輪郭）を考えた場合に形状の変化を把握しやすい、Ｚ型フーリエ記述子を採用する。以下、Ｚ型フーリエ記述子を、単に「フーリエ記述子」と称する。
【発明の効果】
【００１９】
以上のように、本発明の発音の推定方法によれば、ヒトの映像における口唇の輪郭形状の変化を、フーリエ記述子法を用いて定量化することにより、周囲の雑音等に左右されることなく、発言者の発音および発言内容を推定することが可能になる。
【発明を実施するための最良の形態】
【００２０】
以下、図面を参照しつつこの発明を実施するための形態について説明する。
なお、本実施形態においては、ヒトの発音の推定・解析を、
Ａ）「母音の判別」による発音グループの特定
Ｂ）「子音の判別」によるグループ内での単音の特定
という２段階で行った。また、不要なデータを削除するとともに解析を容易にするため、本実施形態においては、「子音の判別」に先立ち、データの「正規化」を行っている。
【００２１】
まず、唇の輪郭形状の変化（映像：動画）を取得する方法について説明する。
実験は、暗室において、ディスプレイに２秒間隔で順次表示されるひらがな文字（ランダムに配置された日本語の五十音および拗音，濁音）を、メトロノームに合わせて発音してもらい、その時の被験者（２０名）の口元を、デジタルビデオカメラで撮影・録画する方法で行った。なお、発音は、被験者の唇の輪郭に沿って特殊な蓄光テープを貼り、光をあてて十分に蓄光させた状態で行った。蓄光テープを用いた実験の様子と取得した画像（静止画）の一例を図１に示す。
【００２２】
次に、録画された動画（ＡＶＩ形式）を、被験者ごとに、所定の単位時間毎（６０フレーム／秒）に静止画（ＪＰＥＧ形式）に変換し、２次元ビデオ動作解析ソフトウェア（株式会社ディケイエイチ社製，Ｆｒａｍｅ−ＤＩＡＳ２）で、計測点（各蓄光テープ）を自動追跡して、唇の輪郭部分の座標値を取得して記録した後、前述のフーリエ記述子法により、フーリエ記述子を算出した。
【００２３】
【数４】
2008146268.tif 000006
なお、フーリエ記述子ａk，ｂkは、ａ，ｂそれぞれｋ＝１，２，３，・・・，２０の各２０個について計算を行い、計４０個のデータを記録した。
【００２４】
「母音の判別」
母音の判別は、発音中最も変化が大きいと考えられる時点（フーリエ記述子ｂ2の値から判断）におけるすべてのフーリエ記述子（ａk，ｂk：ｋ＝１，２，・・・，２０）のデータセット（各音につき４０個）から、統計的解析手法のひとつである判別分析を用いて、判別のためのモデル（標準化モデル）を構築することにより行った。
【００２５】
また、判別分析は、実験で得られた２０名の被験者による日本語の五十音の単音（実際には４６音）のデータを、「あ」の段，「い」の段，「う」の段，「え」の段，「お」の段，「ん」にグループ分けを行い、各グループごとに線形判別関数を算出する方法で行った。なお、この時点で解析できないデータは削除した。その結果を表１に示す。
【００２６】
【表１】
2008146268.tif 000007
【００２７】
この表は、左端列の発音（母音）グループの音を、どのグループと判別したか、を示すものである。例えば、「あ」の段の発音（ｎ＝１９０）の場合は、そのほとんど（１７１）が「あ」の段と判別され、その正答率（認識率）は９０％（１７１／１９０）であった。また、「う」の段は、「お」の段などと誤認識される場合が多いものの、その他の母音は、高い判別率で判別が可能であるということがわかった。
【００２８】
ここで、以上の方法によって構築された母音および「ん」の判別モデルの例を表２に示す。
【００２９】
【表２】
2008146268.tif 000008
【００３０】
この表は、各母音グループごと（６つ）の線形判別関数のモデル（標準）係数を表すものであり、全く新しい発音のデータを判別する場合は、その音の４０個のフーリエ記述子を、前記６つの線形判別関数に代入し、最も大きな値を取る関数に該当する母音グループまたは「ん」であると識別されることとなる。
【００３１】
「子音の判別」
次に、前記母音グループ内における子音の判別方法について述べる。
子音の判別は、前記４０個のフーリエ記述子の中から、口唇の形状変化が顕著に表れると思われる複数個のフーリエ記述子（本例においては、ａ2，ａ3，ｂ2，ｂ3の４個）を選択し、これらを正規化してから、回帰計算により近似の６次多項式を算出し、これらのフーリエ記述子のそれぞれについて７個（合計２８個）の係数を用いて行った。また、その判別方法には、前述の母音の場合と同様、線形判別関数を利用した判別分析を用いた。
【００３２】
本実施形態では、前述の「母音の判別」過程で、「あ」の段グループに属すると判別された各発音（単音）を、「ア」および「あ」の段の各子音（カ，サ，タ，ナ，ハ，マ，ヤ，ラ，ワ）に分類する例を示す。
【００３３】
まず、データの正規化と多項式近似を行い、子音の判別に用いる係数を算出する。
図２は、ある被験者Ａの「ア」の発音時に録画された動画を、単位時間（６０フレーム／秒）毎に静止画に変換し、測定開始（０フレーム）から測定終了（１２０フレーム：２秒後）までの口唇の輪郭形状の変化を、フーリエ記述子ｂ2を用いて表したグラフ（生データ）である。
【００３４】
このグラフから、被験者Ａの「ア」の発音は、３５フレーム目（約０．５８秒後）から９８フレーム目（約１．６３秒後）の間に行われていると判断できるため、この部分のデータのみを切り出し正規化する。図３は、正規化したフーリエ記述子ｂ2の変化を示すグラフである。なお、図示は省略するが、この正規化は、判別に用いるフーリエ記述子ａ2，ａ3，ｂ2，ｂ3のすべてについて、同じ時間帯（３５フレームから９８フレームの間）のデータで行っている。
【００３５】
次に、切り出して正規化データを、最小二乗法で６次曲線近似する。なお、近似曲線は、表計算ソフトウェア等を用いて容易に求めることができる。図４は、正規化したデータ（点◆で表示）に近似曲線を加えたグラフである。
【００３６】
同様の計算を各フーリエ記述子ａ2，ａ3，ｂ2，ｂ3についてそれぞれ行い、６次近似式とその係数（各７個）を得た。ここで、各フーリエ記述子につき７個、合計２８個の係数を１つのデータセットとして、ある被験者Ａの「ア」の発音を表すことができる。
【００３７】
同様にして、被験者Ａの「あ」の段の他の音（カ，サ，タ，ナ，ハ，マ，ヤ，ラ，ワ）に関する係数（データセット）を算出するとともに、他の被験者でも同様の計算を行った。以下の表３は、得られたデータの一例である。なお、表中の「ｘk（ｎ）」は、フーリエ記述子ｘkの近似式のｎ次の項の係数を表す。例えば、「ｂ2（６）」はフーリエ記述子ｂ2の近似式の６次の項の係数を、「ｂ2（３）」はフーリエ記述子ｂ2の近似式の３次の項の係数である。
【００３８】
【表３】
2008146268.tif 000009
【００３９】
これらのデータを用いて、判別分析を行った結果を表４に示す。以下の表は、「あ」の段の音を、「ア」および「あ」の段の各子音（カ，サ，タ，ナ，ハ，マ，ヤ，ラ，ワ）に判別したものである。
【００４０】
【表４】
2008146268.tif 000010
【００４１】
また、以上の方法によって構築された子音の判別モデルの例を表５に示す。なお、例示した「あ」の段のグループだけではなく、他の「い」の段，「う」の段，「え」の段，「お」の段のグループも、同様の方法で子音判別モデルを構築することができる。
【００４２】
【表５】
2008146268.tif 000011
【００４３】
この表は、「ア」と「あ」の段の各子音（カ，サ，・・・，ラ，ワ）ごとの線形判別関数のモデル（標準）係数を表すものであり、新しい発音（子音）のデータを判別する場合は、ヒトの顔の映像（動画）から単位時間毎に取得した口唇の輪郭形状の特徴を、フーリエ記述子法により定量化し、正規化および６次多項式近似して、フーリエ記述子ａ2，ａ3，ｂ2，ｂ3のそれぞれについて７個の係数を算出するとともに、得られた計２８個の係数を、子音ごとにあらかじめ定めておいた線形判別関数に順次代入し、その計算値が最も大きくなる子音を判別することによって、ヒトが発言した文字を推定することができる。
【００４４】
従って、本実施形態における発音の推定方法は、ヒトの映像における口唇の輪郭形状の変化を、フーリエ記述子法を用いて定量化することにより、周囲の雑音等に左右されることなく、発言者の発音および発言内容を推定することができる。
【００４５】
なお、本実施形態においては、メトロノームに合わせて単音ずつ発音した実験例を示したため、連続音中における単音の開始点と終了点の判定は行わなかったが、単音が連続した音の場合は、特定のフーリエ記述子（本例においてはフーリエ記述子ｂ2）の変化を基に、発音開始点と発音終了点の同定を行えば良い。また、本実施形態においては、発音データの正規化を実行した例を示したが、正規化を行うかどうかは任意である。
【００４６】
また、本実施形態においては、ヒトの発音の推定を、「母音グループの特定」および「母音グループ内における子音の特定」という２段階に分けて行う例を示したが、本発明のヒトの発音の推定方法は、前記実施形態での例に限定されるものではない。例えば、子音を判別するための「フーリエ記述子の近似式のｎ次項の係数」のデータが豊富にある場合は、「母音グループの特定」を行わず、ヒトの顔の映像から得られた口唇の輪郭形状の特徴量（フーリエ記述子）から、直接子音を判別しても良い。
【００４７】
また、本実施形態においては、ヒトの映像から唇の輪郭形状の変化を取得する方法として、蓄光テープを用いた方法を例示したが、本発明における口唇の輪郭形状を抽出する方法は、この例に限定されるものではない。例えば、差分画像からオブジェクトの移動を抽出する方法など、動体を認識・追尾するアルゴリズムを搭載した汎用のシステムを利用しても良い。
【図面の簡単な説明】
【００４８】
【図１】ヒトの口唇の輪郭形状の変化（映像）を取得する方法を説明する図である。
【図２】ある被験者Ａの「ア」の発音時における口唇の輪郭形状の変化を、フーリエ記述子ｂ2を用いて表したグラフである。
【図３】図２におけるフーリエ記述子ｂ2の変化を正規化したグラフである。
【図４】正規化したフーリエ記述子ｂ2のデータ（点◆）に近似曲線を加えたグラフである。
【図５】フーリエ記述子法の概念を説明する図である。
【図６】フーリエ記述子法における周期関数を説明する図である。
【図２】
2008146268.tif 000012
【図３】
2008146268.tif 000013
【図４】
2008146268.tif 000014
【図５】
2008146268.tif 000015
【図６】
2008146268.tif 000016
【図１】
2008146268.tif 000017