(57)【特許請求の範囲】
【請求項１】
口唇または顎下部がなす被測定対象表面に、口径形状が真円の１または複数のスポット光を照射する手段と、
上記１または複数のスポット光によりそれぞれ上記被測定対象表面に生成された１または複数の光像を、上記スポット光の光軸と異なる方向から検出する手段と、
上記光像を楕円（楕円には円が含まれる）と仮定したときの、当該楕円の中心座標、長径の長さ、および短径の長さの時間変化を特徴パターンとし、または当該楕円の中心座標、長径の長さ、および楕円の傾きの時間変化を特徴パターンとし、または、当該楕円の中心座標、短径の長さ、および楕円の傾きの時間変化を特徴パターンとして人間の発話した音韻を認識する、光照射に基づく音韻認識手段とを有することを特徴とする音韻認識装置。
【請求項２】
音声信号に基づいて人間の発話した音韻を認識する音声信号に基づく音韻認識手段をさらに有し、
上記光照射に基く音韻認識手段と上記音声信号に基づく音韻認識手段とを組み合わせて総合的に音韻を認識する請求項１記載の音韻認識装置。
【請求項３】
口唇または顎下部がなす被測定対象表面に、口径形状が真円の１または複数のスポット光を照射し、
上記１または複数のスポット光によりそれぞれ上記被測定対象表面に生成された１または複数の光像を、上記スポット光の光軸と異なる方向から検出し、
上記光像を楕円（楕円には円が含まれる）と仮定したときの、当該楕円の中心座標、長径の長さ、および短径の長さの時間変化を特徴パターンとし、または当該楕円の中心座標、長径の長さ、および楕円の傾きの時間変化を特徴パターンとし、または、当該楕円の中心座標、短径の長さ、および楕円の傾きの時間変化を特徴パターンとして人間の発話した音韻を認識することを特徴とする音韻認識方法。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、人間の調音器官の動きを人体に対して非接触で測定することにより、人間が発声する音韻を認識する装置および方法に関するものである。特にデジタル画像から円の３つのパラメータまたは楕円の５つのパラメータを抽出する手法に特徴を持つものである。
【０００２】
【従来の技術】
人間はコンピュータを初めとする情報機器にデータを入力する時に、主にキーボードやマウスなどの入力装置を利用する。しかしこの場合、両手が塞がることになり、他の作業ができないという問題が生じる。一方最近、手を使わずに情報の入力が可能な装置として音声入力装置が注目されており、様々なアプリケーションが開発されてきている。音声入力の場合、両手が自由なので他の作業ができる利点があり、さらにキーボード入力などと比べて、高速に楽に情報を入力できる可能性を秘めている。音声入力には音声認識技術が必要不可欠であるが、従来提案されてきた音声信号のみによる音声認識手法では騒音・雑音環境下での使用は困難という問題があった。これを解決するために従来手法に加えて、人間の調音器官形態の動きを捕らえることにより、発話情報を認識し、入力手法として利用しようとする方式が考案された。人間の発声に直接関係のある調音器官は肺、喉頭、口腔、鼻腔、口唇から構成される。人間はこれらの調音器官の形状を複雑に変化させることにより、様々な音を発声する。本発明は逆に調音器官の動きがわかれば、発声された音を予測することができるのではないかという考えに基づいている。調音器官の中で口唇のみを画像解析することにより、発話を認識しようとする研究は数々行われてきた。例えば内村ら（信学論、Ｊ７１−Ｄ，１９８８）は口唇画像から、口内部領域の面積、横幅、縦幅の特徴量を用いることにより、母音の認識を行った。また特開昭６０−３７９３号公報では口唇上にマーカを取り付け、これらをカメラで撮影することにより、口唇の二次元的な動きを捕らえる口唇画像解析装置を提案した。しかしこれらの手法は口唇の二次元的動きのみを扱っており、人間が発話する時に変化する呼気流や、舌の形状に伴う調音器官表面の皮膚の微妙な変化を捕らえることができないという問題がある。そのため音素の分離対象を母音以外の子音にまで拡張すると対処できない。
【０００３】
これに対処するべく、カメラを複数台数使用し、両眼立体視手法を含む立体再生法により調音器官の三次元的な動きを観察する手法が考えられるが、複数台のカメラからの画像を統合するために多大な時間を要し、装置の大型化も避けることができない。
【０００４】
これらの問題点を解決するため、本発明においては、人体に対して非接触で調音器官の三次元的な動きを測定し、その情報から音韻認識を行う手法及び装置を提案する。本発明の手法では、被測定対象である調音器官にレーザダイオードなどの微弱光を照射し、その時に調音器官表面上に生じるスポット光の、発声に伴う形状変化から調音器官の動きを測定する手法を採用している。光源の口径形状が真円である場合、口径が十分に小さければ、ある特定方向から見たスポット光の形状を楕円近似することが可能である。この楕円の５つのパラメータを随時求めることができれば、スポット光照射部の調音器官の動きを知ることができ、発話認識への応用が期待できる。よって調音器官の動きを精度よく捕らえるためには、与えられた画像から楕円を構成する５つのパラメータを正確に抽出する技術が必要となる。
【０００５】
与えられた画素群に最も適合する直線を求める手法として最小２乗法がある。この場合、三元の連立一次方程式を解くことにより容易に未知の３つのパラメータを決定することができる。ところが、円や楕円の場合は容易ではない。円の場合、決定すべきパラメータは中心座標と半径の計３つであるが、これを最小２乗法で求める場合、非線形連立方程式となり、解を求めるためにＧａｕｓｓ−Ｎｅｗｔｏｎ法などの最適化計算を行う必要があり複雑となる。また円以外の楕円になると、決定すべきパラメータは中心座標、長径、短径、傾きの５つとなりさらに複雑となる。一方最小２乗法ではなくハフ変換によって最適なパラメータを抽出する手法もあるが、パラメータ数が増えるとそれに伴い計算時間が莫大に増加し、特に楕円のようなパラメータが５つもある場合は有効な手段とは成り難い。楕円の場合、円よりもさらに余計に２つ未知のパラメータを決定せねばならない。楕円を効率よくかつ素早く切り出すためにはパラメータ次元数の削減が必要となる。
【０００６】
楕円抽出技術はおおむね中心座標を算出し、その後に長径、短径、及び傾きを算出する手法をとる。例えばＴｓｕｊｉらはエッジ画像から単純な勾配オペレータによって各エッジにおける傾きを計算し、その傾きが等しいエッジ画素の中点が楕円の中心であるという性質を用いて楕円の中心を算出した（ＩＥＥＥ  Ｔｒａｎｓ．  Ｃｏｍｐ．，ｖｏｌ．２７，７７７−７８１，１９７８）。Ｔｓｕｊｉらの手法では最終的には２パラメータの最小２乗法に落ち着くが、非線形な形が残ったままである。またこの手法は画像にノイズが含まれていない場合威力を発揮するが、画像にノイズが存在し、一度中心座標の算出に失敗した場合には楕円の残りのパラメータを正しく抽出することができない。他の中心算出手法としては特開平８−２１０８１１号公報においては、走査線を一定方向に移動させ、走査線と画像との交点の中点を算出し、それらの交点の距離を投票値とすることにより、最大の投票値を得るものを楕円の中心とした。また特開平７−３１１８４７号公報では領域抽出枠を設けて、画像との接点の座標から中心座標を含めた楕円の５つのパラメータを求める手法を提案した。しかしこれらの手法でも楕円に切れ目があったり、ノイズがあったりした場合には正しく抽出するのが困難である。特開昭５９−１２３９８１号公報では切れ目が画像の縦軸もしくは横軸に平行になるように画像を回転させ、切れ目に平行に走査線を動かし、画像を切り取る長さが最大である走査線の中点を中心とする手法を提案した。しかし切れ目が複数存在する場合には適用できない。
【０００７】
【発明が解決しようとする課題】
本発明は人体に対して非接触な手法で、調音器官の動きに起因する特徴パターンを捕らえ、音韻認識することを課題としている。そのために円または楕円の図形的性質を用いることにより、画像にノイズが含まれていても、円または楕円のパラメータが算出可能な画像解析装置及びその手法を提案する。
【０００８】
【課題を解決するための手段】
本発明では形状変動情報を得るために、被測定対象にパターン光を照射する手法を利用する。光を反射する物体に対してパターン光を照射した場合、物体表面にスポット光が生じ、物体が変動するに伴い、特定方向から見たスポット光の形状が変化する。よってスポット光の形状を精度よく捕らえることにより、光が照射された箇所の変化を知ることができる。
【０００９】
すなわち、本発明によれば、上述の課題を解決するために、音韻認識装置に、人間の調音器官表面に光を照射する手段と、上記調音器官表面に生成された光像を検出する手段と、上記光像の形状変化に基づいて人間の発話した音韻を認識する手段とを設けるようにしている。
【００１０】
この構成においては、調音器官表面の光像の形状を正確に求めることにより、音韻の認識を正確に行なうことができる。
【００１１】
この構成においては、上記照射する光を、口径形状が真円である１または複数のスポット光ととすることが好ましい。この場合、口径が十分に小さければ、形状は楕円に変化する。そして、この楕円を正確に計測することにより、音韻を正確に認識できる。
【００１２】
具体的には、上記楕円の中心座標、長径の長さ、及び短径の長さの４つのパラメータの時間変化を特徴パターンとして音韻を認識することができる。また、上記楕円の中心座標、長径の長さ、及び楕円の傾きの４つのパラメータの時間変化を特徴パターンとして音韻を認識することもできる。さらに、上記楕円の中心座標、短径の長さ、及び楕円の傾きの４つのパラメータの時間変化を特徴パターンとして音韻を認識することもできる。
【００１３】
以上のように、調音器官表面の光像の変化に基づく情報とともに、通常の音声信号に基づく情報を合わせて利用してより正確な音韻認識を行なうようにしてもよい。
【００１４】
なお、本発明は、装置やシステムとして実現するのに止まらず、方法または手法として実現することも可能であり、さらに、ソフトウェアの態様で実現するようにしてもよい。
【００１５】
【発明の実施の態様】
以下、本発明を詳細に説明する。まず、本発明の構成を全体として説明する。
［全体構成］
図１は、本発明に関する音韻認識装置の全容を示すものであり、この図において、音韻認識装置は、光源部１０、レンズ系１０ａ、ＣＣＤ（Ｃｈａｒｇｅ  Ｃｏｕｐｌｅｄ  Ｄｅｖｉｃｅ）カメラ１１、ビデオボード１２（コンピュータ１３に実装される）、コンピュータ１３、マイク１４、ＴＶモニタ１５等を含んで構成されている。コンピュータ１３上では、データ処理部１７を構成するソフトウェア１６が実行されるようになっている。光源部１０からの光はレンズ系１０ａなどを介して被測定対象（調音器官表面）２０に照射される。被測定対象部２０は頭部固定棒２１により位置決めされる。
【００１６】
光源部１０はレンズ系１０ａなどを使用することにより、人体に影響を与えない程度の強度の光を、その口径形状が真円の広がりのないビーム状のものとする。被測定対象２０は人間の調音器官である。例えば口唇、喉頭、顎下部などが測定対象である。ＣＣＤカメラ１１、ビデオボード１２、コンピュータ１３は受光部を構成する。ＣＣＤカメラ１１は受光装置を構成し、これらをコンピュータ１３が制御する。ＣＣＤカメラ１１（受光装置）は、調音器官に光を照射することによって調音器官表面上に生じるスポット光を取り込み、データ処理部１７に転送する役目を持つ。
【００１７】
データ処理部１７は上述のとおりソフトウェアによって構成されており、図２で示すように、前処理ステップＳ１、仮中心算出ステップＳ２、長径・短径算出ステップＳ３、傾き算出ステップＳ４、評価ステップＳ５を実行するものである。図２において、処理が長径・短径算出ステップＳ３を初めて移された時、抽出対象が円の場合は、半径、中心のＸ座標、Ｚ座標の計３つのパラメータを算出することができる。一方抽出対象が楕円の場合は、長径、短径、中心のＸ座標、Ｚ座標の４つのパラメータが算出される。さらに楕円の場合は、後続の傾き算出ステップＳ４で傾きが算出され、それに続く評価ステップＳ５では、前段の仮中心算出ステップＳ２で決定した中心座標とは異なる中心座標が新たに決定される。これはノイズを含む画像から楕円を抽出する課題において、中心座標の精度が他のパラメータ算出に大きな影響を与えるからであり、一度中心座標を決定しても、理想的な座標とは大きく隔たる可能性があるからである。この結果を再び長径・短径算出ステップＳ３に返すことにより、新たに長径及び短径の長さが算出可能である。これらのパラメータ算出を評価ステップＳ５が満たす条件を満足できるまで繰り返し行うことにより、精度よくパラメータを算出することが可能である。
【００１８】
本発明はパターン光照射による音韻認識装置に関するものである。被測定対象に口唇の一部を選択した場合、口唇が開閉することにより、部分的にスポット光形状である楕円が一部切れてしまったり、光の揺らぎのためノイズが生じることがある。また顎下部を被測定対象にする場合、顎の上下の動きにより光路の一部が遮断され、スポット光形状が一部形が欠けた楕円となることがある。以下詳述する円及び楕円の特徴パラメータ算出方法によれば、エッジ画像がノイズを含んでいる場合でも、切れ目が生じている場合でも、その状態によって場合分けすることにより、中心座標を算出することができる。また楕円の図形的性質を用いることにより、二次方程式の形式で長径及び短径の長さを算出することができる。さらにここで算出された長径と短径の長さの比の値によってエッジ画像を円とそれ以外の楕円に振り分けることができる。
【００１９】
楕円と判定した場合、その傾きを求めると同時に、その図形的特徴から新たにエッジ画像の中心を算出することができる。この手法によれば、エッジ画像の状態によることなく楕円の傾きが算出可能であり、新たに中心座標を算出することができる。よって仮中心算出ステップＳ２において求めた中心座標の精度がたとえ悪くても、これらの操作を繰り返すことにより、より精度のよいパラメータを後に算出することができる。
【００２０】
本発明では、以上の楕円のパラメータの時間的な変化を特徴パターンとして用いて音韻認識を行なう。
【００２１】
なお、図１のマイク１４を用いて生成した音声信号をコンピュータ１３等で処理して通常の音韻認識用の情報を取得し、これと先の楕円のパラメータから得た情報を併せて用いて音韻認識を行なうようにしてもよい。
【００２２】
［原理的な説明］
つぎに、照射する光の口径形状を真円とした場合の音韻認識の原理的な説明を行なう。なお、以下では、照射する光の口径形状は真円のものを利用するが、他の形状パターン（三角形、四角形、線分など）を利用しても、いくつかの有効な特徴パラメータを求めることにより、同様に被測定対象の動きを検出することができる。
【００２３】
光源の口径が十分に小さい場合、照射面を平面近似することが可能である。照射する光の口径形状が真円である時、照射面を光の方向から見るとスポット光は真円となる。一方この照射面をある特定方向からＣＣＤカメラ１１（図１）などの受光装置により観察した場合、その形状は楕円となる。照射面が変化する時、受光装置により観察される楕円形状が変化する。
【００２４】
図３は、測定原理の簡易図を示す。図３では単純化のため光の進行方向をＺ軸の正の方向に、カメラの方向をＹ軸に平行な方向に、つまり光の進行方向とカメラの方向が直交するという前提で議論を進めるが、特に直交しなくてもそれらのなす角度が一定であれば問題ない。今光の照射面が座標軸の原点を通り、その正規化された法線ベクトルが（ｌ，ｍ，ｎ）である平面とする。光ビームを形成する円柱面側面の式はビームの半径ｒを用いて、
【００２５】
【数１】
0004277329.tif 000002
と書ける。（１）式と照射面との交線をＸＺ平面に正射影してできる図形の式は
【００２６】
【数２】
0004277329.tif 000003
となるが、これはＸＺ平面において楕円
【００２７】
【数３】
0004277329.tif 000004
を原点周りにθ回転した場合にできる図形である。ただし、Ｒは楕円の短径の長さ、Ｓは長径の長さであり、
【００２８】
【数４】
0004277329.tif 000005
である。この結果から、ｌ，ｍ，ｎをＲ，Ｓ，ｒで表現することが可能であり、
【００２９】
【数５】
0004277329.tif 000006
となる。（５）式の複号は同順ではなく、求める法線ベクトルは８種類存在する。しかし人間の調音器官が被測定対象の場合、その幾何的配置、運動の拘束条件のため、解を一意に決定することができる。（５）式はビームの半径ｒ、楕円の短径長Ｒ及び長径長Ｓを求めることができれば、逆に照射面の法線ベクトルを求めることが可能であり、被測定対象の動きを測定することができることを示す。また（４）式よりｒ，Ｒ，Ｓのいずれかの代わりに楕円の傾きθを求めても照射面の法線ベクトルを求めることが可能である。図３では照射面を簡単のために座標軸の原点を通過する平面としたが、実際の照射面の式はこれを平行移動したものである。仮にＺ軸の正の方向にｋだけ平行移動すると、カメラで捕らえる楕円の中心座標もＺ軸の正の方向にｋだけ移動する。これは楕円の中心のＸ座標が常に一定であることを意味するが、実際は光軸とカメラ方向のなす角度を常時直角に設置できるわけではないため、Ｘ座標も変動する可能性がある。そのため楕円の中心のＸ座標も照射面の動きを検出するための特徴パラメータとして求める。つまり、カメラで照射面を取り込み、それを楕円近似することにより、楕円の中心座標及び残りの３つのパラメータのうち２つを求めることができれば、照射面の平面の式を一意に求めることができ、照射面の動きを抽出することができる。よって精度よく被測定対象の動きを測定をするためには、楕円のパラメータを高精度で抽出できるかにかかっている。
【００３０】
［認識に用いる装置］
図１において、まずレーザダイオード（光源部１０）を含む人体に影響を与えない程度の微弱光を、レンズ系１０ａなどにより、その口径の形状が径５ｍｍの真円である平行光にする。被測定対象である調音器官に光源が照射されると、調音器官表面にスポット光が生じる。スポット光の径が小さい場合、照射面は平面近似でき、特定方向から見ればその形状は楕円となる。楕円の５つのパラメータ、つまり中心座標、長径の長さ、短径の長さ、傾きが求まれば、人間の調音器官の幾何的配置及び運動の拘束条件から、スポット光が当たっている箇所の法線ベクトルを一意に定めることが可能である。つまり楕円の５つのパラメータを音韻認識における特徴パターンとして利用することが可能である。なお図１では頭部を固定する形式を採っているが、装置そのものを装着型にすれば、頭部を新たに固定する必要はない。
【００３１】
スポット光はＣＣＤカメラ１１を含む受光部によって撮像される。本実施例ではスポット光と調音器官表面のコントラストの良さから光源にアルゴンイオンレーザ（波長５１５ｎｍ）を用いた。また光の出力強度は５μＷ程度であり、これは人体に対して安全な強度である。被験者である人間が発話を行った場合、発話に伴い調音器官外部が動く。その動きに伴い、ＣＣＤカメラ１１で捕えることができる楕円形状のスポット光の動きも変化する。被験者の口唇近くに取り付けられたマイク１４により発話の有無を判断し、発話があった場合のみビデオボード１２によりコンピュータ１３に動画像として蓄積される。取り込まれた動画像は静止画像に分割され、ソフトウェア１６で実装されたデータ処理部１７に渡される。
【００３２】
データ処理部１７は各静止画像に対して、楕円の５つのパラメータを抽出する部分と、すべての静止画像からパラメータを抽出した後に、音韻を認識するための認識部からなる。ここでは、静止画像からパラメータを抽出する部分について項を分けて説明する。
【００３３】
［パラメータ抽出動作］
図２に本実施例のパラメータ抽出動作の概要を示す。図２において、被解析静止画像は前処理ステップＳ１で前処理された後、仮中心算出ステップＳ２、長径・短径算出ステップＳ３、傾き算出ステップＳ４、および評価ステップＳ５でそれぞれ処理される。前処理ステップＳ１は、画像を細線化したり、ノイズ除去等、誤認識を将来するファクタを除去ないし低減したりするものである。仮中心算出ステップＳ２は画像の質に応じて種々の態様で中心座標を算出するものである。長径・短径算出ステップＳ３は楕円の複数の性質を利用して長径および短径を算出する。傾き算出ステップＳ４は、算出した中心座標、長径、短径等から画像の傾きを算出する。評価ステップＳ５は得られたパラメータ（円で３つ、楕円で５つ）を評価し、評価が否定的であれば、中心座標を再設定して再度パラメータの算出を行なう。評価が肯定的になるまで同様のルーチンが繰り返される。
【００３４】
つぎに、上述のステップＳ１〜Ｓ５について詳細に説明する。前処理ステップＳ１の詳細を図３に示す。まず被解析画像甲はステップＳ１１において白黒画像かフルカラー画像かを判定される。白黒画像だった場合、ステップＳ１２においてそれが１ビット画像かどうかが判定される。ステップＳ１１またはＳ１２の判定でいずれかが「Ｎｏ」だった場合、ステップＳ１３において閾値処理を含むフィルタ処理によって２値化される。よって次ステップＳ１４に通される被解析画像甲は白黒２値化被解析画像乙となる。ステップＳ１４ではラプラシアンを含む局所型オペレータによってエッジ部が抽出される。さらにステップＳ１５では、ステップＳ１４で算出したエッジ強度に対してある適切な閾値を設定し、再び２値化被解析エッジ画像丙とする。エッジ画像の座標値はバッファ１（図示しない）に貯えられる。画像丙は仮中心算出ステップＳ２に送られる。
【００３５】
仮中心算出ステップＳ２の詳細を図５に示す。図５ではエッジ画像の状態によって中心座標算出方法を変えている。まず図６のようにエッジ画像に一定長以上の直線成分が含まれている場合、ステップＳ２０１にてこれを除去する。次に図７に示すように画像のＸ軸及びＹ軸に平行に走査線を移動させ、エッジ画像がこれらの走査線を切り取る場合のみ、つまりエッジ画像との交点のうち隣り合わないものが２組ある場合のみ、それらの中点を各々バッファ２，３（図示しない）に貯える（ステップＳ２０５，Ｓ２１３）。交点が１組以下だったり、３組以上ある場合には、中点を計算しない。例えば図８のようにエッジ画像がかすれており、交点が１組しかない場合や、図９のようにノイズがあり交点が３組以上存在する場合などである。走査線を両軸に対して平行に移動し、バッファ２，３に貯えられた中点の個数が共に閾値（本実施例では５）以上の場合、各々の中点を通る直線の式を最小２乗法により算出し（ステップＳ２０９，Ｓ２１７）、ステップＳ２１８にてこれら２直線の交点を求め、それを仮中心算出ステップＳ２の出力とする。一方バッファ２，３に溜まる中点のいずれかの個数が閾値未満だった場合、ステップＳ２１９に移る。ステップＳ２１９の処理の流れを図１０に示す。この部分は前記のＴｓｕｊｉらによる手法と同様である。処理の内容自体は図１０の記載から明らかであるので説明を省略する。ステップＳ２１９をもってしても、中心を求めることができない場合は、エッジ画素の重心をもって中心とする。
【００３６】
図５の動作の詳細は以下のとおりである。
［ステップＳ２００］  エッジ画像に一定長以上の線分があるかどうかを判別する。このような線分はノイズである。このような線分がある場合にはステップＳ２０１に進む。なければ、ステップＳ２０２に進む。
［ステップＳ２０１］  線分をエッジ画像から除去する。
［ステップＳ２０２］  垂直な直線を引くためのインデックスｉを０に初期設定する。
［ステップＳ２０３］  直線Ｘ＝ｉをひく。
［ステップＳ２０４］  エッジ画像との間に隣り合わない交点の組が２個かどうかを判別する。そうであれば、有効なデータであるのでステップＳ２０５に進み、そうでなければ、ステップ２０６に進む。
［ステップＳ２０５］  交点の中点を算出してバッファ２に格納する。この後ステップＳ２０６に進む。
［ステップＳ２０６］  インデックスｉを１だけ増分する。
［ステップＳ２０７］  インデックスが所定値ｗより小さいかどうか判別する。ｗは対象領域の水平方向の幅である。小さければ、ステップ２０３に戻り処理を繰り返す。小さくなければ、ステップＳ２０８に進む。
［ステップＳ２０８］  バッファ２内の中点の個数が閾値以上であれば中心算出の直線を求めるために、ステップＳ２０９へ進む。閾値未満であれば、正確な直線算出が困難なので、ステップ２１９（図１０）へ進む。
［ステップＳ２０９］  最小２乗法により中点から中線を算出する。
［ステップＳ２１０］  水平な直線を引くためのインデックスｊを０に初期設定する。
［ステップＳ２１１］  直線Ｙ＝ｊをひく。
［ステップＳ２１２］  エッジ画像との間に隣り合わない交点の組が２個かどうかを判別する。そうであれば、有効なデータであるのでステップＳ２１３に進み、そうでなければ、ステップ２１４に進む。
［ステップＳ２１３］  交点の中点を算出してバッファ３に格納する。
［ステップＳ２１４］  インデックスｊを１だけ増分する。
［ステップＳ２１５］  インデックスが所定値ｈより小さいかどうか判別する。ｈは対象領域の垂直方向の高さである。小さければ、ステップ２１１に戻り処理を繰り返す。小さくなければ、ステップＳ２１６に進む。
［ステップＳ２１６］  バッファ２内の中点の個数が閾値以上であれば中心算出の直線を求めるために、ステップＳ２１７へ進む。閾値未満であれば、正確な直線算出が困難なので、ステップ２１９（図１０）へ進む。
［ステップＳ２１７］  最小２乗法により中点から中線を算出する。
［ステップＳ２１８］  ２本の中線の交点を求め出力する。
［ステップＳ２１９］  同じ傾きのエッジの中点から中心を求める（図１０）。
【００３７】
以上のような処理を仮中心算出ステップＳ２にて行い、長径・短径算出ステップＳ３に進む。
【００３８】
ここでは、長径・短径算出ステップＳ３の詳細な手順を説明する前に、長径・短径算出のベースについてまず説明する。すなわち長径・短径算出ステップＳ３において楕円の図形的性質を用いて長径及び短径の長さを算出する方法を示す。
【００３９】
仮中心算出ステップＳ２の出力値を楕円画像の仮の中心Ｏの座標値とし、角ＡＯＢが９０度となるように楕円周上に点Ａ，点Ｂを定めると以下のような関係式を持つ。ただしａ，ｂは楕円の長径及び短径の長さである。
【００４０】
【数６】
0004277329.tif 000007
仮中心算出ステップＳ２の出力値をＯ（Ｘ，Ｙ）とし、値９０に対して十分に小さい値Φをパラメータとして設定し（本実施例ではΦ＝ｓｉｎ-1１／１０）、バッファ１に貯えられたエッジ画像座標値のうち角ＡＯＢが（π／２−Φ）以上、（π／２＋Φ）以下であるような座標の組（Ａ，Ｂ）をすべて決定する。これら決定した組に対して１／ＯＡ2＋１／ＯＢ2を計算し、その値の度数分布を求める。最も頻度が多い投票値をｐとすれば、これが１／ａ2＋１／ｂ2となっているはずである。次にａ，ｂに関するもう一つの関係式を用いる。楕円周上の任意の１点をＡとし、点Ａにおける楕円の接線の傾きと平行で楕円の中心Ｏを通る直線を引き、楕円周との交点を点Ｂ，点Ｃとすれば、
【００４１】
【数７】
0004277329.tif 000008
なる関係式を持つ。デジタル画像の場合、点Ｂ，点Ｃが存在しない場合があるが、バッファ１に貯えられた座標の中で楕円の中心Ｏに関して互いに反対位置にあり、上記直線との距離が最短である２組の座標を算出し、それらエッジから直線に下した垂線の足を点Ｂ，点Ｃと定める。再びすべてのエッジ座標Ａに対して三角形ＡＢＣの面積を求め、その値の度数分布を求める。最も頻度が多い投票値をｑとすれば、これがａｂとなっているはずである。以上の二つの図形的性質を示す図を図１４（ａ）（ｂ）に示す。この時ａ，ｂはｔに関する二次方程式
【００４２】
【数８】
0004277329.tif 000009
の２解となる。これを解いて、
【００４３】
【数９】
0004277329.tif 000010
を得る。
【００４４】
つぎに、長径・短径算出ステップＳ３の詳細を説明する。長径・短径算出ステップＳ３は、さらにステップＳ３１、Ｓ３２、Ｓ３３に分けることができる。ステップＳ３１は上述のｐ＝１／ａ2＋１／ｂ2を求めるものである。ステップＳ３２は、上述のｑ＝ａｂを求めるものである。ステップＳ３３は、ｐおよびｑから長径ａおよび短径ｂを求め、さらにエッジ画像が円か楕円かを判定するものである。ステップＳ３１、Ｓ３２およびＳ３３の処理の流れをそれぞれ図１１、図１２および図１３に示す。これらは並列に処理しても直列に処理してもよい。
【００４５】
図１１のステップ３１の処理は以下のとおりである。
［ステップＳ３１１］  インデックスｉ，ｊを１に初期設定する。
［ステップＳ３１２］  バッファ１のｉ個目の座標Ａｉを抽出する。
［ステップＳ３１３］  バッファ１のｊ個目の座標Ｂｊを抽出する。
［ステップＳ３１４］  角ＡｉＯＢｊが（π／２−Φ）以上、（π／２＋Φ）以下かどうかを判別する。そうであれば考慮対象であるのでステップＳ３１５に進み、そうでなければ考慮対象外であるのでステップＳ３１６に進む。
［ステップＳ３１５］  ヒストグラムに（ＯＡｉ）-2＋（ＯＢｊ）-2の値を蓄える。
［ステップＳ３１６］  インデックスｊを１だけ増分する。
［ステップＳ３１７］  バッファ１のｊ個目のデータが空かどうかを判別する。空でなければステップＳ３１３に戻り処理を繰り返す。空であればステップＳ３１８に進む。
［ステップＳ３１８］  ｉ＝ｉ＋１、ｊ＝１に設定する。
［ステップＳ３１９］  バッファ１のｉ個目のデータが空かどうか判別する。空でなければ、ステップＳ３１２に戻り処理を繰り返す。空であればステップＳ３２０に進む。
［ステップＳ３２０］  最も頻度が多い投票値をｐに代入する。
【００４６】
図１２のステップ３２の処理は以下のとおりである。
［ステップＳ３２１］  インデックスをｉ＝ｊ＝ｋ＝ｌ＝０に初期設定する
［ステップＳ３２２］  バッファ１のｉ個目の座標Ａｉを抽出する。
［ステップＳ３２３］  座標Ａｉにおけるエッジの傾きを計算する。
［ステップＳ３２４］  ＯＡｉを通る直線ｌ1：ｆ（ｘ，ｙ）＝０を算出する。
［ステップＳ３２５］  座標Ｏを通り、傾きＳの直線ｌ2：ｇ（ｘ，ｙ）＝０を算出する。
［ステップＳ３２６］  バッファ１のｊ個目の座標Ｂｊを抽出する。
［ステップＳ３２７］  直線ｌ2と座標Ｂｊの距離Ｌjおよび座標Ｂjから下ろした垂線の足Ｂ’jを算出する。
［ステップＳ３２８］  ｆ（Ｂ’j）＞＝０かどうか判別する。そうであればステップＳ３２９に進む。そうでなければ、ステップＳ３３４へ進む。
［ステップＳ３２９］  ｋ＝０かどうかを判別する。そうであればステップＳ３３０へ進む。そうでなければ、ステップＳ３３２へ進む。
［ステップＳ３３０］  Ｌb＝Ｌj、Ｂ＝Ｂ’jとする。
［ステップＳ３３１］  ｋ＝１とする。
［ステップＳ３３２］  Ｌb＞Ｌjを判別する。そうであればステップＳ３３３へ進む。そうでなければステップＳ３３４へ進む。
［ステップＳ３３３］  Ｌb＝Ｌj、Ｂ＝Ｂ’jとする。
［ステップＳ３３４］  ｌ＝０かどうかを判別する。そうであればステップＳ３３５へ進む。そうでなければステップＳ３３７へ進む。
［ステップＳ３３５］  Ｌc＝Ｌj、Ｃ＝Ｂ’jとする。
［ステップＳ３３６］  ｌ＝１とする。
［ステップＳ３３７］  Ｌc＞Ｌjを判別する。そうであればステップＳ３３８へ進む。そうでなければステップＳ３３９へ進む。
［ステップＳ３３８］  Ｌc＝Ｌj、Ｃ＝Ｂ’jとする。
［ステップＳ３３９］  ｊ＝ｊ＋１とする。
［ステップＳ３４０］  バッファ１のｊ個目のデータが空かどうか判別する。空でなければステップＳ３２６に戻り処理を繰り返す。空であればステップＳ３４１へ進む。
［ステップＳ３４１］  三角形ＡｉＢＣの面積を求め、ヒストグラム２に蓄える。
［ステップＳ３４２］  ｊ＝１、ｉ＝ｉ＋１とする。
［ステップＳ３４３］  バッファ１のｉ個目のデータが空かどうか判別する。空でなければステップＳ３２２に戻り処理を繰り返す。空であればステップＳ３４４へ進む。
［ステップＳ３４４］  最も頻度が多い投票値をｑに代入する。
【００４７】
以上の長径ａおよび短径ｂを求めるために必要なｐおよびｑが求まった。そして図１３のステップＳ３３で長径ａおよび短径ｂを求め、さらに円／楕円の判別を行なう。すなわち、ａとｂとの比の値が閾値（本実施例では１．０５）以下の場合、与えられたエッジ画像を中心がＯ（Ｘ，Ｙ），半径がａまたはｂの円と判定するが、本実施例では、そのような例は存在しなかった。ステップＳ３３においてエッジ画像を楕円と判定すると、残りの１つのパラメータである傾きを決定するために傾き算出ステップＳ４に移行する。
【００４８】
なお、図１３のステップＳ３３の処理は以下のとおりである。
［ステップＳ３４５］  ｐ、ｑから長径ａおよび短径ｂを求める。
［ステップＳ３４６］  ａ／ｂ＜＝Ｔかどうかを判別する。そうであればステップＳ３４７へ進む。そうでなければステップＳ３４８へ進む。
［ステップＳ３４７］  エッジ画像を円と判断する。
［ステップＳ３４８］  エッジ画像を楕円と判断しステップＳ４へ進む。
【００４９】
つぎに、傾き算出ステップＳ４の処理について説明する。図１５は傾き算出ステップＳ４での処理の流れを示す。まず中心がＯ、長径がａで短径がｂのＸ軸Ｙ軸に平行な軸を持つ楕円Ｕを描く（ステップＳ４０１）。この楕円とエッジ画像との交点を図１６に示すように点Ａ，点Ｂ，点Ｃ，点Ｄとすれば、線分ＡＣと線分ＢＤは直交し、その交点は楕円の中心と一致する。エッジ画像上の点Ｐに対して、直線ＯＰと楕円Ｕの交点をＰ’とし、線分ＰＰ’の長さを持って楕円とエッジ画像上の画素との距離と定義する。今座標平面を以下の４つの領域に分ける（ステップＳ４０２）。それらを領域１（ｘ＞＝Ｘかつｙ＞Ｙ）、領域２（ｘ＜Ｘかつｙ＞＝Ｙ）、領域３（ｘ＜＝Ｘかつｙ＜Ｙ）、領域４（ｘ＞Ｘかつｙ＜＝Ｙ）とする。各領域内において楕円Ｕの外部にあって楕円Ｕとの距離が最小であるエッジ上の画素と、楕円Ｕの内部にあって楕円Ｕとの距離が最小であるエッジ上の画素とを選択し、それらを結ぶ線分と楕円Ｕとの交点を算出し、順に点Ａ，点Ｂ，点Ｃ，点Ｄとする（ステップＳ４０３）。この時、直線ＯＡの傾きをθとすれば、２θが求める楕円の傾きである（ステップＳ４０４）。こうしてこの時点で楕円の５つのパラメータがすべて算出できる。
【００５０】
線分ＡＣと線分ＢＤとの交点をとれば、これは理想的には楕円の中心座標と一致するはずであるが、実際には必ずしも一致するわけではない。そこで評価ステップＳ５が満足しないパラメータを傾き算出ステップＳ４が算出した場合、この新たに求めた中心を仮中心算出ステップＳ２の出力値とし、再び長径・短径算出ステップＳ３に戻す処理を行う。この操作を評価ステップＳ５が満足するまで繰り返す。
【００５１】
評価ステップＳ５（基準値Ｔを５．０とした）の動作を図１７に示す。図１７の動作は図から明らかであるので説明を省略する。
【００５２】
本実施例では評価ステップＳ５の条件を線分ＡＣと線分ＢＤの交点と、直前に算出された楕円の中心座標との距離が基準値（５）以内であるとしたが、他の評価基準を設けてもよい。ただし評価ステップＳ５で行うようなループを回すためには、エッジ画像と楕円Ｕとの間に最低でも対応する１組の交点（例えば点Ａと点Ｃ）が求まっている必要がある。この場合線分ＡＣの中点を新たな中心座標と置換することが可能である。対応する１組の交点が求まっていない場合は、求められた交点の１つと中心座標とを結んでできる直線の傾きをもってθとし、ループは回さない。また交点を１点も求めることができない場合は、本手法によっては傾きを算出することができず、中心座標と長径及び短径の４つのパラメータから照射面の動きを測定する必要がある。ただし、本実施例で用いたエッジ画像では交点が１点も求めることができない程大きなノイズを持つものは存在しなかった。
【００５３】
［認識ステップ］
以上の手法により算出した一連の５つのパラメータを認識ステップに渡す。これらのパラメータを特徴パターンとして、ＤＰマッチングによるパターン認識手法により音韻認識処理を行う。ＤＰマッチング自体は周知であるのでとくに説明を行なわない。実際の実施例として人間の顎下部に前記光線を照射し、上記の手法により得られた各母音の発話に対応した楕円のパラメータを特徴量としたところ、５つの母音を分離することができた。各母音発話時における楕円画像の短径の長さの時間的変化を図１８に、楕円の中心座標の光の進行方向の変位を図１９に示す。本手法は光パターンをさらに複数照射することにより、複数の調音器官の動きを求めることが可能であり、さらに高精度で人間の発話情報を獲得することが可能となる。
【００５４】
【発明の効果】
本発明で提案した音韻認識装置および方法を用いれば、音声信号を使うことなしに、人間が発声する音韻を人体に非接触な手法で認識することが可能である。また既存の音声認識技術と組み合わせることにより、より雑多な環境に対応できる。さらに、ここでは、画像から楕円のパラメータを正確かつ簡易に算出する手法も併せて提案している。この手法を用いれば、円を含む楕円の５つのパラメータを複雑な計算をすることなしに算出することが可能となる。さらに、エッジ画像にノイズが含まれていたり、切れ目が生じている場合でもパラメータの算出が可能である。この手法を本発明に適用すれば正確かつ簡易に音韻認識を行なうことができる。
【図面の簡単な説明】
【図１】  本発明における音韻認識装置全般の原理を示す図である。
【図２】  本発明におけるパラメータ算出部全般の原理を示す図である。
【図３】  本発明における形状測定の原理を示す図である。
【図４】  図２における前処理ステップＳ１の詳細のアルゴリズムを示す図である。
【図５】  図２における仮中心算出ステップＳ２の詳細のアルゴリズムを示す図である。
【図６】  図５におけるステップＳ２１の具体例を示す図である。
【図７】  図５において用いる中点算出手法を示す図である。
【図８】  図５においてエッジ画像と直線との交点が１点のみである具体例を示す図である。
【図９】  図５においてエッジ画像と直線との交点が３点以上ある場合の具体例を示す図である。
【図１０】  図５におけるステップＳ２７の詳細のアルゴリズムを示す図である。
【図１１】  図２におけ長径・短径算出ステップＳ３の一部（ステップＳ３１）の詳細のアルゴリズムを示す図である。
【図１２】  図２における長径・短径算出ステップＳ３の一部（ステップＳ３２）の詳細のアルゴリズムを示す図である。
【図１３】  図２における長径・短径算出ステップＳ３の一部（ステップＳ３３）の詳細のアルゴリズムを示す図である。
【図１４】  楕円の図形的性質を示す図である。
【図１５】  図２における傾き算出ステップＳ４の詳細のアルゴリズムを示す図である。
【図１６】  図１５における傾き算出手法を示す図である。
【図１７】  図２における評価ステップＳ５の詳細のアルゴリズムを示す図である。
【図１８】  母音発話時の楕円の短径の長さの時間的変遷を示す図である。
【図１９】  母音発話時の楕円の中心座標の光の進行方向の時間的変遷を示す図である。
【符号の説明】
１０    光源部
１０ａ    レンズ系
１１    ＣＣＤカメラ
１２    ビデオボード
１３    コンピュータ
１４    マイク
１６    データ処理部
２０    被測定対象
【図１】
0004277329.tif 000011
【図２】
0004277329.tif 000012
【図３】
0004277329.tif 000013
【図４】
0004277329.tif 000014
【図５】
0004277329.tif 000015
【図６】
0004277329.tif 000016
【図７】
0004277329.tif 000017
【図８】
0004277329.tif 000018
【図９】
0004277329.tif 000019
【図１０】
0004277329.tif 000020
【図１１】
0004277329.tif 000021
【図１２】
0004277329.tif 000022
【図１３】
0004277329.tif 000023
【図１４】
0004277329.tif 000024
【図１５】
0004277329.tif 000025
【図１６】
0004277329.tif 000026
【図１７】
0004277329.tif 000027
【図１８】
0004277329.tif 000028
【図１９】
0004277329.tif 000029