(57)【要約】      （修正有）【課題】構音障害を有する人に発話認識システムを提供する。【解決手段】発話認識システムである装身具３は、対象者に用いられ、画像取得装置４と装着座５１を有する口腔内検知装置５と発話認識装置とを含む。画像取得装置４は、対象者の唇の画像を対象者の発話中に取得する。口腔内検知装置５は、対象者の舌との接触と対象者の舌との距離を検知して接触信号と距離信号とを生成する。発話認識装置は、唇の画像と接触信号と距離信号とを処理して対象者の発話内容を取得する。【選択図】図１
2018028681.tif 000002
【特許請求の範囲】
【請求項１】
対象者(900)に用いられる発話認識システム(3)であって、
前記対象者(900)の発話中に前記対象者(900)の唇(902)の画像を継続的に取得する画像
取得装置(4)と、
前記対象者(900)の口腔(903)内で前記対象者(900)の口蓋に装着されるように構成され
た装着座(51)と、前記装着座(51)に配置され、前記対象者(900)の発話中に前記対象者(900)の舌(905)との接触を検知して、その舌(905)との接触に基づいて接触信号を生成するように構成された接触検知ユニット(52)と、前記装着座(51)に配置され、前記対象者(900)
の舌(905)との距離を検知して、その舌(905)との距離に基づいて距離信号を生成するように構成された距離検知ユニット(53)と、を含む、口腔内検知装置(5)と、
前記対象者(900)の唇(902)の画像と、前記接触信号と、前記距離信号とをそれぞれ受信するように前記画像取得装置(4)と前記口腔内検知装置(5)に接続されると共に、前記唇(902)の画像と前記接触信号と前記距離信号とを処理して前記対象者(900)の発話内容を取得するようにプログラムされている発話認識装置(6)と、を具える、発話認識システム(3)。
【請求項２】
前記発話認識装置(6)に接続されて前記発話認識装置(6)から前記発話内容を受信すると共に前記発話内容を出力する出力装置(7)を更に具える、請求項１に記載の発話認識シス
テム(3)。
【請求項３】
前記発話認識装置(6)は、
前記唇(902)の異なる動作にそれぞれ関連付けられている複数の唇パラメータを保存し
ている上に、前記唇(902)の画像を解析して前記対象者(900)の発話中に前記唇(902)のい
ずれの動作が生じたかを判断し、その前記唇(902)の動作に関連付けられている、対応の
一つの前記唇パラメータを取得するようにプログラムされている唇動作分析モジュール(632)と、
前記舌(905)との異なる接触パターンにそれぞれ関連付けられている複数の口蓋パラメ
ータを保存している上に、前記接触信号を解析して発話中に舌(905)とのいずれの接触パ
ターンが発生したかを判断し、その接触パターンに関連付けられている、対応の一つの前記口蓋パラメータを取得できるようにプログラムされている接触分析モジュール(633)と
、
前記距離検知ユニット(53)と前記対象者(900)の舌(905)との距離の異なる変化パターンにそれぞれ関連付けられている複数の舌パラメータを保存している上に、前記距離信号を解析して発話中にいずれの距離変化パターンが発生したかを判断し、その距離変化パターンに関連付けられている、対応の一つの前記舌(905)パラメータを取得できるようにプロ
グラムされている距離分析モジュール(634)と、
前記対応の一つの前記唇パラメータと、前記対応の一つの前記口蓋パラメータと、前記対応の一つの前記舌(905)パラメータとを収集して前記発話内容に対応する発話パラメー
タセットを生成するようにプログラムされているパラメータ収集モジュール(636)と、を
含む、請求項１に記載の発話認識システム(3)。
【請求項４】
前記接触検知ユニット(52)は、
それぞれ前記舌(905)に接触されると圧力検知信号を出力するように構成された互いに
間隔を置いた複数の圧力センサ(521)と、 
前記圧力検知信号を処理して前記接触信号を生成するように構成された信号プロセッサ(522)と、を含む、請求項１に記載の発話認識システム(3)。
【請求項５】
前記距離検知ユニット(53)は、 
前記装着座(51)が前記対象者(900)の口蓋に装着された時に前記舌(905)に向かう面である前記装着座(51)の底面に複数が互いに間隔を置いて設けられ、それぞれ前記舌(905)か
らの距離を検知して距離検知信号を出力するように構成された距離センサ(531)と、
前記距離検知信号を処理して前記距離信号を生成するように構成された信号プロセッサ(532)と、を含む、請求項１に記載の発話認識システム(3)。
【請求項６】
前記口腔内検知装置(5)は、前記装着座(51)に配置され、前記対象者(900)の口腔(903)
内での気流を検知して気流信号を生成する気流検知ユニット(54)を更に含む、請求項３に記載の発話認識システム(3)。
【請求項７】
前記発話認識装置(6)は、前記対象者(900)の口腔(903)内における気流の異なる変化パ
ターンにそれぞれ関連付けられている複数の気流パラメータを保存している気流解析モジュール(635)を更に含み、前記気流解析モジュール(635)は、
発話中の前記口腔(903)内においていずれの気流変化パターンが発生したかを判断す
るために気流信号を解析し、
その気流変化パターンに関連付けられている、対応の一つの前記気流パラメータを取得するようにプログラムされていて、
前記パラメータ収集モジュール(636)は、前記対応の一つの前記気流パラメータを更に
収集して前記発話パラメータセットを生成する、請求項６に記載の発話認識システム(3)
。
【請求項８】
前記口腔内検知装置(5)と前記発話認識装置(6)とはそれぞれ、前記口腔内検知装置(5)
と前記発話認識装置(6)との間で信号を送信し合うための通信ユニット(55、61)を含む、
請求項１に記載の発話認識システム(3)。
【請求項９】
前記口腔内検知装置(5)は、オンに切り替えられたときに、前記画像取得装置(4)と前記口腔内検知装置(5)とを起動させて前記対象者(900)の唇(902)の画像と前記接触信号と前
記距離信号とを取得するために前記画像取得装置(4)と前記口腔内検知装置(5)とに起動コマンドを送信するスイッチユニット(62)を含む、請求項１に記載の発話認識システム(3)
。
【請求項１０】
前記発話認識装置(6)は、 
複数の発話パラメータセットと各前記発話パラメータセットにそれぞれ関連付けられた複数の発音データセットとを保存しているデータベース(631)と、発話合成モジュール(637)とを更に含み、
前記発話合成モジュール(637)は、
前記パラメータ収集モジュール(636)により生成された前記発話パラメータセットと
、前記データベース(631)に保存されている各前記発話パラメータセットとを比較し、
前記パラメータ収集モジュール(636)により生成された前記発話パラメータセットと
一致する一つの前記発話パラメータセットに関連する一つの前記発音データセットを取得し、
前記一つの前記発音データセットから合成発音信号を生成するようにプログラムされていて、且つ、
前記発話認識システム(3)は、前記発話認識装置(6)に接続されていて前記合成発音信号を受信する上に前記発話内容として前記合成発音信号を出力する出力装置(7)を更に具え
る、請求項３に記載の発話認識システム(3)。
【請求項１１】
前記データベース(631)は、前記発音データセットの少なくとも一つの特定の組み合わ
せとそれぞれ関連付けられた複数の単語データセットを更に保存していて、
前記発話認識装置(6)は、単語検索モジュールを更に含み、前記単語検索モジュールは
、前記合成発音信号を生成するのに用いられた前記一つの前記発音データセットと関連付けられた一つの前記単語データセットを検索し、前記一つの前記単語データセットを出力
するべく前記出力装置(7)に送信するようにプログラムされている、請求項１０に記載の
発話認識システム(3)。
【請求項１２】
前記出力装置(7)は、前記合成発音信号を出力する音声出力モジュール(71)と、前記一
つの前記単語データセットを表示するディスプレイモジュール(72)とを更に含む、請求項１１に記載の発話認識システム(3)。
【請求項１３】
前記対象者(900)に装着される主要部と、前記主要部に連結され且つ前記主要部から前
方に延伸する延伸部とを含む装身具を更に具え、前記画像取得装置(4)と前記音声出力モ
ジュール(71)とが前記延伸部に配置されている、請求項１２に記載の発話認識システム(3)。
【請求項１４】
画像取得装置(4)に接続され、前記画像取得装置(4)から対象者(900)の唇(902)の画像を受信すると共に、口腔内検知装置(5)に接続され、前記対象者(900)の発話中における前記口腔内検知装置(5)の前記対象者(900)の舌(905)との接触に関連する接触信号と、前記口
腔内検知装置(5)の前記舌(905)との距離に関連する距離信号とを受信する発話認識装置(6)であって、
前記唇(902)の異なる動作にそれぞれ関連付けられている複数の唇パラメータを保存し
ている上に、前記対象者(900)の発話中に前記唇(902)のいずれの動作が生じたかを判断するために前記唇(902)の画像を解析し、その前記唇(902)の動作に関連付けられている、対応の一つの前記唇パラメータを取得するようにプログラムされている唇動作分析モジュール(632)と、
前記舌(905)との異なる接触パターンにそれぞれ関連付けられている複数の口蓋パラメ
ータを保存している上に、発話中に前記舌(905)とのいずれの接触パターンが発生したか
を判断するために前記接触信号を解析し、その接触パターンに関連付けられている、対応の一つの前記口蓋パラメータを取得できるようにプログラムされている接触分析モジュール(633)と、
距離検知ユニット(53)と前記対象者(900)の舌(905)との距離の変化パターンにそれぞれ関連付けられている複数の舌パラメータを保存している上に、発話中にいずれの距離変化パターンが発生したかを判断するために前記距離信号を解析し、その距離変化パターンに関連付けられている、対応の一つの前記舌(905)パラメータを取得できるようにプログラ
ムされている距離分析モジュール(634)と、
前記対応の一つの前記唇パラメータと、前記対応の一つの前記口蓋パラメータと、前記対応の一つの前記舌(905)パラメータとを収集して発話内容に対応する発話パラメータセ
ットを生成するようにプログラムされているパラメータ収集モジュール(636)と、を具え
る、発話認識装置(6)。
【請求項１５】
前記対象者(900)の口腔(903)内における気流に関連する気流信号を更に受信すると共に、気流解析モジュール(635)を更に具え、 
前記気流解析モジュール(635)は、
前記対象者(900)の口腔(903)内における気流の変化パターンにそれぞれ関連付けられている複数の気流パラメータを保存し、 
前記気流信号を解析して発話中の前記口腔(903)内においていずれの気流変化パター
ンが発生したかを判断し、
その気流変化パターンに関連付けられている、対応の一つの気流パラメータを取得するようにプログラムされていて、
前記パラメータ収集モジュール(636)は、前記対応の一つの前記気流パラメータを更に
収集して前記発話パラメータセットを生成する、請求項１４に記載の発話認識装置(6)。
【請求項１６】
複数の発話パラメータセットと各前記発話パラメータセットにそれぞれ関連付けられた複数の発音データセットとを保存しているデータベース(631)と、発話合成モジュール(637)とを更に具え、
前記発話合成モジュール(637)は、
前記パラメータ収集モジュール(636)により生成された前記発話パラメータセットと
、前記データベース(631)に保存されている各前記発話パラメータセットとを比較し、
前記パラメータ収集モジュール(636)により生成された前記発話パラメータセットと
一致する一つの前記発話パラメータセットに関連する一つの前記発音データセットを取得し、
前記一つの前記発音データセットから合成発音信号を生成するようにプログラムされていて、且つ、
前記発話認識装置(6)は、前記合成発音信号を受信する上に前記発話内容として前記合
成発音信号を出力する出力装置(7)に更に接続されている、請求項１４に記載の発話認識
装置(6)。
【請求項１７】
前記データベース(631)は、前記発音データセットの少なくとも一つの特定の組み合わ
せとそれぞれ関連付けられた複数の単語データセットを更に保存しており、
前記合成発音信号を生成するのに用いられた前記一つの前記発音データセットと関連付けられた一つの前記単語データセットを検索し、前記一つの前記単語データセットを出力するべく前記出力装置(7)に送信するようにプログラムされている単語検索モジュールを
更に含む、請求項１６に記載の発話認識装置(6)。
【請求項１８】
対象者(900)に用いられ、発話認識システム(3)によって実行される発話認識方法であって、前記発話認識システム(3)は、画像取得装置(4)と、前記対象者(900)の口腔(903)内で前記対象者(900)の口蓋に装着される口腔内検知装置(5)と、前記画像取得装置(4)と前記
口腔内検知装置(5)とに接続された発話認識装置(6)を含むものであり、
前記画像取得装置(4)によって前記対象者(900)の発話中に前記対象者(900)の唇(902)の画像を継続的に取得するステップと、
前記口腔内検知装置(5)によって前記対象者(900)の舌(905)との接触を検知して、その
前記舌(905)との接触に基づいて接触信号を生成するステップと、
前記口腔内検知装置(5)によって前記対象者(900)の発話中に前記対象者(900)の舌(905)との距離を検知して、その前記舌(905)との距離に基づいて距離信号を生成するステップ
と、
前記発話認識装置(6)によって前記対象者(900)の唇(902)の画像を前記画像取得装置(4)から受信すると共に前記口腔内検知装置(5)から前記接触信号と前記距離信号とを受信す
るステップと、
前記発話認識装置(6)によって前記唇(902)の画像と前記接触信号と前記距離信号とを処理して前記対象者(900)の発話内容を取得するステップと、を具える、発話認識方法。
【請求項１９】
前記発話認識システム(3)は、前記発話認識装置(6)に接続されている出力装置(7)を更
に含むものであって、 
前記出力装置(7)によって前記発話認識装置(6)から前記発話内容を受信して前記発話内容を出力するステップを更に具える、請求項１８に記載の発話認識方法。
【発明の詳細な説明】
【技術分野】
【０００１】
（関連する出願の相互参照）
本出願は、２０１４年７月２８日に出願された台湾特許出願第１０３１２５７１３号と、２０１５年３月２４日に出願された台湾特許出願第１０４１０９４１４号との優先権を主張する。
【０００２】
本発明は、発話認識システムおよび発話認識装置に関する。  
【背景技術】
【０００３】
人の発話は、身体の多くの器官の間における協調の結果であり、これら器官には呼吸器官、構音器官、種々の関連筋肉および神経が含まれる。これらの器官に関連する神経へのダメージは、器官の機能障害そして正常な発音への困難をもたらし、当人の発話が他者にとって理解不能となる状況につながる。このような状況は、一般に構音障害（dysarthria）と呼ばれている。
【０００４】
ただ、構音障害を有する人は、通常、言語に対する認知に問題はなく、しかもある単語を発しようとする際の発音は大抵一貫している。
【０００５】
発話が理解不能となる状況に対処するための方法がいくつか応用されている。例えば、欧州特許第２７３７４８０号は、患者の発話音声を変換するためのシステムと方法を開示している。中国特許出願番号１０４１２３９３４は、音声に関するサンプル信号を取得し、そのサンプル信号中の特定の音節と単音節の音調との組み合わせを認識するためにサンプル信号を処理するためのシステムおよび方法を開示している。
【発明の概要】
【発明が解決しようとする課題】
【０００６】
そこで、本発明の目的は、構音障害を有する人に発話認識システムを提供することにある。
【課題を解決するための手段】
【０００７】
本発明によると、発話認識システムは、対象者に用いられるものであって、画像取得装置と、口腔内検知装置と、発話認識装置とを具える。
【０００８】
前記画像取得装置は、前記対象者の発話中に前記対象者の唇の画像を継続的に取得するものである。前記口腔内検知装置は、装着座と、接触検知ユニットと、距離検知ユニットとを含む。 
【０００９】
前記装着座は、前記対象者の口腔内で前記対象者の口蓋に装着されるように構成されている。前記接触検知ユニットは、前記装着座に配置され、前記対象者の発話中に前記対象者の舌との接触を検知してその前記舌との接触に基づいて接触信号を生成するように構成されている。前記距離検知ユニットは、前記装着座に配置され、前記対象者の舌との距離を検知してその前記舌との距離に基づいて距離信号を生成するように構成されている。 
【００１０】
前記発話認識装置は、前記対象者の唇の画像と、前記接触信号と、前記距離信号とをそれぞれ受信するように、前記画像取得装置と前記口腔内検知装置とに接続されている。前記発話認識装置は、前記唇の画像と前記接触信号と前記距離信号とを処理して前記対象者の発話内容を取得するようにプログラムされている。
【００１１】
また、本発明の目的は、発話認識処理を行なうことができる発話認識装置を提供することにもある。
【００１２】
本発明によると、発話認識装置は、画像取得装置に接続されて、前記対象者の発話中に前記画像取得装置から対象者の唇の画像を受信する。前記発話認識装置はまた、口腔内検知装置に接続されて、接触信号と距離信号とを受信する。前記接触信号は、前記対象者の発話中における前記口腔内検知装置の前記対象者の舌との接触に関連し、前記距離信号は、前記対象者の発話中における前記口腔内検知装置の前記舌との距離に関連する。前記発話認識装置は、唇動作分析モジュールと、接触分析モジュールと、距離分析モジュールと、パラメータ収集モジュールとを含む。
【００１３】
前記唇動作分析モジュールは、前記唇の異なる動作にそれぞれ関連付けられている複数の唇パラメータを保存している。前記唇動作分析モジュールは、前記唇の画像を解析して前記対象者の発話中に前記唇のいずれの動作が生じたかを判断し、その前記唇の動作に関連付けられている、対応の一つの前記唇パラメータを取得するようにプログラムされている。
【００１４】
前記接触分析モジュールは、前記舌との異なる接触パターンにそれぞれ関連付けられている複数の口蓋パラメータを保存している。前記接触分析モジュールは、前記接触信号を解析して発話中に舌とのいずれの接触パターンが発生したかを判断し、その接触パターンに関連付けられている、対応の一つの前記口蓋パラメータを取得できるようにプログラムされている
前記距離分析モジュールは、前記距離検知ユニットと前記対象者の舌との距離の異なる変化パターンにそれぞれ関連付けられている複数の舌パラメータを保存している。前記距離分析モジュールは、前記距離信号を解析して発話中にいずれの距離変化パターンが発生したかを判断し、その距離変化パターンに関連付けられている、対応の一つの前記舌パラメータを取得できるようにプログラムされている。 
【００１５】
前記パラメータ収集モジュールは、前記対応の一つの前記唇パラメータと、前記対応の一つの前記口蓋パラメータと、前記対応の一つの前記舌パラメータとを収集して前記対象者の発話内容に対応する発話パラメータセットを生成するようにプログラムされている。
【００１６】
更に、本発明の目的は、上記の発話認識装置を用いて実行される発話認識方法を提供することにもある。
【００１７】
本発明によると、発話認識方法は、
前記画像取得装置によって前記対象者の発話中に前記対象者の唇の画像を継続的に取得するステップと、
前記口腔内検知装置によって前記対象者の舌との接触を検知して、その前記舌との接触に基づいて接触信号を生成するステップと、
前記口腔内検知装置によって前記対象者の発話中に前記対象者の舌との距離を検知して、その前記舌との距離に基づいて距離信号を生成するステップと、
前記発話認識装置によって前記対象者の唇の画像を前記画像取得装置から受信すると共に前記口腔内検知装置から前記接触信号と前記距離信号とを受信するステップと、
前記発話認識装置によって前記唇の画像と前記接触信号と前記距離信号とを処理して前記対象者の発話内容を取得するステップと、を具える。
【００１８】
本発明の他の特徴および利点は、添付の図面を参照する以下の実施形態の詳細な説明において明白になるであろう。
【図面の簡単な説明】
【００１９】
【図１】本発明の第１の実施形態の発話認識システムを示す。
【図２】対象者が図１の発話認識システムを着用したところを示す。
【図３】第１の実施形態の発話認識システムのブロック図である。
【図４】発話認識システムの口腔内検知装置を示す。
【図５】対象者の口腔に配置された口腔内検知装置を示す。
【図６】本発明の第２の実施形態の発話認識システムを示す。
【図７】第２の実施形態の発話認識システムのブロック図である。
【図８】本発明の第３の実施形態の発話認識システムを示す。
【図９】第３の実施形態の発話認識システムのブロック図である。
【図１０】第１の実施形態の発話認識システムによって実行される発話認識方法の手順を示すフローチャートを示す。
【発明を実施するための形態】
【００２０】
以下、本発明をより詳しく説明する。なお、類似の構成要素については本発明全体を通して同一番号が付されている。
【００２１】
図１は、本発明の第１の実施形態に係る発話認識システムを示している。発話認識システムは、構音障害を有する対象者９００（図２参照）に用いられる。
【００２２】
発話認識システムは、装身具３と、画像取得装置４と、口腔内検知装置５と、発話認識装置６（図３参照）と、出力装置７とを含む。
【００２３】
更に図２に示されているように、本実施形態での発話認識システムにおいて、装身具３は、主要部３１と、一対の連結部３２と、延伸部３３とを含む。主要部３１は、Ｃ字型になっていて対象者９００の頭部９０１に装着される。連結部３２は主要部３１の両端にそれぞれ設けられている。延伸部３３は、いずれかの連結部３２に連結されていると共に連結部３２から前方に延伸しており、可撓性のある材料からなっている。更に、延伸部３３には、データを伝送するためのケーブルワイヤ （図示せず）が入っている。
【００２４】
なお、本実施形態において、装身具３は一対の耳あてとして構成されているが、他の実施形態においては、眼鏡として構成することもできる。更に他の実施形態において、装身具３は連結部３２を一つだけ有してもよい。
【００２５】
画像取得装置４は、延伸部３３の自由端（即ち連結部３２に連結されていない側）に設けられ、対象者９００の発話中の唇９０２の画像を継続的に取得できるように構成されている。延伸部３３は、画像取得装置４を適当な位置、例えば対象者９００の唇９０２の真正面に配置するべく調整することができる。 画像取得装置４により取得された画像は延
伸部３３内のケーブルワイヤを介して伝送することができる。
【００２６】
口腔内検知装置５は、図３および図５に示されているように、装着座５１と、接触検知ユニット５２と、距離検知ユニット５３と、気流検知ユニット５４と、第１の通信ユニット５５とを含む。
【００２７】
装着座５１は、対象者９００の口蓋９０４および上歯９０６の形状に合うように形成されている。具体的には、装着座５１は、対象者９００の口腔９０３に装着された際に、対象者９００の上歯９０６に係合し且つ口蓋９０４に当接するように形成されている。装着座５１を固定するために追加の構成部材として例えば粘着物や位置決め部材を用いることも可能である。つまり、装着座５１は、発話する際の対象者９００の口蓋９０４および上
歯９０６の“代役”を果たすものとなる。
【００２８】
接触検知ユニット５２は、装着座５１に設けられ、対象者９００の発話中に対象者９００の舌９０５に接触されたことを検知すると共に、その接触に基づいて接触信号を生成するように構成されている。接触検知ユニット５２は、互いに間隔を置いた複数の圧力センサ５２１（図３では図面の単純化のため一つだけ図示）と、信号プロセッサ５２２とを含む。
【００２９】
本実施形態では、圧力センサ５２１は装着座５１の底面に設けられている。該底面は、装着座５１が対象者９００の口蓋９０４に装着された際に舌９０５に向かう面である。なお、他の実施形態では、圧力センサ５２１は装着座５１に組み込まれてもよい。
【００３０】
使用に当たって、圧力センサ５２１はそれぞれ舌９０５に接触されると圧力検知信号を出力するように構成される。各々の圧力センサ５２１からの圧力検知信号には、舌９０５と接触した回数や舌９０５との接触による圧力の度合いといったデータが含まれる。
【００３１】
信号プロセッサ５２２は、対象者９００の発話中に対象者９００の舌９０５に接触されたことに基づいて圧力検知信号を処理して接触信号を生成するように構成されている。接触信号には各圧力センサ５２１によって検知された舌９０５との接触による圧力の度合いと接触の回数、および、それぞれの圧力センサ５２１から圧力検知信号を受け取った順番（即ち、複数の圧力センサ５２１における舌９０５に接触された順番）を含む。従って、接触検知ユニット５２が設けられた装着座５１が口蓋９０４および上歯９０６の代役を果たすので、対象者９００の発話中の口蓋９０４および上歯９０６に対する舌９０５の動き、例えば舌９０５と口蓋９０４／上歯９０６との接触パターンや、接触位置、接触強度などを、接触信号により示すことができる。
【００３２】
距離検知ユニット５３は、装着座５１に設けられ、対象者９００の舌９０５からの距離を検知すると共に検知した距離に基づいて距離信号を生成するように構成されている。距離検知ユニット５３は、互いに間隔を置いた複数の距離センサ５３１（図３では図面の単純化のため一つだけ図示）と、信号プロセッサ５３２とを含む。
【００３３】
距離センサ５３１は、装着座５１の底面に設けられ、装着座５１の中心線に沿って並べられている。即ち、距離センサ５３１は、装着座５１が対象者９００の口蓋９０４に装着された時に舌９０５の前後方向に並ぶ。距離センサ５３１は、舌９０５からの距離を検知すると共に距離検知信号を出力するようにそれぞれ構成されている。
【００３４】
使用に当たって、各々の距離センサ５３１は、探査信号（例えば光信号）を舌９０５に向けて発し、探査信号の舌９０５からの反射に基づいて距離検知信号を出力できる。距離センサ５３１により出力された距離検知信号を用いることにより、信号プロセッサ５３２は、対象者の発話中の舌９０５とそれぞれの距離センサ５３１との距離を測定し、距離信号を生成することができる。同様に、距離検知ユニット５３が設けられた装着座５１が口蓋９０４の代役を果たすので、発話中の口蓋９０４と舌９０５との距離の変化パターンを距離信号により示すことができる。
【００３５】
気流検知ユニット５４は、装着座５１の前部に設けられ、装着座５１が対象者９００の口蓋９０４に装着された時に口腔９０３内に露出する。気流検知ユニット５４は、対象者９００の発話中の口腔９０３内における気流を検知するためのものであり、検知した気流に基づいて気流信号を生成するように構成されている。 
【００３６】
第１の通信ユニット５５は、接触検知ユニット５２、距離検知ユニット５３、気流検知
ユニット５４によりそれぞれ生成された信号を発話認識装置６に伝送するために、発話認識装置６にワイヤレスで接続される。第１の通信ユニット５５と発話認識装置６との間でのデータ伝送は、ＡＮＴ＋プロトコル、ブルートゥース（登録商標）、ＺｉｇＢｅｅ（登録商標）、近距離無線通信（ＮＦＣ）などを通して行なうことができる。
【００３７】
本実施形態においては、第１の通信ユニット５５と、信号プロセッサ５２２、５３２とは、装着座５１に嵌め込まれた回路基板５０に統合されている。
【００３８】
図１〜図３に示されているように、発話認識装置６は、装身具３に取り付けられており、第２の通信ユニット６１、スイッチユニット６２、発話認識ユニット６３、送信ポート６４、記憶媒体６５を含む。
【００３９】
第２の通信ユニット６１は、第１の通信ユニット５５と通信可能となっている。即ち、第２の通信ユニット６１は、接触検知ユニット５２からの接触信号、距離検知ユニット５３からの距離信号、気流検知ユニット５４からの気流信号をそれぞれ受信できる。第２の通信ユニット６１は更に例えば伝送ケーブルを用いて画像取得装置４と接続され、唇９０２の画像を受信する。受信されたデータは記憶媒体６５に記憶される。
【００４０】
スイッチユニット６２は、手動スイッチ６２１を含む。手動スイッチ６２１がオンに切り替えられると、起動コマンドが画像取得装置４と口腔内検知装置５とに送信され、これら装置が起動し、対象者９００の唇９０２の画像と、接触信号と、距離信号と、気流信号とが取得される。
【００４１】
発話認識ユニット６３は、データベース６３１と、唇動作分析モジュール６３２と、接触分析モジュール６３３と、距離分析モジュール６３４と、気流解析モジュール６３５と、パラメータ収集モジュール６３６と、発話合成モジュール６３７と、単語検索モジュール６３８とを含む。
【００４２】
データベース６３１には、複数の発話パラメータセットと、それぞれ各発話パラメータセットと関連付けられた複数の発音データセットと、発音データセットの少なくとも一つの特定の組み合わせとそれぞれ関連付けられた複数の単語データセットとが保存されている。
【００４３】
本実施形態においては、各々の発音データセットは、発話音の単位である音節に個別に関連付けられており、各々の単語データセットは、一つまたはそれ以上の音節の特定の組み合わせである一つの単語に関連付けられている。
【００４４】
唇動作分析モジュール６３２には、唇９０２の異なる動作にそれぞれ関連付けられている複数の唇パラメータが保存されている。唇動作分析モジュール６３２は、唇９０２の画像を解析して対象者９００の発話中に唇９０２においていずれの動作が生じたかを判断する上に、その唇９０２の動作に関連付けられている対応の一つの唇パラメータを取得できるようにプログラムされている。
【００４５】
接触分析モジュール６３３には、舌９０５との異なる接触パターンにそれぞれ関連付けられている複数の口蓋パラメータが保存されている。接触分析モジュール６３３は、接触信号を解析して発話中に舌９０５とのいずれの接触パターンが発生したかを判断する上に、その接触パターンに関連付けられている対応の一つの口蓋パラメータを取得できるようにプログラムされている。
【００４６】
距離分析モジュール６３４には、複数の舌パラメータが保存されている。舌パラメータ
は、距離検知ユニット５３と対象者９００の舌９０５との距離（即ち、口蓋９０４と舌９０５との距離)の異なる変化パターンにそれぞれ関連付けられている。距離分析モジュー
ル６３４は、距離信号を解析して発話中にいずれの距離変化パターンが発生したかを判断する上に、その距離変化パターンに関連付けられている対応の一つの舌パラメータを取得できるようにプログラムされている。
【００４７】
気流解析モジュール６３５には、対象者９００の口腔９０３内における気流の異なる変化パターンにそれぞれ関連付けられている複数の気流パラメータが保存されている。気流解析モジュール６３５は、気流信号を解析して発話中の口腔９０３内においていずれの気流変化パターンが発生したかを判断する上に、その気流変化パターンに関連付けられている対応の一つの気流パラメータを取得できるようにプログラムされている。 
【００４８】
パラメータ収集モジュール６３６は、唇動作分析モジュール６３２により取得された唇パラメータ、接触分析モジュール６３３により取得された口蓋パラメータ、距離分析モジュール６３４により取得された舌パラメータ、気流解析モジュール６３５により取得された気流パラメータを収集して、それらパラメータを基に発話の内容に対応する発話パラメータセットを生成するようにプログラムされている。
【００４９】
発話合成モジュール６３７は、パラメータ収集モジュール６３６により生成された発話パラメータセットを、データベース６３１に保存されている発話パラメータセットとそれぞれ比較して、パラメータ収集モジュール６３６により生成された発話パラメータセットと一致する発話パラメータセットに関連付けられた一つの発音データセットを取得して、少なくともその一つの取得された発音データセットから合成発音信号を生成すると共に、この合成発音信号を出力装置７に送信するようにプログラムされている。そして、合成発音信号は記憶媒体６５に保存される。
【００５０】
合成発音信号を生成するに当たって、発話合成モジュール６３７は、各発音データセットを一つの音節として扱い、その（それらの）音節を用いて少なくとも一つの単語の発音を合成するが、他の実施形態においては、様々な方法が用いられ、例えば波形接続合成（concatenative synthesis）、フォルマント合成（formant synthesis）、ダイフォン合成(diphone synthesis)、分野限定合成（domain-specific synthesis）、正弦波合成(sine wave synthesis)などを用いることができる。
【００５１】
なお、データベース６３１に保存されているいずれの発話パラメータセットも、パラメータ収集モジュール６３６により生成された発話パラメータセットと一致しなかった場合、発話合成モジュール６３７は、通知信号を生成して対象者９００に知らせる。
【００５２】
単語検索モジュール６３８は、複数の単語データセットの中から、合成発音信号を生成するのに用いられた発音データセットと関連付けられた一つの単語データセットを検索し、その一つの単語データセットを出力するべく第２の通信ユニット６１を介して出力装置７に送信するようにプログラムされている。
【００５３】
単語検索モジュール６３８は、単語データセットを検索する精度を向上するために更に意味解析機能を有するようにすることもできる。
【００５４】
送信ポート６４は、タブレットコンピュータ、スマートフォン、ラップトップコンピュータ、パーソナルコンピュータなどの電子装置（図示せず）とケーブル接続できるようにするためのマイクロＵＳＢポートを含めることもできる。接続された際に、送信ポート６４は、発話認識装置６の設定を変更したり記憶媒体６５に保存されているデータにアクセスしたりするためのインターフェースを電子装置に提供する。
【００５５】
出力装置７は、合成発音信号を出力するための音声出力モジュール７１と、発話認識装置６から受信した単語データセットに基づいて単語を表示するためのディスプレイモジュール７２とを含む。
【００５６】
図２に示されているように、本実施形態では、音声出力モジュール７１として、延伸部３３の自由端に設けたマイクロフォンが用いられ、該マイクロフォンは発話認識装置６から合成発音信号を受信するために延伸部３３内のケーブルワイヤを介して発話認識装置６に接続されている。 
【００５７】
ディスプレイモジュール７２としては、ディスプレイ画面を有し対象者９００によって扱われるタブレットコンピュータが用いられる。ディスプレイモジュール７２は更に、単語検索モジュール６３８によって検索された単語データセットを受信するために、第２の通信ユニット６１とワイヤレス通信できる第３の通信ユニット７２１を含んでもよい。
【００５８】
対象者９００が当該発話認識システムを使用するにあたっては、セットアップ作業がまず行なわれる。 
【００５９】
セットアップ作業では、まず装身具３が対象者９００の頭部９０１に装着される。次いで画像取得装置４が対象者９００の唇９０２の画像を取得できるようにするべく延伸部３３が位置調整される。そして口腔内検知装置５の装着座５１が対象者９００の口腔９０３内に置かれる。
【００６０】
その後、対象者９００により発話認識システムを着用しながらいくつかの特定の単語を発話することが要される。これにより発話認識システムは、対象者９００がそれらの単語を発話する間、唇の動き、圧力センサ５２１と舌９０５との接触パターン、各距離センサ５３１と舌９０５との距離の変化パターン、口腔９０３内の気流を含む発話情報を解析し記録することができる。セットアップ作業における上述の解析は、上記説明でそれぞれ示したものと同様であり、関連の各パラメータが発話認識ユニット６３の対応のモジュール６３２〜６３５に保存される。
【００６１】
記録された情報は、対象者９００によって発話された単語を構成する特定の音節に関連付けられる発話パラメータセットを設定するために用いられ、設定された発話パラメータセットがデータベース６３１に保存されると、セットアップ作業が完了する。
【００６２】
発話認識システムを実際に使用する際（つまり、対象者９００が口述でメッセージを伝えようとするとき）には、対象者９００は、装身具３と口腔内検知装置５を装着しており、手動スイッチ６２１をオンに切り替える。すると、第２の通信ユニット６１により起動コマンドが画像取得装置４と口腔内検知装置５とに送信され、これら装置が起動する。
【００６３】
対象者９００が発話する間、画像取得装置４と口腔内検知装置５とは、上記セットアップ作業と同様の方法で上記発話情報を取得する。その結果、発話認識ユニット６３のパラメータ収集モジュール６３８は、発話の内容に対応する発話パラメータセットを生成することができるようになり、出力装置７は、発話パラメータセットに関連する合成発音信号や単語データセットを出力できるようになる。
【００６４】
データベース６３１に保存されている発話パラメータセットに発話の内容が対応しなかった場合、出力装置７は発話認識ユニット６３により制御されて対象者９００に通知を出し、認識のために対象者９００に再び発話するよう促す。
【００６５】
メッセージを口述した後、対象者９００は、画像取得装置４と口腔内検知装置５とを終了させるために手動スイッチ６２１をオフにすることができる。
【００６６】
本実施形態において、音声出力モジュール７１は対象者９００の口の付近に設けられるが、変化形態として、音声出力モジュール７１をディスプレイモジュール７２と一体に設けることもできる。 
【００６７】
また、音声出力モジュール７１かディスプレイモジュール７２かのいずれかがあれば通常はメッセージを他者に伝えるのに不足はないため、変化形態として、音声出力モジュール７１とディスプレイモジュール７２とのいずれかを省くこともできる。
【００６８】
本実施形態が気流検知ユニット５４を含んでいるのは、発音データセットの取得と、音声出力モジュール７１が合成発音信号を出力する際の音量調整とにおける精度の向上のためであり、他の実施形態においては、気流検知ユニット５４を省くこともできる。
【００６９】
図６と図７には、本発明に係る発話認識システムの第２の実施形態が示されている。本実施形態においては、装身具３（図２参照）が省かれている上に、画像取得装置４と、発話認識装置６と、出力装置７とが電子装置８００（例えば本実施形態ではラップトップ式のコンピュータ）と一体に構成されている。具体的に言うと、コンピュータの内蔵カメラ、アプリケーションプログラムを実行する中央処理器（ＣＰＵ）、内蔵スピーカー、スクリーンが、それぞれ画像取得装置４、発話認識装置６、音声出力モジュール７１、ディスプレイモジュール７２の役目を果たす。 
【００７０】
使用に当たっては、対象者９００が電子装置８００の方を向くと、対象者９００の唇の動き（図２参照）が電子装置８００の内蔵カメラによって撮影され、合成発音信号が内蔵スピーカーによって出力される。本実施形態によれば、対象者９００は装身具３の着用を必要とせずに、第１の実施形態の効果を達成する事ができる。
【００７１】
また、本実施形態は、電子装置８００を利用した遠隔会話に関連する応用に役立ち得る。
【００７２】
図８と図９には、本発明に係る発話認識システムの第３の実施形態が示されている。本実施形態においては、第１の通信ユニット５５として、装着座５１を第２の通信ユニット６１に物理的に連結するワイヤーが用いられている。
【００７３】
この形態の場合、信号を処理するための構成要素、例えば信号プロセッサ５２２、５３２は、装着座５１に設ける替わりに装身具３に設けてもよい。圧力センサ５２１（図９では一つだけ図示）と各距離センサ５３１（図９では一つだけ図示）とによりそれぞれ生成された信号は、第１の通信ユニット５５を介して信号プロセッサ５２２、５３２に送信され処理される。よって、装着座５１は、組み込む構成要素が減ることにより、そのサイズをより小さく作製することができる。
【００７４】
図１０には、一実施形態に基づく、本発明に係る発話認識システムにより実施される発話認識方法の手順が示されている。本実施形態では、上述の第１の実施形態の発話認識システムが用いられる。
【００７５】
併せて図２を参照されたい。ステップ１０２において、発話認識システムの構成要素、具体的には装身具３と口腔内検知装置５とが対象者９００に装着され、手動スイッチ６２１が対象者９００によりオンに切り替えられる。
【００７６】
次に、ステップ１０４において画像取得装置４が対象者９００の唇９０２の画像を継続的に取得し始め、ステップ１０６において口腔内検知装置５が対象者９００の舌９０５との接触および距離を検知し始め、その間に対象者９００が発話を始める。
【００７７】
ステップ１０８において、口腔内検知装置５は対象者９００の発話中における舌９０５との接触に基づいて接触信号を生成すると共に、舌９０５との距離に基づいて距離信号を生成する。
【００７８】
ステップ１１０において、発話認識装置６は、対象者９００の唇９０２の画像を画像取得装置４から受信すると共に、接触信号と距離信号とを口腔内検知装置５から受信する。
【００７９】
ステップ１１２において、発話認識装置６は、唇９０２の画像および接触信号と距離信号を処理して、対象者９００の発話内容を取得する。
【００８０】
ステップ１１４において、対象者９００の発話の内容が出力のために出力装置７に送信される。
【００８１】
上記をまとめると、本開示で示された発話認識システムおよび発話認識方法は、発話パラメータセット、発音データセット、単語データセットを含むデータベースを構築するためにまず対象者９００の発話に関する必要な情報を記録するように構成される。使用の際には、対象者９００の発話に伴って、発話認識システムは、合成発音信号を生成するために必要な情報を検知することができる。そして合成発音信号は出力装置７により出力することができ、これにより他者は対象者９００が構音障害を有していてもその発話の内容を理解することができるようになる。
【００８２】
以上、本発明を実用的な実施形態と考えられるものに関して記述してきたが、本発明は、開示した実施形態に制限されることなく、同様の修正および等価な配置のすべてを包含するような、最も広い解釈の精神および範囲内に含まれる様々なアレンジをカバーするように意図されることが理解される。
【図１】
2018028681.tif 000003
【図２】
2018028681.tif 000004
【図３】
2018028681.tif 000005
【図４】
2018028681.tif 000006
【図５】
2018028681.tif 000007
【図６】
2018028681.tif 000008
【図７】
2018028681.tif 000009
【図８】
2018028681.tif 000010
【図９】
2018028681.tif 000011
【図１０】
2018028681.tif 000012
【手続補正書】
【提出日】平成29年10月11日(2017.10.11)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
対象者(900)に用いられる発話認識システム(3)であって、
前記対象者(900)の発話中に前記対象者(900)の唇(902)の画像を継続的に取得する画像取得装置(4)と、
前記対象者(900)の口腔(903)内で前記対象者(900)の口蓋に装着されるように構成された装着座(51)と、前記装着座(51)に配置され、前記対象者(900)の発話中に前記対象者(900)の舌(905)との接触を検知して、その舌(905)との接触に基づいて接触信号を生成するように構成された接触検知ユニット(52)と、前記装着座(51)に配置され、前記対象者(900)の舌(905)との距離を検知して、その舌(905)との距離に基づいて距離信号を生成するように構成された距離検知ユニット(53)と、を含む、口腔内検知装置(5)と、
前記対象者(900)の唇(902)の画像と、前記接触信号と、前記距離信号とをそれぞれ受信するように前記画像取得装置(4)と前記口腔内検知装置(5)に接続されると共に、前記唇(902)の画像と前記接触信号と前記距離信号とを処理して前記対象者(900)の発話内容を取得するようにプログラムされている発話認識装置(6)と、を具え、
前記発話認識システム(3)を用いる前記対象者(900)は構音障害を有しており、
前記発話認識装置(6)は、
前記唇(902)の異なる動作にそれぞれ関連付けられている複数の唇パラメータを保存している上に、前記唇(902)の画像を解析して前記対象者(900)の発話中に前記唇(902)のいずれの動作が生じたかを判断し、その前記唇(902)の動作に関連付けられている、対応の一つの前記唇パラメータを取得するようにプログラムされている唇動作分析モジュール(632)と、
前記舌(905)との異なる接触パターンにそれぞれ関連付けられている複数の口蓋パラメータを保存している上に、前記接触信号を解析して発話中に舌(905)とのいずれの接触パターンが発生したかを判断し、その接触パターンに関連付けられている、対応の一つの前記口蓋パラメータを取得できるようにプログラムされている接触分析モジュール(633)と、
前記距離検知ユニット(53)と前記対象者(900)の舌(905)との距離の異なる変化パターンにそれぞれ関連付けられている複数の舌パラメータを保存している上に、前記距離信号を解析して発話中にいずれの距離変化パターンが発生したかを判断し、その距離変化パターンに関連付けられている、対応の一つの前記舌(905)パラメータを取得できるようにプログラムされている距離分析モジュール(634)と、
前記対応の一つの前記唇パラメータと、前記対応の一つの前記口蓋パラメータと、前記対応の一つの前記舌(905)パラメータとを収集して前記発話内容に対応する発話パラメータセットを生成するようにプログラムされているパラメータ収集モジュール(636)と、を含む、発話認識システム(3)。
【請求項２】
前記発話認識装置(6)に接続されて前記発話認識装置(6)から前記発話内容を受信すると共に前記発話内容を出力する出力装置(7)を更に具える、請求項１に記載の発話認識システム(3)。
【請求項３】
前記接触検知ユニット(52)は、
それぞれ前記舌(905)に接触されると圧力検知信号を出力するように構成された互いに間隔を置いた複数の圧力センサ(521)と、 
前記圧力検知信号を処理して前記接触信号を生成するように構成された信号プロセッサ(522)と、を含む、請求項１に記載の発話認識システム(3)。
【請求項４】
前記距離検知ユニット(53)は、 
前記装着座(51)が前記対象者(900)の口蓋に装着された時に前記舌(905)に向かう面である前記装着座(51)の底面に複数が互いに間隔を置いて設けられ、それぞれ前記舌(905)からの距離を検知して距離検知信号を出力するように構成された距離センサ(531)と、
前記距離検知信号を処理して前記距離信号を生成するように構成された信号プロセッサ(532)と、を含む、請求項１に記載の発話認識システム(3)。
【請求項５】
前記口腔内検知装置(5)は、前記装着座(51)に配置され、前記対象者(900)の口腔(903)内での気流を検知して気流信号を生成する気流検知ユニット(54)を更に含む、請求項１に記載の発話認識システム(3)。
【請求項６】
前記発話認識装置(6)は、前記対象者(900)の口腔(903)内における気流の異なる変化パターンにそれぞれ関連付けられている複数の気流パラメータを保存している気流解析モジュール(635)を更に含み、前記気流解析モジュール(635)は、
発話中の前記口腔(903)内においていずれの気流変化パターンが発生したかを判断するために気流信号を解析し、
その気流変化パターンに関連付けられている、対応の一つの前記気流パラメータを取得するようにプログラムされていて、
前記パラメータ収集モジュール(636)は、前記対応の一つの前記気流パラメータを更に収集して前記発話パラメータセットを生成する、請求項５に記載の発話認識システム(3)。
【請求項７】
前記口腔内検知装置(5)と前記発話認識装置(6)とはそれぞれ、前記口腔内検知装置(5)と前記発話認識装置(6)との間で信号を送信し合うための通信ユニット(55、61)を含む、請求項１に記載の発話認識システム(3)。
【請求項８】
前記口腔内検知装置(5)は、オンに切り替えられたときに、前記画像取得装置(4)と前記口腔内検知装置(5)とを起動させて前記対象者(900)の唇(902)の画像と前記接触信号と前記距離信号とを取得するために前記画像取得装置(4)と前記口腔内検知装置(5)とに起動コマンドを送信するスイッチユニット(62)を含む、請求項１に記載の発話認識システム(3)。
【請求項９】
前記発話認識装置(6)は、 
複数の発話パラメータセットと各前記発話パラメータセットにそれぞれ関連付けられた複数の発音データセットとを保存しているデータベース(631)と、発話合成モジュール(637)とを更に含み、
前記発話合成モジュール(637)は、
前記パラメータ収集モジュール(636)により生成された前記発話パラメータセットと、前記データベース(631)に保存されている各前記発話パラメータセットとを比較し、
前記パラメータ収集モジュール(636)により生成された前記発話パラメータセットと一致する一つの前記発話パラメータセットに関連する一つの前記発音データセットを取得し、
前記一つの前記発音データセットから合成発音信号を生成するようにプログラムされていて、且つ、
前記発話認識システム(3)は、前記発話認識装置(6)に接続されていて前記合成発音信号を受信する上に前記発話内容として前記合成発音信号を出力する出力装置(7)を更に具える、請求項１に記載の発話認識システム(3)。
【請求項１０】
前記データベース(631)は、前記発音データセットの少なくとも一つの特定の組み合わせとそれぞれ関連付けられた複数の単語データセットを更に保存していて、
前記発話認識装置(6)は、単語検索モジュールを更に含み、前記単語検索モジュールは、前記合成発音信号を生成するのに用いられた前記一つの前記発音データセットと関連付けられた一つの前記単語データセットを検索し、前記一つの前記単語データセットを出力するべく前記出力装置(7)に送信するようにプログラムされている、請求項９に記載の発話認識システム(3)。
【請求項１１】
前記出力装置(7)は、前記合成発音信号を出力する音声出力モジュール(71)と、前記一つの前記単語データセットを表示するディスプレイモジュール(72)とを更に含む、請求項１０に記載の発話認識システム(3)。
【請求項１２】
前記対象者(900)に装着される主要部と、前記主要部に連結され且つ前記主要部から前方に延伸する延伸部とを含む装身具を更に具え、前記画像取得装置(4)と前記音声出力モジュール(71)とが前記延伸部に配置されている、請求項１１に記載の発話認識システム(3)。
【請求項１３】
画像取得装置(4)に接続され、前記画像取得装置(4)から対象者(900)の唇(902)の画像を受信すると共に、口腔内検知装置(5)に接続され、前記対象者(900)の発話中における前記口腔内検知装置(5)の前記対象者(900)の舌(905)との接触に関連する接触信号と、前記口腔内検知装置(5)の前記舌(905)との距離に関連する距離信号とを受信する発話認識装置(6)であって、
前記唇(902)の異なる動作にそれぞれ関連付けられている複数の唇パラメータを保存している上に、前記対象者(900)の発話中に前記唇(902)のいずれの動作が生じたかを判断するために前記唇(902)の画像を解析し、その前記唇(902)の動作に関連付けられている、対応の一つの前記唇パラメータを取得するようにプログラムされている唇動作分析モジュール(632)であって、前記発話認識装置(6)を用いる前記対象者(900)は構音障害を有している唇動作分析モジュール(632)と、
前記舌(905)との異なる接触パターンにそれぞれ関連付けられている複数の口蓋パラメータを保存している上に、発話中に前記舌(905)とのいずれの接触パターンが発生したかを判断するために前記接触信号を解析し、その接触パターンに関連付けられている、対応の一つの前記口蓋パラメータを取得できるようにプログラムされている接触分析モジュール(633)と、
距離検知ユニット(53)と前記対象者(900)の舌(905)との距離の変化パターンにそれぞれ関連付けられている複数の舌パラメータを保存している上に、発話中にいずれの距離変化パターンが発生したかを判断するために前記距離信号を解析し、その距離変化パターンに関連付けられている、対応の一つの前記舌(905)パラメータを取得できるようにプログラムされている距離分析モジュール(634)と、
前記対応の一つの前記唇パラメータと、前記対応の一つの前記口蓋パラメータと、前記対応の一つの前記舌(905)パラメータとを収集して発話内容に対応する発話パラメータセットを生成するようにプログラムされているパラメータ収集モジュール(636)と、を具える、発話認識装置(6)。
【請求項１４】
前記対象者(900)の口腔(903)内における気流に関連する気流信号を更に受信すると共に、気流解析モジュール(635)を更に具え、 
前記気流解析モジュール(635)は、
前記対象者(900)の口腔(903)内における気流の変化パターンにそれぞれ関連付けられている複数の気流パラメータを保存し、 
前記気流信号を解析して発話中の前記口腔(903)内においていずれの気流変化パターンが発生したかを判断し、
その気流変化パターンに関連付けられている、対応の一つの気流パラメータを取得するようにプログラムされていて、
前記パラメータ収集モジュール(636)は、前記対応の一つの前記気流パラメータを更に収集して前記発話パラメータセットを生成する、請求項１３に記載の発話認識装置(6)。
【請求項１５】
複数の発話パラメータセットと各前記発話パラメータセットにそれぞれ関連付けられた複数の発音データセットとを保存しているデータベース(631)と、発話合成モジュール(637)とを更に具え、
前記発話合成モジュール(637)は、
前記パラメータ収集モジュール(636)により生成された前記発話パラメータセットと、前記データベース(631)に保存されている各前記発話パラメータセットとを比較し、
前記パラメータ収集モジュール(636)により生成された前記発話パラメータセットと一致する一つの前記発話パラメータセットに関連する一つの前記発音データセットを取得し、
前記一つの前記発音データセットから合成発音信号を生成するようにプログラムされていて、且つ、
前記発話認識装置(6)は、前記合成発音信号を受信する上に前記発話内容として前記合成発音信号を出力する出力装置(7)に更に接続されている、請求項１３に記載の発話認識装置(6)。
【請求項１６】
前記データベース(631)は、前記発音データセットの少なくとも一つの特定の組み合わせとそれぞれ関連付けられた複数の単語データセットを更に保存しており、
前記合成発音信号を生成するのに用いられた前記一つの前記発音データセットと関連付けられた一つの前記単語データセットを検索し、前記一つの前記単語データセットを出力するべく前記出力装置(7)に送信するようにプログラムされている単語検索モジュールを更に含む、請求項１５に記載の発話認識装置(6)。
【請求項１７】
対象者(900)に用いられ、発話認識システム(3)によって実行される発話認識方法であって、前記発話認識システム(3)は、画像取得装置(4)と、前記対象者(900)の口腔(903)内で前記対象者(900)の口蓋に装着される口腔内検知装置(5)と、前記画像取得装置(4)と前記口腔内検知装置(5)とに接続された発話認識装置(6)を含むものであり、
前記画像取得装置(4)によって前記対象者(900)の発話中に前記対象者(900)の唇(902)の画像を継続的に取得するステップであって、前記発話認識システム(3)を用いる前記対象者(900)は構音障害を有しているステップと、
前記口腔内検知装置(5)によって前記対象者(900)の舌(905)との接触を検知して、その前記舌(905)との接触に基づいて接触信号を生成するステップと、
前記口腔内検知装置(5)によって前記対象者(900)の発話中に前記対象者(900)の舌(905)との距離を検知して、その前記舌(905)との距離に基づいて距離信号を生成するステップと、
前記発話認識装置(6)によって前記対象者(900)の唇(902)の画像を前記画像取得装置(4)から受信すると共に前記口腔内検知装置(5)から前記接触信号と前記距離信号とを受信するステップと、
前記発話認識装置(6)によって前記唇(902)の画像と前記接触信号と前記距離信号とを処理して前記対象者(900)の発話内容を取得するステップと、を具えており、
前記発話認識装置(6)の前記処理は、
唇動作分析モジュール(632)によって前記唇(902)の異なる動作にそれぞれ関連付けられている複数の唇パラメータを保存している上に、前記唇(902)の画像を解析して前記対象者(900)の発話中に前記唇(902)のいずれの動作が生じたかを判断し、その前記唇(902)の動作に関連付けられている、対応の一つの前記唇パラメータを取得するステップと、
接触分析モジュール(633)によって前記舌(905)との異なる接触パターンにそれぞれ関連付けられている複数の口蓋パラメータを保存している上に、前記接触信号を解析して発話中に舌(905)とのいずれの接触パターンが発生したかを判断し、その接触パターンに関連付けられている、対応の一つの前記口蓋パラメータを取得するステップと、
距離分析モジュール(634)によって前記距離検知ユニット(53)と前記対象者(900)の舌(905)との距離の異なる変化パターンにそれぞれ関連付けられている複数の舌パラメータを保存している上に、前記距離信号を解析して発話中にいずれの距離変化パターンが発生したかを判断し、その距離変化パターンに関連付けられている、対応の一つの前記舌(905)パラメータを取得するステップと、
パラメータ収集モジュール(636)によって前記対応の一つの前記唇パラメータと、前記対応の一つの前記口蓋パラメータと、前記対応の一つの前記舌(905)パラメータとを収集して前記発話内容に対応する発話パラメータセットを生成するステップと、を含む、発話認識方法。
【請求項１８】
前記発話認識システム(3)は、前記発話認識装置(6)に接続されている出力装置(7)を更に含むものであって、 
前記出力装置(7)によって前記発話認識装置(6)から前記発話内容を受信して前記発話内容を出力するステップを更に具える、請求項１７に記載の発話認識方法。 
【外国語明細書】
2018028681000001.pdf
2018028681000002.pdf
2018028681000003.pdf
2018028681000004.pdf