(57)【要約】【課題】人間の発話機構により近く、人間の発話を再現することが可能な音声生成装置を提供する。【解決手段】音声生成装置２０００は、人間の口蓋形状を模した口蓋構造部２０１０と、唇部２０１６と、口蓋構造部２０１０内に設けられ、声道形状を可変に変更する舌部２０２０と、舌部２０２０の立体形状の変形を駆動するための舌駆動機構２０５０と、呼気に相当する空気流を生成するための肺機構２０６０と、肺機構２０６０からの空気流により振動し、音源となる声帯駆動機構２０７０と、舌駆動機構２０５０、肺機構２０６０および声帯駆動機構２０７０を制御するため制御信号を生成する制御部２１００とを備える。【選択図】図２
2007140154.tif 000002
【特許請求の範囲】
【請求項１】
音声生成装置であって、
鼻腔に対応する空洞と口蓋に対応する空洞とが設けられた口蓋構造部と、
前記口蓋構造部の前記口蓋に対応する空洞内に設けられ、立体形状を変更することで、前記口蓋内の声道形状を変形可能な舌部と、
前記舌部の形状を変形するための舌駆動部と、
呼気を生成するための肺機構部と、
前記肺機構部からの前記呼気により振動して音源となり前記声道を介して音声を出力するための声帯駆動部と、
前記音声生成装置の動作を制御するための制御信号を生成する制御部とを備え、
前記制御部は、
人間の舌形状の発声時の変形を核磁気共鳴装置により観察することにより得られた変形データに基づく制御パラメータを格納するための記憶部と、
前記制御パラメータに基づいて、前記舌駆動部を制御する制御処理部とを含む、音声生成装置。
【請求項２】
前記変形データは、前記舌形状の前後方向、上下方向および左右方向の変形に関する情報を含む、請求項１記載の音声生成装置。
【請求項３】
前記変記データは、舌深動脈の舌背付近での屈曲点を血管指標とするとき、前記血管指標の前後、上下、左右の移動に対応する情報である、請求項２記載の音声生成装置。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、生体の断層撮影を行なう核磁気共鳴画像化（ＭＲＩ : Magnetic Resonance Imaging) 装置を利用して得られたデータに基づいて音声を生成する音声生成装置の構成に関する。
【背景技術】
【０００２】
従来の技術として、人間の発声系のメカニズムをロボット工学的な視点から明らかにすることを目的として、肺・声帯・口腔および鼻腔を有し、人間の発声動作を模擬した発話ロボットが報告されている（たとえば、非特許文献１を参照）。
【０００３】
この非特許文献１に開示された技術では、試作された発話ロボットにおいて、人間の母音発声の識別上重要な音響パラメータである第１、第２フォルマントの発声につき、上記発話ロボットの発声における母音の音響特性が測定されている。
【０００４】
ただし、発話ロボットの発声は、人間に近づいているとはいえ、人間の自然な音声を生成するにはいたっていない。
【０００５】
このような発話ロボットの発声の音響特性を左右する重要な要素として、舌部の形状の制御が挙げられる。非特許文献１では、舌部の自由度を高めることで、より人間に近い声道断面形状を作り出している。
【０００６】
しかしながら、発話ロボットにより人間の自然な音声を生成するためには、人間の舌部と同等程度な自由度を持って立体的に変形可能な舌部およびその駆動機構を設けることが必要である。
【０００７】
このような発声中の人間の舌部の立体形状の観察手法として、ＭＲＩを用いた結果が、すでに報告されている（たとえば、非特許文献２、非特許文献３を参照）。
【０００８】
ここで、非特許文献２においては、母音発声時の被験者の矢状正中面における各母音のける舌背のマーカの移動と各種筋長計測結果、ならびに舌の断面積の計測結果について報告されている。
【０００９】
また、非特許文献３においては、矢状面および冠状面のＭＲＩ観察により、舌の立体形状の変化の観測結果が報告されている。ここでは、舌動脈の舌背部における屈曲点を利用して、舌の左右方向の変形についても計測されている。
【００１０】
なお、ここで、ＭＲＩとは、生体の脳や全身の断面を画像化する方法として、生体中の原子、特に、水素原子の原子核に対する核磁気共鳴現象を利用したものであり、人間の臨床画像診断等に使用されている。
【００１１】
磁気共鳴画像法は、それを人体に適用する場合、同様の人体内断層画像法である「Ｘ線ＣＴ」に比較して、たとえば、以下のような特徴がある。
【００１２】
（１）水素原子の分布と、その信号緩和時間（原子の結合の強さを反映）に対応した濃度の画像が得られる。このため、組織の性質の差異に応じた濃淡を呈し、組織の違いを観察しやすい。
【００１３】
（２）磁場は、骨による吸収がない。このため、骨に囲まれた部位（頭蓋内、脊髄など）を観察しやすい。
【００１４】
（３）Ｘ線のように人体に害になるということがないので、広範囲に活用できる。
このため、ＭＲＩは、発声中の舌形状の観察には、適した観察手法であるといえる。
【非特許文献１】西川員史、他著、「人間に近い声帯・声道形状変更機構による新型発話ロボットの音声生成」、日本音響学会講演論文集、３−８−２１、２００３年９月、ｐ．３０９−３１０
【非特許文献２】高野佐代子、本田清志著、「母音発声における舌筋の筋長と舌形状との関係」、日本音響学会講演論文集、３−２−１１、２００１年１０月、ｐ．３２５−３２６
【非特許文献３】高野佐代子、本田清志、党建武著、「ＭＲＩによる母音発声時の舌変形の計測とそのモデル化」、日本音響学会講演論文集、２−１０−１０、２００２年９月、ｐ．３０５−３０６
【発明の開示】
【発明が解決しようとする課題】
【００１５】
従来の発話ロボットでは、舌表面の運動のみが着目され、その内部変形については手法の困難さから、舌筋の機能とその運動についてはほとんど知られていなかった。
【００１６】
しかし、理想的には舌の運動を立体的にコントロールすることにより自然な発声を行うことが最も人間に近いと考えられ、これを実現するためには実際の舌の内部変形を計測し、得られた舌運動の結果からロボットの制御を行うことが望ましい。
【００１７】
つまり、実際の人間の舌部の立体的な形状が、発声に際してどのように変化しているかを計測し、これをパラメータ化して、発話ロボットの舌部の駆動機構を制御することが必要になる。
【００１８】
本発明は、上記のような問題点を解決するためになされたものであって、その目的は、人間の発話機構により近く、人間の発話を再現することが可能な音声生成装置を提供することである。
【課題を解決するための手段】
【００１９】
この発明の１つの局面に従うと、音声生成装置であって、鼻腔に対応する空洞と口蓋に対応する空洞とが設けられた口蓋構造部と、口蓋構造部の口蓋に対応する空洞内に設けられ、立体形状を変更することで、口蓋内の声道形状を変形可能な舌部と、舌部の形状を変形するための舌駆動部と、呼気を生成するための肺機構部と、肺機構部からの呼気により振動して音源となり声道を介して音声を出力するための声帯駆動部と、音声生成装置の動作を制御するための制御信号を生成する制御部とを備え、制御部は、人間の舌形状の発声時の変形を核磁気共鳴装置により観察することにより得られた変形データに基づく制御パラメータを格納するための記憶部と、制御パラメータに基づいて、舌駆動部を制御する制御処理部とを含む。
【００２０】
好ましくは、変形データは、舌形状の前後方向、上下方向および左右方向の変形に関する情報を含む。
【００２１】
好ましくは、変記データは、舌深動脈の舌背付近での屈曲点を血管指標とするとき、血管指標の前後、上下、左右の移動に対応する情報である。
【発明を実施するための最良の形態】
【００２２】
以下、図面を参照して本発明の実施の形態について説明する。
［磁気共鳴画像化装置の構成および動作］
図１は、ＭＲＩ装置１０００の構成を示す機能ブロック図である。
【００２３】
図１を参照して、ＭＲＩ装置１０００は、被験者１０を支持するための台部１２と、静磁界を生成するための静磁場コイル１００と、後に説明するように被験者における観測断面（スライス）の位置およびスライス内の位置の情報を観測信号に付与するための傾斜磁場コイル１０２と、観測対象となる原子核に変動磁場を印加するために電磁波を出力する送信ＲＦコイル１０４と、観測対象となる原子核からの信号を受信するための受信ＲＦコイル１０６と、コイル１００〜１０６を制御し、かつ、受信ＲＦコイル１０６で受信された信号を基に、断層画像を生成するための断層撮影制御部２００とを備える。
【００２４】
さらに、断層撮影制御部２００は、使用者からの指示等の入力を行うための入力部２１０と、測定動作の制御を行うための制御部２２０と、被験者１０の発声のタイミングの基準となるトリガ信号を制御部２２０に与えるとともに、被験者１０に発声のタイミングを知らせるためにスピーカ２３２を介して所定のリズムの刺激音を出力するトリガ生成部２３０と、制御部２２０に制御されて送信ＲＦコイル１０４に対してＲＦパルスを与えるためのＲＦパルス送信部２４０と、ＲＦコイル１０６からの信号を増幅するための信号増幅部２５０と、信号増幅部２５０からの検出信号に基づいて、フーリエ変換処理を行なうことにより、観測する断面画像を再構成するための画像再構成部２６０と、画像再構成部２６０からの情報をもとに再構成された断面画像を表示するための表示部２７０とを備える。
【００２５】
なお、トリガ生成部２３０は、ＭＲＩ装置１０００の外部のコンピュータであって、所定のインタフェースを介して制御部２２０にトリガ信号を与えるとともに、スピーカ２３２に刺激音を与える構成であってもよい。
【００２６】
また、スピーカ２３２は、被験者に上述した発声のタイミングを知らせるために所定のリズムの音を出力させることができるものであればよく、たとえば、ヘッドフォンでもよい。
【００２７】
ここで、静磁場コイル１００は、より詳しくは、たとえば、４個の空芯コイルから構成され、その組み合わせで内部に均一な磁界を作り、被験者１０の体内の水素原子核のスピンに配向性を与える。
【００２８】
送信ＲＦコイル１０４は、高周波を発して被験者１０の体内の原子核を励起し、受信ＲＦコイル１０６は、生じた核磁気共鳴を起因とする検出信号（エコー信号）を検知する。
【００２９】
傾斜磁場コイル１０２は、図示しないＸ, Ｙ, Ｚの３組の傾斜コイルを備え、Ｚコイルは励起時に、磁界強度をＺ方向に傾斜させて共鳴面を限定し、Ｙコイルは、Ｚ方向の磁界印加の直後に短時間の傾斜を加えて検出信号にＹ座標に比例した位相変調を加え（位相エンコーディング）、Ｘコイルは、続いてデータ採取時に傾斜を加えて、検出信号にＸ座標に比例した周波数変調を与える（周波数エンコーディング）。
【００３０】
すなわち、静磁界にＺ軸傾斜磁界を加えた状態にある被験者１０に、共鳴周波数の高周波電磁界を、送信ＲＦコイル１０４を通じて印加すると、磁界の強さが共鳴条件になっている部分の水素原子核が、選択的に励起されて共鳴し始める。共鳴条件に合致した部分（たとえば、被験者１０の所定の厚さの断層）にある水素原子核が励起され、スピンがいっせいに回転する。励起パルスを止めると、受信ＲＦコイル１０６には、今度は、回転しているスピンが放射する電磁波が信号を誘起し、しばらくの間、この信号が検出される。この信号によって、被験者１０の体内の、水を含んだ組織を観察する。そして、信号の発信位置を知るために、ＸとＹの傾斜磁界を加えて信号を検知する、という構成になっている。
【００３１】
制御部２２０は、励起信号を繰り返し与えつつ検出信号を測定し、画像再構成部２６０は、１回目のフーリエ変換計算により、共鳴の周波数をＸ座標に還元し、２回目のフーリエ変換でＹ座標を復元して画像を得て、表示部２７０に対応する画像を表示する。
【００３２】
さらに、制御部２２０は、撮影した断面画像について、後に説明するように、各発声音韻（たとえば、母音）について、舌の動きの指標位置を、たとえば、表示部２７０の画像を見ている使用者による入力部２１０からの指示に基づいて特定し、当該位置情報を記憶部２８０に格納する。
【００３３】
格納された指標位置情報は音韻と関連付けられたデータセットとして、インタフェース２９０を介して出力され得る。
【００３４】
［音声生成装置の構成および動作］
図２は、図１に示したＭＲＩ装置１０００により得られた指標位置情報に基づいて、人工的な舌の形状を制御することで、発話を行う音声生成装置２０００の構成を説明するための機能ブロック図である。
【００３５】
なお、以下の説明で明らかなように、広くいえば、ＭＲＩ装置１０００と、音声生成装置２０００とで、音声生成システムが構成されている。
【００３６】
図２を参照して、音声生成装置２０００は、人間の口蓋形状を模した口蓋構造部２０１０と、唇部２０１６と、口蓋構造部２０１０内に設けられ、たとえば、ゴムなどの伸縮性のある素材で形成されて声道形状を可変に変更する舌部２０２０と、舌部２０２０内の固定点２０３０にそれぞれ接続され、支持部２０４０を介して、舌部２０２０の変形を駆動するためのワイヤ束２０３２と、ワイヤ束２０３２の各ワイヤを駆動するための舌駆動機構２０５０と、呼気に相当する空気流を生成するための肺機構２０６０と、肺機構２０６０からの空気流により振動し、音源となる声帯駆動機構２０７０と、舌駆動機構２０５０、肺機構２０６０および声帯駆動機構２０７０を制御するため制御信号を生成する制御部２１００とを備える。口蓋構造部２０１０には、鼻空に相当する空洞２０１２と、口蓋に相当する空洞２０１４とが設けられている。
【００３７】
ここで、図２では、口蓋構造部２０１０の矢状断面について示している。ワイヤ束２０３２内には、実際には、図２で示している断面内だけでなく、図２の紙面に垂直方向に延在する舌部２０２０と結合しているワイヤが含まれる。たとえば、一例としては、少なくとも、図２の断面に平行に他にも２列にわたってワイヤが舌部２０２０と接続しており、図２に示す断面と合わせて、合計３列で舌部２０２０と結合しているワイヤ束により、舌部２０２０が駆動されることとしてもよい。
【００３８】
なお、唇部２０１６についても、図示しない駆動機構により突き出し形状や、その開きの度合いが制御されるものとする。また、声帯駆動機構２０７０においては、声帯を、たとえば、ゴム等で構成し、当該ゴムの伸張度合いを制御することで、基本周波数を変化させることができる。
【００３９】
特に、舌部２０２０は、その３次元形状を内部からのワイヤの引っ張りまたは押し出しにより、変形可能としているので、より人間の舌の形状変化に近づけることができる。
【００４０】
なお、舌部２０２０の形状の変形のためには、このようなワイヤによる変形だけでなく、たとえば、空気の流入と排出をワイヤによる駆動と組み合わせてもよい。あるいは、電圧の印加等により自身の形状を変化させるような材料、たとえば、電場応答性高分子材料などを利用してもよい。
【００４１】
制御部２１００は、外部、たとえば、上記ＭＲＩ装置１０００との間でデータの授受を行うためのインタフェース２１０２と、制御のための制御プログラムや、制御のためのパラメータ、たとえば、上述したような指標位置情報および音韻が関連付けられたデータセットに対応する制御パラメータ等を格納するための記憶部２１０４と、制御プログラムにしたがって、制御処理を行い、制御信号を生成するための制御処理部２１０６とを含む。
【００４２】
このような制御パラメータは、特に限定されないが、ＭＲＩ装置１０００からの上記データセットに基づいて、制御処理部２１０６が、対応する舌部２０２０の機械的特性にしたがって、変換処理を行なった上で、記憶部２１０４に格納しておくことが可能である。
【００４３】
［舌の指標位置］
図３は、舌の形状を特定するための指標である血管指標を説明するための概念図である。
【００４４】
図３（ａ）に下顎部分の左断面図を示す。また、図３（ｂ）は、下顎部分を舌の上面側から見たときの上面図を示す。
【００４５】
図３（ａ）および図３（ｂ）に示すように、舌深動脈３００は舌の内部において左右２本走行しており、舌の下方から上方に向かって走行し、舌背付近で屈曲し前方に走る。以下では、この舌深動脈３００の屈曲点を「血管指標」と呼ぶ。
【００４６】
この血管指標を用いることにより、計測が困難である舌運動の立体的な変形、すなわち舌の前後上下方向の位置情報に加えて、上下方向の膨張と圧縮、また舌の左右方向への圧縮と膨張の計測と制御に役立てることができる。これにより、舌の立体的な変形運動をより忠実に模擬することが可能となる。
【００４７】
図４は、矢上正中面において、母音と舌形状の概念図（図４（ａ））と舌深動脈のＭＲＩ画像（図４（ｂ））とを示す図である。
【００４８】
ＭＲＩのうち、ＦＳＥ（Fast Spin Echo）法と呼ばれる方法を用いた場合には血管は筋肉組織よりも輝度値が低く（画像上では黒）、またアンギオ（Angio）撮像法という方法を用いた場合には血管は輝度値が高い（画像上では白）。このような方法を用いて効果的に撮像を行うと、舌の運動に伴う血管指標の移動を可視化することができる。
【００４９】
たとえば、図４（ａ）に示すように、血管指標は／i／で高く、／a／では低い。また、血管指標は、／i／では前方にあり，／a／では後方にある。
【００５０】
図４（ｂ）において白三角で示すとおり、上記血管指標は、ＭＲＩ撮像において舌の内部で変形の指標として利用することができ、母音／ａ／，／ｉ／，／ｕ／，／ｅ／，／ｏ／を発声する際に、上下方向および前後方向について、舌の内部変形を計測できる。
【００５１】
つまり、日本語の／i／，／e／，／u／では舌が前方に移動するので、「く」の字型の血管指標も舌の運動に伴い前方に移動する。同様に／a／，／ｏ／では舌が後方に移動するがそれに伴い血管指標も後方に移動する。
【００５２】
さらに、上下の圧縮と膨張については、この血管指標が「く」の字型のため、この「く」の聞き方によって内部が上下方向に引き延ばされる力が加わっているのか、もしくは上下方向に圧縮されているのかがわかる。ここでは／ｉ／は上下方向に引き延ばされ、／a／では上下方向の圧縮の力が働いていることがわかる。
【００５３】
図５は、舌を中心とした冠状断面のＭＲＩ画像（図５（ａ））と血管指標の左右の距離ｄを示す図（図５（ｂ））である。
【００５４】
冠状断面についてＭＲＩ撮像を行うと、上記に述べた血管指標の左右方向への動きを追跡することができる。
【００５５】
つまり、まず舌前方においては血管は左右二つの点として撮像される。舌の後方に向かうにつれ、下方からつながる血管もあわせて4点の血管が観察できる。そしてこの点は右は右同士、左は左同士でつながる点が観察できる。冠状面の観察により、この点により血管指標による舌の左右方向へ変位を計測できる。
【００５６】
すなわち、先に日本語の／i／，／e／，／u／では舌が前方に移動していることを述べたが、この屈曲点の指標間の距離ｄが離れており、舌の内部では左右方向へ舌が膨張する方向への力を受けていることがわかる。また、／a／と／ｏ／では舌が後方に移動していることを述べたが、この血管指標間の距離ｄは冠状面の観察では中央方向に近づいていることがわかる。
【００５７】
以上より、舌の立体変形の計測点として血管指標を用いることにより、舌内部の上下前後運動および左右方向への膨張と圧縮を明らかにすることができる。これにより人間の舌の運動を模擬するロボットを作成する際の計測点および制御点として利用することができる。
【００５８】
（血管指標による人間の舌運動制御）
図６は、血管指標に基づいて、舌を変形させる場合の力の印加の一例を示す図である。図６（ａ）は、血管指標の位置の概念図であり、図６（ｂ）は、／ｉ／を発声する際の舌に印加される力を、図６（ｃ）は、／ａ／を発声する際の舌に印加される力をそれぞれ示す。
【００５９】
現実の舌では、筋肉は引く力のみであり、また舌の筋肉の走行に即した方向の筋肉の方向に力を生じさせる。ここでは、血管指標によって得られたデータを元に舌運動を模擬する。そこで、引く力を（三角矢印方向）に力を加え、ワイヤの押し出しにより全体の運動（羽矢印方向）を制御する必要がある。なお、羽矢印方向の運動については、舌部２０２０の周囲物体の方を動かして、舌部２０２０を変形させてもよい。
【００６０】
音声生成装置２０００では、舌表面の形状のみではなく、内部変形の立体的変形のパラメータに基づいて、舌部２０２０の形状を変形させる。
【００６１】
たとえば、／i／，および日本語の／u／などの前舌母音では、オトガイ舌筋に相当する方向に力を加える。これにより舌部２０２０の血管指標に相当する位置も、前方に移動する。このとき、舌部２０２０の血管指標に相当する位置の間隔を広げる方向にも力を加える。
【００６２】
このような立体的な変形が可能な舌部２０２０の場合、引く力を最大限に生かすためには左右方向の変形を追加することにより、上下および前後への変形の自由度が大きくなる。そして、その制御のためには、内部の指標（血管指標）が有効であり、左右方向の膨張、上下、前後の位置を制御パラメータに組み込むことができる。
【００６３】
今回開示された実施の形態はすべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は上記した説明ではなくて特許請求の範囲によって示され、特許請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。
【図面の簡単な説明】
【００６４】
【図１】ＭＲＩ装置１０００の構成を示す機能ブロック図である。
【図２】発話を行う音声生成装置２０００の構成を説明するための機能ブロック図である。
【図３】舌の形状を特定するための指標である血管指標を説明するための概念図である。
【図４】矢上正中面において、母音と舌形状の概念図と舌深動脈のＭＲＩ画像とを示す図である。
【図５】舌を中心とした冠状断面のＭＲＩ画像と血管指標の左右の距離ｄを示す図である。
【図６】血管指標に基づいて、舌を変形させる場合の力の印加の一例を示す図である。
【符号の説明】
【００６５】
１０  被験者、１２  台部、１００  静磁場コイル、１０２  傾斜磁場コイル、１０４，１０６  ＲＦコイル、２００  断層撮影制御部、２１０  入力部、２２０  制御部、２３０  トリガ生成部、２４０  ＲＦパルス送信部、２５０  信号増幅部、２６０  画像再構成部、２７０  表示部、１０００  ＭＲＩ装置、２０００  音声生成装置、２０１０  口蓋構造部、２０１２，２０１４  空洞、２０１６  唇部、２０２０  舌部、２０３０  固定点、２０３２  ワイヤ束、２０４０  支持部、２０５０  舌駆動機構、２０６０  肺機構、２０７０  声帯駆動機構、２１００  制御部。
【図１】
2007140154.tif 000003
【図２】
2007140154.tif 000004
【図３】
2007140154.tif 000005
【図４】
2007140154.tif 000006
【図５】
2007140154.tif 000007
【図６】
2007140154.tif 000008