(57)【要約】  【構成】  表情付け音声発生装置１０は、コンピュータ２２を含み、このコンピュータは、手人形（１２）を操作する手に装着する手袋型センサ（１４）に設けられるセンサ１６１ａ‐１６４，１８１および１８２からのセンサ値に基づいて、解釈テーブル２４を参照して、その手人形の身体動作の表情付けの強度を判定し、その身体動作の表情強度に適合した強度の歌声の表情付けになるように、身体動作-歌声表現テーブル２８を参照して、モーフィング率を決定する。そのモーフィング率に従って、歌声データベース２６に予め蓄積されている元歌声をモーフィングして、スピーカ３４から発音する。  【効果】  身体動作の表情付けの強度に視覚的に適合する強度で表情付けした歌声を発生することができる。【選択図】  図６
2008116551.tif 000002
【特許請求の範囲】
【請求項１】
身体動作を入力するための身体動作入力手段が入力した身体動作の表情付けに応じて表情付けした音声を発生する表情付け音声発生装置であって、
表情付けが異なる少なくとも２つの音声のそれぞれの音声信号を予め記憶しておく音声信号データベース、
前記身体動作の表情付けの強度と適合する前記音声の表情付けの強度を設定する設定手段、
前記音声データベースから読み出した２以上の音声信号を前記設定手段が設定した前記音声の表情付けの強度に応じたモーフィング率でモーフィングするモーフィング手段、および
前記モーフィング手段によってモーフィングした結果の音声信号によって音声を出力する音声出力手段を備える、表情付け音声発生装置。
【請求項２】
前記モーフィング手段は逆シグモイド関数に従って前記２以上の音声信号をモーフィングし、
前記設定手段はシグモイド関数またはそれの変形関数に従って前記音声の表情付けの強度を設定する、請求項１記載の表情付け音声発生装置。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は表情付け音声発生装置に関し、特にたとえば、音声モーフィングの技法を使って表情付けされた音声（Expressive Voice）を出力する、表情付け音声発生装置に関する。
【背景技術】
【０００２】
従来の感情付き音声表現において、感情音声（Emotional Speech）に関する研究として、非特許文献１で述べられるように、F0（基本周波数）や話速などのルールベースのアプローチや、非特許文献２のようなコーパスベースのアプローチが考えられる。
【０００３】
ルールベースでは韻律情報を主に扱うのに対し、コーパスベースの手法では韻律情報が一定の歌声の表情付けについても音声の声色を取り扱うことができるが、表情付けの変化を伴うときはコーパス間における表情付けの不連続性が目立つ。
【０００４】
また、本件発明者等は、非特許文献３および４などで公知のSTRAIGHT（音声分析変換合成システム）を利用して音声モーフィングを行なうことによって、表情付けの強度を連続的に変化できる表現手法として、ＥＳＶＭ（Expressive Singing Voice Morphing）を提案している(非特許文献５)。
【０００５】
非特許文献５に示すＥＳＶＭでは、自然な表情付けが可能となり、色々な方面への利用が期待されている。
【０００６】
発明者等はこのようなＥＳＶＭによる音声モーフィングの技法を使って、手人形（hand-puppet）の身体動作（ジェスチャ）に応じて表情付けされた音声（expressive voice）を出力できる表情付け音声発生装置を提案した（非特許文献６）。
【非特許文献１】Schroder, M., “Emotional Speech Synthesis: A Review,” Proc. Eurospeech, volume 1, pp. 561-564, 2001
【非特許文献２】Iida, A., Iga, S., Higuchi, F., Campbell, N., Yasumura, M., “A Speech Synthesis System with Emotion for Assisting Communication”, Proc. ISCA Workshop on Speech and Emotion, pp. 167-172, 2000
【非特許文献３】Kawahara, H., Masuda-Kasuse, L, and Cheveigne, A., “Restructuring speech representations using a pitch-adaptive time-frequency smoothing and aninstantaneous-frequency-based FO extraction: Possible role of a reptitive structure in sounds,”Speech Communication, 27, pp. 187-207, 1999
【非特許文献４】http://www.wakayama-u.ac.jp／〜kawahra.STRAIGHTadv/（高品質音声分析変換合成システム STRAIGHT）
【非特許文献５】米澤朋子，鈴木紀子，間瀬健二，小暮潔，“表情付けられた歌声モーフィングの知覚的検討,”日本音響学会春期研究発表会(音講論)，pp. 809−810，2004
【非特許文献６】米澤朋子，鈴木紀子，間瀬健二，小暮潔，“擬人化ジェスチャ表現を用いた歌声への連続的表情付与システム,”日本音響学会論文誌, Vol.62, No.3, pp.233-243, 2006.
【発明の開示】
【発明が解決しようとする課題】
【０００７】
非特許文献６において、身体動作（ジェスチャ）の表情付けと音声の表情付けの強度が視覚的に適合していることが、より自然で望ましい。
【０００８】
それゆえに、この発明の主たる目的は、新規な、表情付け音声発生装置を提供することである。
【０００９】
この発明の他の目的は、身体動作の表情付けの強度に視覚的に適合する強度で表情付けした音声を発生することができる、表情付け音声発生装置を提供することである。
【課題を解決するための手段】
【００１０】
請求項１の発明は、身体動作を入力するための身体動作入力手段が入力した身体動作の表情付けに応じて表情付けした音声を発生する表情付け音声発生装置であって、表情付けが異なる少なくとも２つの音声のそれぞれの音声信号を予め記憶しておく音声信号データベース、身体動作の表情付けの強度と適合する音声の表情付けの強度を設定する設定手段、音声データベースから読み出した２以上の音声信号を設定手段が設定した音声の表情付けの強度に応じたモーフィング率でモーフィングするモーフィング手段、およびモーフィング手段によってモーフィングした結果の音声信号によって音声を出力する音声出力手段を備える、表情付け音声発生装置である。
【００１１】
請求項１の発明では、コンピュータ（２２）を用い、このコンピュータ（２２）に音声信号データベース（２６）を設定しておく。この音声信号データベース（２６）にはたとえば、表情付けされていない音声「no」と、異なる表情付け「da」，「wh」，「we」がされているそれぞれの音声信号が予め収録されている。コンピュータ（２２）では、たとえば手人形（１２）を操作する手に装着する手袋（１４）に設けられるセンサ（１６１‐１８２）からのセンサ信号に基づいて、たとえば手人形のそのときのジェスチャすなわち身体動作の表情付けの強度を判定し、そして、同じくコンピュータ（２２）あるいは他の回路であるモーフィング手段は、その身体動作の表情強度に従ったモーフィング率で、音声信号データベースの元歌声をモーフィングする。
【００１２】
請求項１の発明では、身体動作の表情強度に従ったモーフィング率で音声が発生されるので、その身体動作の表情付けの強度にうまく適合した表情付け強度の音声を発生することができる。
【００１３】
請求項２の発明は、モーフィング手段は逆シグモイド関数に従って２以上の音声信号をモーフィングし、設定手段はシグモイド関数またはそれの変形関数に従って音声の表情付けの強度を設定する、請求項１記載の表情付け音声発生装置である。
【００１４】
請求項２の発明で利用されるシグモイド関数またはそれの変形関数としては、後述の式（２）‐（６）のような関数が考えられる。
【発明の効果】
【００１５】
この発明によれば、身体動作に応じた表情付けをした音声を発生するとき、身体動作の表情強度に従ったモーフィング率でモーフィングするので、身体動作の表情付けの強度に視覚的に適合する強度で表情付けした音声を出力することができる。
【００１６】
この発明の上述の目的，その他の目的，特徴および利点は、図面を参照して行う以下の実施例の詳細な説明から一層明らかとなろう。
【発明を実施するための最良の形態】
【００１７】
この発明の一実施例の表情付け音声発生装置１０（図６）は、上述のＥＳＶＭのモーフィングを利用してたとえば歌声の表情付け（歌声表現）を制御するものであり、その歌声の表情付けの強度の制御ためにジェスチャ（姿勢）を利用しようとするものである。ただし、ＥＳＶＭについては、同時係属中の特許出願（特開２００６‐１７８０５２号）に詳しく説明されているので、必要に応じて可能な限度でその記述を参照する。
【００１８】
そして、そのようなジェスチャすなわち姿勢の表情強度を入力するための手段の一例として、手で操作する手人形を用いるが、手人形は、図１に示すぬいぐるみ１２を含む。このぬいぐるみ１２は、全体として、布やフェルトなどの柔軟な素材で形成されていて、被験者の手のひらが入る手のひら部１２０と、その手のひら部１２０と内部で連通し、被験者の親指、人差し指、および中指がそれぞれ挿入できる親指部１２１、人差し指部１２２、および中指部１２３を含む。実施例のぬいぐるみ１２は、図示のように、人差し指部１２２が頭部で、それを挟む親指部１２１および中指部１２３が翼または羽である、鳥を表現している。しかしながら、当然、このようなぬいぐるみ１２の形状は任意に変更できるものである。
【００１９】
このように、歌声の表情付けを制御する姿勢の表情強度を入力するためにぬいぐるみ１２を用いるには、適切な擬人化表現を取り入れることが重要であり、実施例では、２つの腕（羽）と頭とを持つぬいぐるみ１２の動作を、３本の指で制御することにした。口の動きにより発声タイミングを制御することも考えられるが、この実施例では、ぬいぐるみ１２の全身的なジェスチャにより「表情付け」をコントロールする。
【００２０】
ぬいぐるみ１２の外見を活かし、入力デバイスとして利用するためには、手の動きをぬいぐるみ１２の動きとして計測することが重要である。歌声の表情付けのコントローラとして十分な精度で動作データを得るために、手人形は、擬人化用カバーとしてのぬいぐるみ１２と、手の動きを計測する独立した手袋型センサ１４とを含む。
【００２１】
すなわち、ぬいぐるみ１２に図２に示すように被験者の手が挿入されるのであるが、その手には、手袋型センサ１４を装着する。この手袋型センサ１４には手のひらを受容する手のひら部１４０と、その手のひら部１４０と内部で連通しておりかつそれぞれに親指、人差し指、および中指が挿入される親指部１４１、人差し指部１４２、および中指部１４３が形成される。ただし、薬指および小指のための指部も当然形成されるのであるが、ここでは言及しない。
【００２２】
図３および図４を参照して、手袋型センサ１４には上述の手のひら部１４０、および指部１４１−１４３を含む。親指部１４１の表面に親指第１曲げセンサ１６１ａがその親指部１４１の少なくとも第１関節および第２関節をカバーできる長さで設けられる。親指部１４１の側面に親指第２曲げセンサ１６１ｂが同じく親指部１４１の第１関節および第２関節をカバーできる長さで設けられる。人差し指部１４２の表面に人差し指第１曲げセンサ１６２ａが少なくともその人差し指部１４２の第１関節および第２関節をカバーできる長さで設けられ、人差し指部１４２の側面に人差し指第２曲げセンサ１６２ｂが同様に第１関節および第２関節をカバーできる長さで設けられる。さらに、中指部１４３の表面に中指第１曲げセンサ１６３ａが中指部１４３の少なくとも第１関節および第２関節をカバーできる長さで設けられ、中指部１４３の、親指部や人差し指部とは反対側の側面に中親指第２曲げセンサ１６３ｂが中指部１４３の少なくとも第１関節および第２関節をカバーできる長さで設けられる。中指第２曲げセンサ１６３ｂを親指第２曲げセンサ１６１ｂや人差し指第２曲げセンサ１６２ｂとは反対側にしたのは、人差し指部１４２とこの中指第２曲げセンサ１６３ｂとの干渉を避けるためであるので、干渉が少ないか、なければ、他の第２曲げセンサ１６１ｂおよび１６２ｂと同じ側に設けてもよい。
【００２３】
上述の親指第１曲げセンサ１６１ａおよび親指第２曲げセンサ１６１ｂは、図５に示すように、前者が親指部１４１の表面（手の甲側）に配置され、後者が親指部１４１の側面に、前者とは９０度の角度差で設けられる。これによって、９０度の角度差を有するＸ方向とＹ方向との２方向の曲げ角度をそれぞれ計測できるようにしている。人差し指第１曲げセンサ１６２ａおよび人差し指第２曲げセンサ１６２ｂ、ならびに中指第１曲げセンサ１６３ａおよび中指第２曲げセンサ１６３ｂも、同様の理由で９０度ずれた位置関係にある。
【００２４】
さらに、これら曲げセンサ１６１ａ，１６１ｂ，１６２ａ，１６２ｂ，１６３ａおよび１６３ｂは、いずれも、ピエゾ（圧電）素子であり、その主面と直角な方向の曲げ角度に応じて異なる電圧を出力する。したがって、この電圧を検出することによって、各曲げセンサすなわち指部の当該方向での曲げ角度を検出または計測することができる。
【００２５】
また、図４に示すように、手袋型センサ１４の親指部１４１および中指部１４３のそれぞれの指先には、指の腹側に、圧力センサ１８１および１８２が設けられる。この圧力センサ１８１および１８２もピエゾ素子であり、その表面にかかった圧力の大きさに応じた大きさの電圧を出力する。２つの圧力センサ１８１および１８２は、親指部１４１の先端と中指部１４３の先端とが互いに合わさった状態を検出できるようにするためである。
【００２６】
なお、実施例では、人差し指部１４２(手人形の頭部)では、曲げだけではなく反り返りも計測できるようにするために、予め人差し指がある程度手のひら側に曲がった状態で、ぬいぐるみ１２の頭部１２２が正面を向く構造になっている。そして、手袋型センサ１４の手のひら部１４０の手の甲側内面に図３で点線で示すもう１の曲げセンサ１６４が設けられる。この手首曲げセンサ１６４もピエゾ素子であり、人差し指部１４２の反り返り、すなわち手の甲側への曲げの程度を検出する。
【００２７】
ただし、手首曲げセンサ１６４は、手袋型センサ１４の中にもう１つ別の手袋（図示せ
ず）を設け、その中手袋の手の甲（表面）に付着させるようにしてもよい。
【００２８】
また、長手の曲げセンサ１６１ａ，１６１ｂ，１６２ａ，１６２ｂ，１６３ａ，１６３ｂおよび１６４（以下、「１６１ａ‐１６４」と表記することがある。）は、いずれも、手袋型センサ１４（および中手袋）に付着されるが、その付着方法は、糸で緩やかに縫い付ける方法が適当である。しっかりと縫い付けたり、接着してしまうと、手袋の指部の特に手のひら側への曲げ角度が大きいときに、曲げセンサが引きつった状態となり、手袋の指部の曲がりに曲げセンサがうまく追従できなくなり、破損するなどの故障が起きるからである。
【００２９】
上で説明した曲げセンサ１６１ａ‐１６４ならびに圧力センサ１８１および１８２からの出力電圧は、図６に示すように、Ａ／Ｄ変換器２０によってディジタルデータに変換されて、コンピュータ２２に入力される。このコンピュータ２２は、これらセンサ１６１ａ‐１６４，１８１および１８２からの電圧に基づいて手および指の動作をぬいぐるみ１２のジェスチャすなわち姿勢の表情強度として検出し、その姿勢の表情強度に応じたモーフィング率で音声モーフィングを行なうことによって、歌声の表情付けを行なう。
【００３０】
センサ１６１ａ‐１６４，１８１および１８２からの電圧値を姿勢の表情強度として解釈するために、解釈テーブル２４が、コンピュータ２２のメモリ（図示せず）内に予め設定される。
【００３１】
各センサ１６１ａ‐１６４，１８１および１８２からの電圧値は、曲げ角度に対して正比例の関係にはなく、図７に示すように、曲げ角度が小さいときには変化が大きく、曲げ角度が大きくなるにつれて変化が小さくなる、各電圧値は一種の飽和曲線のように変化する。したがって、電圧値をそのまま動作（曲げ）の程度であると解釈すると、間違った解釈になる。
【００３２】
そこで、解釈テーブル２４には、図７のような変化曲線を、曲げ角度と電圧値が直線的に変化するような変換テーブルまたは変換式を設定している。したがって、コンピュータ２２は、解釈テーブル２４によってセンサ値（電圧値）を変換し、その変換後の電圧値（センサ値）から各曲げ角度や圧力を推定し、それによって姿勢の表情強度を同定または特定する。
【００３３】
図７は１つの曲げセンサのセンサ値と角度との関係を示し、横軸に「１．０」と表示しているが、その位置が曲げ角度が１００パーセントの位置で、これを基準にして、曲げ角度の程度（％）が識別できる。ジェスチャの程度とは、この曲げ角度の程度と同様に、そのジェスチャによる最大変化時を１００パーセントとしたときの、それ以下の％値のことである。
【００３４】
表１に、このセンサ付手袋１４の各センサ１６１ａ‐１８２から実際に出力されるセンサ値と各指部や手首の曲げ角度、さらには親指部と中指部の接触圧力との関係を示す。この表１においては、実施例では、各センサ値は、１２８の分解能（０−１２７）で表される。たとえば、親指第１曲げセンサの場合、それを手のひら方向に曲げたとき電圧を出力し、最大値が１１０、最小値が６０であった。ただし、動きが最も大きいときのセンサ値が最小値となる。手首曲げセンサに付いていえば、手首を手の甲側に曲げたとき、２０‐３０から５０‐６０まで変化するセンサ値が出力される。圧力センサでは、最大値は１２７で、最小値が１２７未満ということで、この圧力センサは、タッチセンサであり、親指部と中指部との接触を検知する。
【００３５】
【表１】
2008116551.tif 000003
コンピュータ２２は、入力される表１のセンサ値に基づいて解釈テーブル２４を参照して、そのときのぬいぐるみ１２の姿勢の表情強度(ジェスチャ)を、解釈する。この実施例では、表１および図８‐図１１に示すように、表情なし姿勢(neu)と、表情付けが知覚されやすいような、手による操作の可動域において特徴的で左右対称な３つの姿勢(bak、drp、str)を取り上げる。
【００３６】
図８が「平静（表情付けなし）」の状態を示し、図９は、「反り返り(back:bak)」と呼ばれる動作で、人差し指部（頭部）１２２および親指部１２１ならびに中指部１２３を手の甲側にそらせる表現である。図１０は、「うなだれ(droop:drp)」と呼ばれる動作で、頭部１２２を下向きにした状態を示す。図１１は、「前伸ばし(stretch:str)」と呼ばれる動作で、親指部１２１および中指部１２３を前方へ突き出した姿勢である。
【００３７】
連続的に強度の異なる歌声を得るためSTRAIGHT(非特許文献３)を用いた音声モーフィングを適用し、表情付けられたモーフィング歌声を作成した。
【００３８】
まず、特定歌手の音声として、声色のみ異なる表現を取得するのに適したアマチュアの２０代女性の歌声をモーフィング用歌声としてサンプリング周波数４４．１ｋＨｚで録音した。歌唱中一貫した表情付けの「no」（表情付けのない「平坦」な歌声)、口腔、鼻腔、呼気といった独立的な調音要素による表情付けの例として「da」、「wh」、「we」(各表情付き歌声)の計４種類（表２)を収録した。日本で長く親しまれてきた唱歌『ふるさと』より音素数やリズムのバランスがよい「こぶなつりし」の２小節を採用し、Foと歌唱速度を揃えるため、同一の伴奏(ハ長調の音階、速度は３／４拍子、１２０拍/分)に合わせて歌ってもらった。収録された歌声の話速は約２．０モーラ／秒、Ｆｏ範囲は平均約３００Ｈｚ〜４５０Ｈｚとなった。各歌声音声の長さは平均約３.０秒である。このような元歌声が、歌声データベース２８に採録されているのである。
【００３９】
このデータを用い、表情強度が段階的に異なる歌声を作成するため、表情付けのない歌声と表情付き歌声の二者間({no・→da、no→wh、no←→we}の計３種類)で音声モーフィングを行った。このときモーフィング率は、表情なし元音声「no」を０、表情付き元音声を１としたときの特徴量の比率を示す。表情付け強度はモーフィング率により調整するものとし、このモーフィング率の調整の一例が図１２に示される。
【００４０】
実施例では、表１に示す４種類の元音声（元歌声）「no」、「da」、「wh」、「we」を、図示しないメモリ内の歌声データベース２８に予め登録ししていて、このような元音声を合成(モーフィング)した歌声の表情付けを行なう。
【００４１】
【表２】
2008116551.tif 000004
具体的に、図１２を参照して、３種類の音声の間での音声モーフィングを行なう際のモーフィング率の決定の方法について説明する。今、３種類の音声Ａ、音声Ｂおよび音声Ｃの間でのモーフィングを行なうものとする。図１２に示すように、これら３つの音声に対応する頂点１００、１０２および１０４を有する３角形を考える。
【００４２】
この３角形の各辺を所定数に分割し、各辺と並行な線で分割点同士を結ぶことにより、図１２においてメッシュ１１０を作成できる。このメッシュ１１０を構成する各点に対応したモーフィング音声は以下のようにして作成できる。
【００４３】
たとえば、音声Ａおよび音声Ｂの間での各分割点に対応する中間音声は、たとえばシグモイド（sigmoid）関数を使って２つの音声が一定の割合で音声が変化するようにモーフィング率を決定する。このときのモーフィング率が上記身体動作-歌声表現テーブル２６で決まる。同様の方法で、音声Ａおよび音声Ｃの間、音声Ｂおよび音声Ｃの間でのモーフィングもそれぞれ行なうことができる。さらに、メッシュ１１０の各交点（たとえば交点１１２）での中間音声は、その交点を通る任意の線の両端（たとえば点１１４、１１６)の中間音声を、その両端からその交点までの距離の比に応じたモーフィング率で
モーフィングすることにより作成できる。したがって、メッシュ１１０の各点に対応する中間段階の音声を全て作成できる。
【００４４】
このようにして、この方法は、元となる音声が図１２に示す３種類の場合だけでなく、実施例のように元の音声が４種類「no」、「da」、「wh」、「we」（“normal”, “dark”, “whisper”, “wet”）あっても、またはそれ以上あっても、２つの音声間のモーフィング率の決定を繰り返すことによって、同様に適用できる。
【００４５】
なお、上述のシグモイド関数を利用したこのようなモーフィング率の決定については、先に言及した特開２００６‐１７８０５２号に詳しい。
【００４６】
クロスモダリティ(Cross Modality:複数のモダリティ(様相)の相互作用)を検討する際には、基本となる表現の種類の組合せが自然に受容されることが望ましい。身体動作表現に対する歌声表現のマッピングとして、共通の単純で特徴的なメタファがある組合せが望ましいと仮定し、歌声を発声する状況の典型的な例として表３に示すメタファ(metaphor:隠喩または暗喩)を予め設定した。このメタファに基づいて歌声と姿勢の表情付けの種類を組合せた。
【００４７】
【表３】
2008116551.tif 000005
コンピュータ２２には、さらに、図示しないメモリ内に、身体動作（ジェスチャ）-歌声表現テーブル２８が予め設定されている。この身体動作-歌声表現テーブル２８は、後述のように、解釈したジェスチャすなわち姿勢の表情強度を歌声の表情付けにマッピングするためのテーブルである。つまり、身体動作-歌声表現テーブル２８は、ぬいぐるみ１２の姿勢の表情強度によって、４つの元歌声をどのようなモーフィング率でモーフィングするかを決める。この実施例ではこのテーブル２８に後述の図２６に示すシグモイド関数f(x)およびそれの変形を設定しておき、解釈テーブル２４に従って解釈されたジェスチャおよびそれの強度、すなわち身体動作の表情強度に対応したモーフィング率を決定する。
【００４８】
そして、図６に示す実施例では、身体動作-歌声表現テーブル２８に基づいて決定したモーフィング率でモーフィングを行うために、先に説明したSTRAIGHTを用いた音声モーフィングを行う音声合成部３０を設けた。この音声合成部３０は、コンピュータ２２とはハード的には別の専用回路（たとえばＡＳＩＣ）として形成されてもよく、コンピュータ２２に十分な能力があれば、コンピュータ２２の一機能として実行されてもよい。この音声合成部３０では、歌声データベース２８に予め登録または格納しておいた少なくとも２つ（実施例では４つ）の元音声（元歌声）を図８に従ったモーフィング率でモーフィングする。
【００４９】
図６の実施例において、コンピュータ２２は、図１３の最初のステップＳ１１において、Ａ／Ｄ変換器２０から、各センサ１６１ａ‐１６４，１８１および１８２から出力される電圧（センサ値）を読み取る。
【００５０】
そして、コンピュータ２２は、図１３のステップＳ１３において、解釈テーブル２４を参照して、そのときのぬいぐるみ１２のジェスチャすなわち身体動作の表情強度を、先の表１のように、同定する。
【００５１】
その後、コンピュータ２２は、ステップＳ１５で、図６に示す身体動作-歌声表現テーブル２８を参照して、姿勢（身体動作）の表情強度に基づいて、先に図１２を参照して説明したようにモーフィング率を決定する。
【００５２】
そして、ステップＳ１７で、コンピュータ２２が、あるいは音声合成部３０が、歌声データベース２６から読み出した各元歌声（音声）信号を、ステップＳ１５で決定したモーフィング率に従ってモーフィングする。
【００５３】
そして、ステップＳ１９において、コンピュータ２２は、反り返りジェスチャの程度に応じた音量でモーフィング音声がスピーカ３４から出力されるように、その反り返り（手首曲げセンサのセンサ値）に応じた音量設定信号をＤ／Ａ変換器３２に与える。
【００５４】
このようにして、コンピュータ２２は、被験者またはユーザが自分の手（手袋型センサ１４を装着した）でぬいぐるみ１２のジェスチャすなわち姿勢の表情を変更することによって、たとえば４種類のモーフィング元音声「no」，「da」，「wh」，「we」をモーフィング（音声合成）した、モーフィング音声が発生され得る。
【００５５】
この発明が向けられるクロスモダリティを検討する際には、上述のように、基本となる表現の種類の組合せが自然に受容されることが望ましい。そこで、発明者等は、さらに、擬人的表現における表情強度のクロスモダリティ特性について注目する。
【００５６】
擬人的表現が伴うクロスモダリティでは、目指す表情強度や適合性の高い適切な組合せが存在すると仮定し、
1.基本特性として、表現された表情強度と実際に知覚される強度の関係
−身体動作の表情強度の知覚的な補間傾向
−歌声と身体動作の複合表現の表情強度における知覚的な補間傾向
2.表情強度の異なるクロスモダリティの知覚傾向
−表情強度の知覚
−適合性の知覚
について調べるため、図６のシステム１０を用いて知覚評価を行った。実験１では基本的な表情強度の知覚特性を確認し、実験２ではモダリティ間で表情強度の異なる組合せの複合表現において、適合性および表情強度の知覚実験を行ない、実験３では表情強度が時系列的に変化するときにも実験２と同様の結果が得られるか確認した。
【００５７】
評価実験では、ぬいぐるみを用いた身体動作のうち、姿勢の表情強度を全被験者に見せる際再現性を保障することが必要である。しかし、ロボットなどの内部機構を用いてぬいぐるみを動かす場合は完全な再現性を保障することは現在の制御技術では困難である。そのため、手の運動能力に問題のない演者による手人形の身体動作を映したビデオを用いた視聴覚提示による知覚評価を導入した。
実験１(表情強度の知覚的補間効果)
歌声の表情付けの度合いが異なる音声では、補間された表情強度が知覚的にも補間されることが既に確認されている。実験１は、基本的な知覚特性として、身体動作の単独表現/身体動作と歌声の複合表現における表情強度においても知覚補間されることを確認するため行った実験である。
【００５８】
実験１を行なうに際して以下のIおよびIIの仮説を立てた。
I  身体動作(姿勢)の段階的な表情強度は知覚補間される。
II歌声と身体動作の複合表現でも表情強度は知覚補間される。
【００５９】
被験者：男性１１名女性９名の２０名（２０代〜３０代)
実験環境：被験者は防音室でヘッドフォンを着用し、大型ディスプレイの前で実験プログラムを実行した。実験プログラムはTcl/TK（商品名）で記述されており、被験者の知覚評価の入力受け付けと、QuickTimeTcl3.1（商品名）によるビデオ表示を行うようにした。ビデオ映像のぬいぐるみが実物大に映されるよう、大型ディスプレイに３２０×２４０画素のビデオ映像を表示させた。
実験手法：
実験１-I：表情強度の異なる姿勢のぬいぐるみを映す
無音ビデオ(g)を視聴させ、３種類の表情付け｛bak(実験１-I-aとする)，drp(実験１-I-b)，str(実験１-I-c)｝についてそれぞれ表情強度を７段階で評価する。
実験１-II：姿勢に相当させた表情強度の歌声(v)をgに加えたビデオv+gを視聴させ、３種類の表情付け｛da:bak(Ａ，実験１-II-aとする)、wh:drp(Ｂ，実験１-II-b)、we:str(Ｃ，実験１-II-c)｝（表３。以降、歌声の表情：姿勢の表情と記述する。)についてそれぞれ表情強度を以下表４の７段階で主観評価する。
［表４］
７：非常に当てはまる
６：かなり当てはまる
５：少し当てはまる
４：どちらともいえない
３：余り当てはまらない
２：ほとんど当てはまらない
１：まったく当てはまらない
各実験前に評価基準を揃えるため、評価対象の表情付きビデオと表情なしビデオを被験者に見せる(教示内容で後述)。
【００６０】
実験条件(刺激ビデオ)：ぬいぐるみの姿勢と歌声の表情付けのさまざまな種類・強度による組合せでビデオを作成する。評価実験中に表情付けの名称を述べる必要があるときは、表３に準拠した｛Ａ、Ｂ、Ｃ｝のラベルを用い、形容詞など特定の印象を与えないようにした。刺激ビデオの音声と動画の組合せにおいては、約３秒の音声に対し、前後に０．２秒ずつ長い動画を組合せることにより、音声と動画が同時に再生されている印象を被験者に与えるようにした。
【００６１】
知覚補間の連続性を評価するため、７段階の表情強度で刺激ビデオを作成した。
g：表情付け毎に、０をneu、１を表情付き姿勢｛bak，drp，str｝として、７段階の表情強度の静止姿勢画像によりビデオを作成した（７段階×３種類の表情付け=２１種類、音声なし)。-実験１-I
v+g：７段階の表情強度の歌声を、gで相当する表情強度の静止画像と組合せた（７×３種類（Ａ〜Ｃ）＝２１種類）。-実験１-II
姿勢の映像は、動きを記録したセンサ値から表情強度の割り出し（解釈）、７段階｛０，０．１７，０．３３，０．５，０．６７，０．８３，１｝に該当する画像を、ぬいぐるみ１２の動きを記録した動画から切り出した。また、歌声部分は上述のモーフィングを利用して作成した、表情強度が段階的な歌声合成を利用し、７段階の表情付き歌声(モーフィング率｛０，０．１７，０．３３，０．５，０．６７，０．８３，１｝の歌声)を準備した。
【００６２】
教示内容：例として、実験１-Ｉ-aでは
1.実験前に予め刺激ビデオgのneuを視聴し、平坦であることを確認した後、刺激ビデオgのbakを視聴し、表情付けＡとすることを確認し、評価基準とすること、
2.実験ビデオを視聴し、ぬいぐるみ１２の姿勢の表情付けがＡであると思う度合いを７段階で評価すること
を教示した。実験1-Ib,cや実験1-IIも同様に、基準となる刺激ビデオを視聴した後に実験を開始することを教示した。
【００６３】
実験結果：実験の結果を表情強度毎に集計した平均値と標準偏差を図１４、図１５および図１６で示す。また、線形近似におけるＲ２値を表５に示す。
【００６４】
【表５】
2008116551.tif 000006
この表５によると、gは右肩上がりのグラフを描き,Ｒ２値も高いことより、仮説IおよびIIが成立することを確かめた。
【００６５】
gと比較してv+gでＲ２値が全体的に高いことに対し、モダリティの違いと表情強度の違いおよびそれらの交互作用が及ぼす影響を調べるため、２（g，v+g）＊７(表情強度)=１４条件２要因の反復測定分散分析（有意水準α＝０．０５,自由度φ＝１,６，３８）を行った。表６に検定の結果を示す。これによると、表情強度による差異はgとv+gの間でＦ＝３．４６、ｐ＝．０７となり有意傾向にとどまった他、モダリティの個数｛g, v+g｝や交互作用による有意差は認められなかった。
【００６６】
【表６】
2008116551.tif 000007
実験２（表情強度を組み替えたクロスモダリティ知覚効果）
実験２では、ぬいぐるみ１２による擬人的表現において歌声と姿勢の表情付け強度が互いに異なるとき、適合性および表情強度の知覚において、歌声‐姿勢間で相互作用があるかどうか調べた。実験２を行なうに際して以下のIおよびIIの仮説を立てた。
I 歌声と姿勢において、互いに対応付けて教示した強度の表情付けで、適合していると知覚される
II 知覚される表情強度は歌声と姿勢の表情強度の平均になる。
被験者：実験１と同一の被験者
実験環境：実験1と同一の環境
実験手法：
実験２-I：４段階の歌声×４段階の姿勢＝計１６種類のビデオをランダム順に視聴させ、適合性について７段階の評価を求める。これをＡ（実験２-I-aと呼ぶ）、Ｂ（実験２-I-b)、Ｃ（実験２-I-c）の組合せにおいてそれぞれ実行する。実験前に、実験１-IIと同様に評価基準となるビデオとして、表情なしビデオおよび該当する表情付きビデオの双方を見せる。
【００６７】
実験２-II：上記の実験２-Iの評価の後、評価項目を表情強度に設定し、7段階の評価を求める。これをＡ（実験２‐II-aと呼ぶ）、Ｂ（実験２-II-b）、Ｃ（実験２-II-c）の組合せにおいてそれぞれ実行する。
【００６８】
実験条件(刺激ビデオ)：２要素の表情強度について相互作用を検討するときに最低限必要な段階数を考慮し、歌声および姿勢の各モダリティの表情強度を４段階与え、各強度毎に組合せた。４段階の歌声×４段階の姿勢、計１６種類の表情強度を組み替えたビデオを、３種類の表情付けＡ(da:bak)、Ｂ(wh:drp)、Ｃ(we:str)について、それぞれ準備した(図１７)。身体動作の可動範囲および収録したアマチュア歌手の歌声における表情強度の下限と上限をそれぞれ０．０、１．０とし、互いに対応付けてこの実験２を行った。
【００６９】
歌声部分は先に説明した表情強度が段階的な歌声合成（モーフィング）を利用し、４段階の表情付き歌声(モーフィング率｛０、０．３３、０．６７、１｝の歌声)を準備した。姿勢の映像は、動きを記録したセンサ値から表情強度を割り出し、４段階｛０、０．３３、０．６７、１｝に該当する画像を動画から切り出した。
【００７０】
教示内容：
実験２-I-aおよび実験２-II-aでは以下の教示を行った。
1.実験前に予め歌声とぬいぐるみ１２の映像(no：neu、表情なし)を視聴し平坦であることを確認した後、(da：bak、表情付けＡ)を視聴し表情付けＡとすることを確認すること、
2.実験ビデオを視聴し、ぬいぐるみ１２の姿勢について、以下の項目を表４に示す７段階で評価すること
I.表情付けの歌声‐姿勢間の適合性（実験２-I-a）
II.表情付けがＡである度合い（実験２-II-a)
実験b、cでも同様に、評価基準となるビデオを視聴した後に、実験を開始することを教示した。
【００７１】
適合性については、「歌声と姿勢の間の表情付けの組合せが自然かどうか」とした。
【００７２】
実験結果Ｉ[適合性の知覚]：実験２‐I‐a〜cにおける知覚評価の平均値をそれぞれ図１８、１９、２０に示す。なお、これらの図１８‐２０において、後述の図２１‐２３においても同様であるが、縦軸が評価（MOS of Appropriateness）を示し、横軸の左側が歌声の表情強度（Strength of Singing Voice Expression）を、右側が身体動作（ジェスチャ）の表情強度（Strength of Gestural Expression）をそれぞれ示している。これによると、歌声の表情強度｛０、０．３３｝のときは、姿勢の表情強度が強まると適合性が低くなり、反対に歌声の表情強度｛０．６７、１｝のときは、姿勢の表情強度が強まると適合性が高くなる様子がわかる。クロスモダリティの作用により適合性の評価値が変化したと考えられるが、必ずしも歌声と姿勢が互いに相当する強度において適合性が高いとはいえない。たとえば、歌声の表情付け強度が０．６７に対し、適合性が最も高いと判断された姿勢の強度は１であった。つまり仮説Ｉは必ずしも成り立つとは限らない。
【００７３】
これらの結果に対し、帰無仮説を「適合性の知覚では姿勢の表情強度による差、歌声の表情強度による差、交互作用による差のいずれもない」として、２要因の反復測定分散分析(α＝０．０５、φ＝３，３，７６)を行った。その結果を表7に示す。
【００７４】
【表７】
2008116551.tif 000008
検定の結果、２‐I‐aで「bak」の表情付け強度による平均の差の検定がＦ＝．１２、ｐ＝．９５となったものと、２‐I‐cで「we」の表情付け強度による平均の差の検定がＦ＝２．０３、ｐ＝．１２であった以外では全ての検定で有意差が認められた。
【００７５】
これにより、歌声と姿勢の表情強度において、それらの交互作用が適合性に影響を及ぼすことが共通して確認された。また、歌声および姿勢の表情付け自身もそれぞれ適合性に影響を及ぼすことが、３種類の表情付けのうちそれぞれ２種類において確認された。
【００７６】
実験結果ＩＩ[表情付け強度の知覚]：実験２-II-a〜cにおける知覚評価の平均値を図２１，２２，２３にそれぞれ示す。それによると、姿勢の表情強度が知覚される表情強度への影響が強いことが明らかである。この結果について、帰無仮説を「表情強度の知覚では、姿勢の表情強度による差、歌声の表情強度による差、交互作用による差のいずれもない」として、２要因の反復測定分散分析（α＝０．０５，φ＝３，３，７６）を行った。
【００７７】
その結果を表８に示す。
【００７８】
【表８】
2008116551.tif 000009
姿勢の表情強度による平均の差の検定において、２-II-a（bakの強度)でＦ＝３９４．３８、２-II-b（drpの強度)でＦ＝５７５．９９、２-II-c（strの強度)でＦ＝４０３．８５となり、すべての表情付けで有意差が認められたのに対し、歌声の表情強度および交互作用による平均の差の検定ではすべて有意差はなかった。これにより、姿勢の強度が表情強度に影響を及ぼすことが確認されたが、歌声の表情付けおよび交互作用は共に影響が確認されなかった。つまり、歌声と姿勢の双方の表情強度が影響すると予想した仮説IIと結果は大幅に異なり、複合表現の表情強度の印象では、歌声の表情付けの影響よりも姿勢の表情付けの影響の方が明らかに強いことが示された。
実験３（表情強度の変化と適合性の知覚）
実際の表現における表情強度は時々刻々と変化する性質のものであることを考慮し、実験２-IIで確認された適合性について、表情強度が時間に伴い変化するときにおいても同様の結果が得られるか確認するため、実験３を行った。実験３を行なうために次の仮説を立てた。
【００７９】
仮説：歌声と姿勢の複合表現において、一方の表情強度が変化するのに対応してもう一方の表情強度が変化する時は適合性が高く、表情強度の変化の対応が反対であるときは適合性が低い。
【００８０】
被験者：実験２と同一の被験者
実験環境：実験２と同一の環境
実験手法：表情付けの変化における歌声姿勢間の組合せを正順および逆順で準備し、ランダム順に刺激を視聴し、それぞれの適合性について７段階（表４）で評価する。
【００８１】
実験条件(刺激ビデオ)：表９に示すように、歌声の表情強度が０から１に変化するとき、姿勢の表情強度が正順に（０から１へ)変化する組合せと、逆順に（１から０へ）変化する組合せのビデオを準備した。順序効果を考慮し、それぞれ逆順の表情強度の変化を伴う歌声（１から０）も準備した。３種類の表情付けにおいて同様に刺激ビデオを作成した。これは図１８，１９，２０の対角線を結ぶ表情強度の変化といえる。
【００８２】
【表９】
2008116551.tif 000010
教示内容:適合性の評価基準は実験２と同一とし、実験２と同様に７段階で適合性を評価するよう教示した。
【００８３】
実験結果：結果を図２４に示す。図中の「-」は歌声と姿勢の時系列変化が相応していない組合せを指す。これらの結果に対し、帰無仮説を「正順と逆順の間に平均の差がない」として検定を行った結果（α＝．０５，φ＝１９）、３種類の表情付けすべてでｐ＜．０１となり仮説が棄却された。よって、表情強度の変化が伴うときも、歌声と姿勢の表情強度が正順で対応しているほうが、逆順と比べ適合性が高いことが示された。これによって、動的な変化を伴う表情強度においても、適合性の知覚に対してクロスモダリティによる影響があることがわかった。
【００８４】
以上の実験１、実験２および実験３の分析結果から明らかになったことを整理しながら複合的な分析を行い、擬人的表現における歌声身体動作(姿勢)間のクロスモダリティについて考察する。
表情強度の知覚のモダリティ間バランス
まず、実験１-Iの結果により、身体動作の姿勢提示における表情強度に対し、順序性を保って表情強度が知覚されることが確認された。また、歌声の表情強度が補間されることが既に分かっている手法である音声モーフィングを用いた身体動作との複合表現に対しても、表情強度の提示に対し順序性を保って表情強度が知覚された(実験１-II)。つまりこれらによって、クロスモダリティの検討の前提として、各モダリティまたは複合表現の表情強度が知覚されることを確認した。
【００８５】
次に、歌声と身体動作の各影響を考える。実験１の知覚曲線における線形近似のＲ２値は、gよりもv+gが高かった（表５）。実験１の検定においてモダリティの違いによる知覚の差は認められなかったものの、図６のシステム１０では、図２５に示すように、歌声の知覚における表情強度がシグモイド関数に近似されていることを考慮すると、姿勢による表情強度の知覚曲線が、複合表現に比べ上に膨らむ円弧のような形状であることより、歌声の表情強度が影響した可能性も否定できない。
【００８６】
しかし、実験２-IIにおける表情強度の傾向を見ると、歌声の表情強度の影響もクロスモダリティの効果も有意ではなく、姿勢の表情強度の影響が大きい。言い換えると、実施例で単純化を図り設定した擬人的表現のビデオ提示刺激における、実験で用いた構成と表情付けでは、視覚的な表情強度が知覚に与える影響は、聴覚的な表情強度に比べ大きいことが観察された。したがって、モダリティ間で表情強度のバランスが異なっていたといえる。原因としては擬人的媒体における視聴覚の表情強度に対する知覚感度が本質的に異なるか、上述の実験において扱ったアマチュア歌手の声色とぬいぐるみの姿勢の間における表情強度のバランスが特有である可能性がそれぞれ推測される。
【００８７】
これらに対し、視覚的な表情強度の影響と聴覚的な表情強度の影響をつりあわせるためには、クロスモダリティの効果を前提に表情強度の幅を調節し、各モダリティの表情強度のバランスをとるという検討も必要だと考えられる。
適合性の知覚のモダリティ間バランス
表情強度の知覚が姿勢から強い影響を受けるのに対し、実験２-Iの検定で歌声-姿勢間交互作用において有意な差が存在したことより、歌声と姿勢の表情強度の組合せが適合性の知覚に影響することが明らかになった。また実験３では、時系列的な変化を伴う場合も歌声と姿勢の表情強度の組合せが適合性に影響することが示された。つまり、実施例で設定した擬人的表現のビデオ提示刺激における表情強度では、身体動作の表情付けが優先的に知覚され、歌声の表情強度は関係していないが、適合性では歌声との組合せが重要になり、擬人化における表情強度の身体動作-歌声問クロスモダリティ歌声の影響が存在することがわかる。
【００８８】
しかし、実験２-Iでは、歌声-姿勢間で対応するすべての表情強度の組合せにおいて適合性が高いと必ずしもいえず、歌声の表情強度が中間的であるとき（０または１ではないとき)、姿勢は０か１どちらか近い方と適合しているという結果であった。歌声の表情強度はシグモイド関数に近似されているが、上記のような結果から、０．３３や０．６７のような中間的な表情強度が強調されて知覚された可能性がある。
【００８９】
これに対し、この構成においてモダリティ間で相応した表情強度で適合性を高めるには、逆シグモイド関数によってモーフィング間隔を設定するなど、歌声の表情強度曲線を補正することが有効だとも考えられる。
【００９０】
また、上で示した歌声の表情強度の変化幅の調節を検討する際は、単純に線形に縮尺するのではなく、上述の表情強度曲線の補正を用いながら縮尺し、表情強度と適合性の両方における歌声‐身体動作間バランスがとれ、調和した自然な表現を実現できる。
【００９１】
このような実験結果で得た知見に基づいて、ここでは、歌声の表情強度とジェスチャ（姿勢。身体動作）の表情強度との組合せを設定するため、歌声に対する身体動作の表情付けの組合せとして、関数ｆ（ｘ）を定義する。そして、この関数ｆ（ｘ）を用い、(1) 音声の表情付け強度を決定付けるための計算を、組合せで定義した逆関数ｆ’（ｘ）を用いて行う、もしくは、(2) 身体動作の表情付け強度を決定付けるため、組合せで定義した関数ｆ（ｘ）を用いて出力強度を決定付ける。なお、以下の各式ではeを自然対数とする以外、ａ，ｂ，ｃ，ｄ，ｆは定数を示し、ｘは変数である。
【００９２】
図６のシステム１０の身体動作‐歌声表現テーブル２８における関係性のマッピング設定において、まず、適合度の理想状態は、歌声と姿勢とで同じ表情強度のとき高い適合度とすると、次式（１）が考えられる。
［数１］
a-sqrt(power(v,g))        …（１）
ここで、aは初期値たとえば７で、vは歌声の表情強度であり、g=ジェスチャ（身体動作）の表情強度である。
【００９３】
しかしながら、先の実験２-Iから分かるように、現状では、中程度（０．３３，０．６７）の歌声の表情付け強度において、最も適合すると捉えられたのはそれぞれ０，１の身体動作であった。つまり、中程度の歌声の表情付けが、身体動作に比べて強調されて知覚されている。したがって、歌声の表情強度（モーフィング率）を逆シグモイド関数によって補正する図６のシステム１０において歌声の表情強度と身体動作の表情強度とを適合させるためには、中程度の歌声の表情付け変化を弱く、０や１に近い表情付けの変化は激しく伝わるようにすればよい。図６実施例を利用した実験では、表情強度の知覚に対する歌声の影響は、身体動作の表情強度による影響に対して明らかに少なかった。よって、身体動作の変化幅を狭くするか、または歌声の変化幅を広げることにより、歌声と身体動作の表情強度バランスが取れ、両者の表情付けをうまく適合できると考えられる。
【００９４】
そこで、図２６の線Ａで示す１：１のマッピングに代えて、図２６の線Ｂで示すシグモイド関数によってマッピングする。ただし、図２６において、横軸は歌声の表情強度を示し、縦軸が身体動作の表情強度を示す。そして、図２６の線Ｂのシグモイド関数は、次式（２）となる。
［数２］
f(x)=(1/1+power(e, ax+b))        …（２）
ただし、eは自然対数、a,bは定数、例としてａ＝‐８，ｂ＝４とする。
【００９５】
さらに、図２６の線Ｂのシグモイド関数を同図線Ｃのように、ｃ（０＜ｃ＜１）倍するようにしてもよい。この場合には、歌声の表情強度を身体動作の表情強度に対して一層抑制することができる。図２６の線Ｃは、次式（３）で与えられる。
［数３］
f(x)=(1/1+power(e, ax+b)) * c    …（３）
なお、倍数ｃは、一例としてｃ＝０．４とした。
【００９６】
さらに、歌声の表情強度と身体動作（姿勢）の表情強度とを適合させるためには、表情強度の変化開始位置を調整するようにしてもよい。たとえば、まったく表情のない歌声が存在しない場合もしくはそのような歌声が合成できない場合には、歌声について、モーフィング率０として既に表情付けられている。そのため、そのモーフィング率（表情強度）に相当する身体動作は所定の一定値ｄ（ｄ＞０，たとえば０．２）から開始させるようにする（図２６の線Ｄ）。線Ｄは、次式（４）で示される。
［数４］
f(x)=(1/1+power(e, ax+b)) * c + d…（４）
逆に、身体動作について、もしも表情付けのない身体動作が可動範囲に制限されるなどの理由により表現不可能な場合は、さらに変数fを取り入れ、次式（５）で与えられる図２６の線Ｅに示すような関数ｆ（ｘ）を用いることも考えられる。
［数５］
f(x)=(1/1+power(e, (a-f)x+ b+f) * c…（５）
一例として、音声の表情強度０．２の位置に身体動作の表情強度の０をもってくる場合、たとえばｆ＝約２として（このｆは０．２や上記の定数により逆算すれば求められる）計算すれば、音声表情強度の開始地点を繰り上げられる。
【００９７】
なお、このような式（２）‐（５）のいずれを適用するかは、システム１０で固定的に設定してもよいし、あるいは、時間の経過に応じて適用する式すなわち関数を変更するようにしてもよい。
【００９８】
このようにして、歌声の表情強度に対する身体動作の表情強度をマッチングさせるためにための係数ｃ，ｄ，ｆが算出される。係数ｃ，ｄ，ｆが０の場合が式（２）と同様になる。
【００９９】
さらに、具体的に、身体動作の表情付け強度が線形に知覚されるような身体動作の場合には、歌声（音声）の表情付けをマッチングさせるために、設定したい強度数値に上記各式のいずれかで設定した関数ｆ（ｘ）の逆関数ｆ’（ｘ）を適用して歌声の表情付けのためのモーフィング率を決定することができる。たとえば式（５）の場合であれば、次式（６）の逆関数が適用可能である。なお、この式（６）の逆関数を図２６で参考までに示せば、図２６の線Ｆがこれに該当する。
［数６］
f’(x)=(log(c/x-1)-(b+i))/(a-i)  （６）
また、身体動作の表情付け強度が知覚的に線形に捉えられない種類の場合、つまり、身体動作が特有の意味、たとえば万歳などの意味を伴う場合、仮に知覚強度が「ｌｏｇ（ｍ＊ｘ＋ｎ）」などの対数関数（ただし、一例としてｍ＝１．５，ｎ＝１）とすると、身体動作は動き方を変更するとスムーズに動いて見えないなど問題があるため、音声の表情付け強度でマッチングを調節する必要が出てくる。具体的には、この身体動作の知覚強度式をg(x)とし、たとえば設定されたマッチング関数が式（４）なら、マッチング式をｆ（ｘ）とし、ｆ’（ｇ（ｘ））とすれば、知覚的に適合している音声表情付けを可能にできる。
【０１００】
このようにして、身体動作の表情強度と歌声（音声）の表情強度を視覚的に適合させるために、上記式（２）−（６）のどれかのマッチング関数ｆ（ｘ）に従ってモーフィング率を決定するが、このマッチング関数は図６に示す身体動作‐歌声表現テーブル２８に予め設定しておき、図１３のステップＳ１５で用いればよい。
【０１０１】
なお、上述の実施例では、身体動作入力手段としてぬいぐるみ１２および手袋型センサ１４を使った。この実施例は、たとえば、演奏者が子供たちに音楽表現や歌声表現がどのような身体表現を伴うのかを教えたり、人形劇のように、誰か別の人物になりきって身体動作表現と音声表現を同時に行うときなどに、有効であると考えられる。
【０１０２】
図２７に示すような状況を想定すると，i)Ａは手人形インタフェース１２（１４）を用いて歌声を演奏し、自分の手の動きによるぬいぐるみのジェスチャにより音声表現が変化することを体感する。ii)Ｂは演奏における歌声の変化を感じるだけではなく，ぬいぐるみ部分に触れ、その形状を外側から変化させるなどのやりとりとともに歌声表現が変化することを確認できる。iii)ＣはＡやＢと同様にぬいぐるみの動きの徐々に変化する様子とともに歌声が自然に連続的な表情変化を伴って演奏されるのを、オーディエンスとして聴くことができる。iv) ii)に基づき，ＡはＢが触れる感覚をぬいぐるみ内部から得ると同
時に歌声の表情変化が感じられる。
【０１０３】
このような色々な利点が上述の実施例では得られるのではあるが、身体動作を入力する手段は、手人形ないしぬいぐるみ１２に限らない。
【０１０４】
ぬいぐるみ１２を用いず、手袋型センサ１４だけを用いてもよい。ただし、この場合には、ぬいぐるみによる、たとえば癒しなどの効果は期待できない。
【０１０５】
図２８に示すこの発明の他の実施例では、身体動作入力手段として、カメラ３６１，３６２および３６３を用いる。このカメラ３６１‐３６３は、被験者またはユーザ３８の全身を前方、側方、および上方から３次元撮影するものである。そして、これらカメラ３６１‐３６３からのカメラ信号がＡ／Ｄ変換器４０によって画像または映像データに変換され、コンピュータ２２に入力される。コンピュータ２２では解釈テーブル２４Ａを参照して、主としてパターン認識の手法を用いて、そのときの被験者（ユーザ）３８の行った身体動作の表情付けの強度を判定する。そして、その身体動作の表情付けの強度に基づいて、身体動作-歌声表現テーブル２８Ａを参照して、図１２に従ってモーフィング率を決定する。ただし、先の実施例と同様に、身体動作の表情強度と歌声（音声）の表情強度を視覚的に適合させるために、このマッチング関数は図２８に示す身体動作‐歌声表現テーブル２８Ａに予め設定しておき、図１３のステップＳ１５で用いればよい。
【０１０６】
図２８では、このように、ユーザの全身を使った身体動作で音声モーフィングを実行することができる。したがって、たとえばダンスと音楽との関連でこの実施例の表情付け音声発生装置１０を利用することができる。
【０１０７】
図２９に示すこの発明のさらに他の実施例では、身体動作入力手段として、１つのカメラ３６Ａを用いる。このカメラ３６Ａ、被験者またはユーザの顔３８Ａを前方から２次元撮影するものである。そして、カメラ３６Ａからのカメラ信号がＡ／Ｄ変換器４０によって画像データに変換され、コンピュータ２２に入力される。コンピュータ２２では解釈テーブル２４Ｂを参照して、主としてパターン認識の手法を用いて、そのときの被験者（ユーザ）の顔３８Ａの表情をジェスチャとして同定する。つまり、この実施例ではユーザの顔３８Ａの表情が身体動作として利用できる。そして、その身体動作（顔表情）に基づいて、身体動作-歌声表現テーブル２８Ｂを参照して、図１３のステップＳ１５で、上記式（２）‐（６）のマッチング関数に従って図１２のモーフィング率を決定する。
【０１０８】
図２９では、このように、ユーザの顔を使った身体動作で音声モーフィングを実行することができる。したがって、たとえばベッドで寝ている病人などにも有効にこの実施例の表情付け音声発生装置１０を利用することができる。
【０１０９】
図３０に示すこの発明のその他の実施例では、ロボット４２を用いる。このようなロボット４２では、その腕を上げたり曲げたり、さらには顔によって、色々な感情（怒り、悲しみなど）を表現できる。そして、そのような感情表現のためには、感情情報が、たとえば外部のコンピュータ（図示せず）からコネクタのコンピュータ２２に与えられる。この感情情報に基づいて、出力テーブル４４が、ロボット４２の各制御子（アクチュエータ）のための制御信号を与える。その制御信号に応じて各アクチュエータが回転したりすることによって、ロボット４２が全体で感情を表現することができる。
【０１１０】
そして、この図３０の実施例では、上述のように外部から与えられる感情情報（制御信号）をジェスチャ信号とし、それに基づいてジェスチャを同定し、身体動作-歌声表現テーブル２８Ｃを参照して、その感情情報すなわち身体動作に応じて、図１３のステップＳ１５で、上記式（２）‐（６）のマッチング関数に従って図１２のモーフィング率を決定する。
【０１１１】
図３０では、このように、ロボット４２の感情またはそれの所在で示される身体動作で音声モーフィングを実行することができる。したがって、たとえばコミュニケーションロボットなど、人間とのコミュニケーションのためのロボットでは、図３０の実施例の表情付け音声発生装置１０を利用することができる。
【０１１２】
なお、図３０の実施例で、感情情報は外部からコンピュータ２２に入力する必要はなく、コンピュータ２２がロボット４２を制御するために自身の内部で作成した制御信号をそのまままたは変形して利用するようにしてもよい。
【図面の簡単な説明】
【０１１３】
【図１】図１はこの発明の一実施例でジェスチャ（姿勢の表情強度）を入力するために用いられるぬいぐるみの一例を示す図解図である。
【図２】図２はこのぬいぐるみに手（手袋）を挿入した状態を示す図解図である。
【図３】図３は手袋型センサの手の甲側の一例を示す図解図である。
【図４】図４は手袋型センサの手のひら側の一例を示す図解図である。
【図５】図５は手袋型センサの親指部と親指第１曲げセンサおよび親指第２曲げセンサとの位置関係を示す図解図である。
【図６】図６はこの発明の一実施例を示すブロック図である。
【図７】図７は図６実施例の解釈テーブルの一部を図解する図解図である。
【図８】図８は手人形（ぬいぐるみ）の「neu（表情付けなし）のときの状態を示す図解図である。
【図９】図９は手人形で「bak（反り返り）の動作をさせたときの状態を示す図解図である。
【図１０】図１０は手人形で「drp」(うなだれ）の動作をさせたときの状態を示す図解図である。
【図１１】図１１は手人形で「str」（前伸ばし）の動作をさせたときの状態を示す図解図である。
【図１２】図１２は３つの元音声をモーフィングする際のモーフィング率の設定方法を示す図解図である。
【図１３】図１３は図６実施例の動作の一例を示すフロー図である。
【図１４】図１４は図６実施例を利用して実験１-II（表情強度の知覚的補間効果）、特に「da;dak」の表情付けの実験を行なったときの結果を表情強度毎に集計した平均値と標準偏差とを示すグラフである。
【図１５】図１５は図６実施例を利用して実験１-II（表情強度の知覚的補間効果）、特に「wh;drp」の表情付けの実験を行なったときの結果を表情強度毎に集計した平均値と標準偏差とを示すグラフである。
【図１６】図１６は図６実施例を利用して実験１-II（表情強度の知覚的補間効果）、特に「we;str」の表情付けの実験を行なったときの結果を表情強度毎に集計した平均値と標準偏差とを示すグラフである。
【図１７】図１７は図６実施例を利用して実験２-I（表情強度を組み替えたクロスモダリティの知覚効果）を行なうための実験条件を示すグラフである。
【図１８】図１８は図６実施例を利用して上記実験２-I、特に「da;dak」の表情付けの実験を行なったときの結果を表情強度毎に集計した平均値を示すグラフである。
【図１９】図１９は図６実施例を利用して上記実験２-I、特に「wh;drp」の表情付けの実験を行なったときの結果を表情強度毎に集計した平均値を示すグラフである。
【図２０】図２０は図６実施例を利用して上記実験２-I、特に「we;str」の表情付けの実験を行なったときの結果を表情強度毎に集計した平均値を示すグラフである。
【図２１】図２１は図６実施例を利用して実験２-II（表情付け強度の知覚）、特に「da;dak」の表情付けの実験を行なったときの結果を表情強度毎に集計した平均値を示すグラフである。
【図２２】図２２は図６実施例を利用して実験２-II（表情付け強度の知覚）、特に「wh;drp」の表情付けの実験を行なったときの結果を表情強度毎に集計した平均値を示すグラフである。
【図２３】図２３は図６実施例を利用して実験２-II（表情付け強度の知覚）、特に「we;str」の表情付けの実験を行なったときの結果を表情強度毎に集計した平均値を示すグラフである。
【図２４】図２４は図６実施例を利用して実験３（表情強度の変化と適合性の知覚）を行なったときの変化する表情強度の組合せの適合性を示すグラフである。
【図２５】図２５は図６実施例で音声モーフィングが逆シグモイド関数に従って実行されることを示すグラフである。
【図２６】図２６は図６実施例を利用して行なった実験の結果に従って図６の身体動作-歌声テーブルに設定する関数f(x)の例を示すグラフである。
【図２７】図２７は図１に示す手人形（ぬいぐるみ）をインタフェースとして使用するときの効果または利点を説明するための図解図である。
【図２８】図２８はこの発明の他の実施例を示すブロック図である。
【図２９】図２９はこの発明のさらに他の実施例を示すブロック図である。
【図３０】図３０はこの発明のその他の実施例を示すブロック図である。
【符号の説明】
【０１１４】
１０  …表情付け音声発生装置
１２  …ぬいぐるみ
１４  …手袋型センサ
１６１ａ  …親指第１曲げセンサ
１６１ｂ  …親指第２曲げセンサ
１６２ａ  …人差し指第１曲げセンサ
１６２ｂ  …人差し指第２曲げセンサ
１６３ａ  …中指第１曲げセンサ
１６３ｂ  …中第２曲げセンサ
１６４  …手首曲げセンサ
１８１，１８２  …圧力センサ
２２  …コンピュータ
２４，２４Ａ，２４Ｂ，…解釈テーブル
２６  …歌声データベース
２８，２８Ａ，２８Ｂ，２８Ｃ  …身体動作-歌声表現テーブル（マッピングテーブル）
３０  …音声合成部
３６１‐３６３、３６Ａ  …カメラ
３８  …被験者
４２  …ロボット
４４  …出力テーブル
【図１】
2008116551.tif 000011
【図２】
2008116551.tif 000012
【図３】
2008116551.tif 000013
【図４】
2008116551.tif 000014
【図５】
2008116551.tif 000015
【図６】
2008116551.tif 000016
【図７】
2008116551.tif 000017
【図８】
2008116551.tif 000018
【図９】
2008116551.tif 000019
【図１０】
2008116551.tif 000020
【図１１】
2008116551.tif 000021
【図１２】
2008116551.tif 000022
【図１３】
2008116551.tif 000023
【図１４】
2008116551.tif 000024
【図１５】
2008116551.tif 000025
【図１６】
2008116551.tif 000026
【図１７】
2008116551.tif 000027
【図２４】
2008116551.tif 000028
【図２５】
2008116551.tif 000029
【図２６】
2008116551.tif 000030
【図２７】
2008116551.tif 000031
【図２８】
2008116551.tif 000032
【図２９】
2008116551.tif 000033
【図３０】
2008116551.tif 000034
【図１８】
2008116551.tif 000035
【図１９】
2008116551.tif 000036
【図２０】
2008116551.tif 000037
【図２１】
2008116551.tif 000038
【図２２】
2008116551.tif 000039
【図２３】
2008116551.tif 000040