(57)【要約】【課題】回答キャラクタのキャラクタ特性を損なうことなく、回答の韻律を問いの韻律に追従させる。【解決手段】入力された音声信号の表す問いにおける韻律を特定する韻律特定部と、問いに対する予め定められた回答キャラクタによる回答の音声データを取得する回答取得部と、回答の音声データに基づく韻律を、韻律特定部により特定された韻律と特定の関係を維持する韻律に補正する韻律補正データを算出する第１韻律補正データ算出部と、第１韻律補正データ算出部により算出された韻律補正データにしたがった補正後の韻律が回答キャラクタに応じて定まる許容範囲に収まっていない場合に、許容範囲に収める韻律補正データに補正する第２韻律補正データ算出部と、音声データに基づく韻律を韻律補正データにしたがって補正して回答を再生することを回答再生部へ指示する再生指示部とを有する音声再生制御装置を提供する。【選択図】図１
2018159778.tif 000002
【特許請求の範囲】
【請求項１】
入力された音声信号の表す問いにおける韻律を特定する韻律特定部と、
前記問いに対して回答する回答キャラクタの回答の音声データを取得する回答取得部と、
前記回答の音声データに基づく韻律を、前記韻律特定部により特定された韻律と特定の関係を維持する韻律に補正する韻律補正データを算出する第１韻律補正データ算出部と、
前記第１韻律補正データ算出部により算出された韻律補正データにしたがった補正後の前記回答の音声データに基づく韻律が前記回答キャラクタに応じて定まる許容範囲に収まっていない場合に、前記許容範囲に収める韻律補正データに補正する第２韻律補正データ算出部と、
前記音声データに基づく韻律を前記韻律補正データにしたがって補正して回答を再生することを回答再生部へ指示する再生指示部と、
を具備することを特徴とする音声再生制御装置。
【請求項２】
予め定められた複数の回答キャラクタの何れかを、前記問いに対して回答する回答キャラクタとして指定する回答キャラクタ指定部を有することを特徴とする請求項１に記載の音声再生制御装置。
【請求項３】
前記回答キャラクタに対して複数の許容範囲が予め定められており、
前記回答キャラクタ指定部は、
前記複数の許容範囲の何れかを前記第２韻律補正データ算出部にて使用する許容範囲として指定する
ことを特徴とする請求項２に記載の音声再生制御装置。
【請求項４】
コンピュータを、
入力された音声信号の表す問いにおける韻律を特定する韻律特定部と、
前記問いに対して回答する回答キャラクタの回答の音声データを取得する回答取得部と、
前記回答の音声データに基づく韻律を、前記韻律特定部により特定された韻律と特定の関係を維持する韻律に補正する韻律補正データを算出する第１韻律補正データ算出部と、
前記第１韻律補正データ算出部により算出された韻律補正データにしたがった補正後の前記回答の音声データに基づく韻律が前記回答キャラクタに応じて定まる許容範囲に収まっていない場合に、前記許容範囲に収める韻律補正データに補正する第２韻律補正データ算出部と、
前記音声データに基づく韻律を前記韻律補正データにしたがって補正して回答を再生することを回答再生部へ指示する再生指示部と、
して機能させることを特徴とする音声再生制御プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、音声再生技術に関する。
【背景技術】
【０００２】
音声再生技術の応用例として、人と機械による音声インタラクション或いは機械と機械による音声インタラクションが挙げられる。人と機械による音声インタラクションの一例としては、音声による利用者の問いに対してその問いに対する回答の音声を合成して再生する音声対話システムが挙げられる。機械と機械による音声インタラクションの一例としては、予め定められたシナリオにしたがって音声再生装置Ａにより再生された問いの音声を、音声再生装置Ｂが認識して回答の音声を再生することが挙げられ、具体的には登場人物の全てを機械（音声再生装置）が演じる演劇や漫才が挙げられる。音声による問いに対する回答の音声を合成する場合、利用者の音声による問いに対して不自然さのない人間らしい受け答えを実現するためには、回答の音高を問いの音高に追従させることが好ましい。また、特許文献１には、問いに対する回答の音声を合成して再生する音声再生装置について仮想的な人格をエージェント属性として定め、エージェント属性が女性であれば音高を１ランク引き上げ、男性であれば１ランク引き下げて回答の音声を合成する技術が開示されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１５−０６９１３８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
演劇等では、問いに対して回答する人物（以下、回答キャラクタ）について性格や雰囲気などのキャラクタ特性が詳細に設定されている場合がある。しかし、回答の音高を問いの音高に追従させて回答の音声を合成すると、そのキャラクタ特性が損なわれる場合がある。例えば、ある回答キャラクタについて、キャラクタ特性として感情表現の乏しい無表情キャラのキャラクタ特性、具体的には、音高変化に乏しく常に平板な受け答えをするキャラクタ特性が設定されている場合、問いの音高変化に応じて回答の音高変化が大すぎるとキャラクタ特性が損なわれる。このような問題は、人間らしい不自然さのない回答を合成するために、回答音声の話速や音量、発話タイミングを問いの話速や音量、発話タイミングに追従させて再生する場合においても同様に発生し得る。なお、話速とは、単位時間当たりに発音される音素数をいう。また、以下では、音高、話速、音量、および発話タイミングを「韻律」と総称する。
【０００５】
本発明は以上に説明した課題に鑑みて為されたものであり、回答キャラクタのキャラクタ特性を損なうことなく、問いに対する回答の韻律を問いの韻律に追従させて回答の音声を合成することを可能にする技術を提供することを目的とする。
【課題を解決するための手段】
【０００６】
問いに対する回答の音声を合成する際に、回答の音高を問いの音高に追従させる理由は次の通りである。例えば、一方の人（ａとする）による問いに対し、他方の人（ｂとする）が返答する場合、ａが問いを発したとき、ａだけなく、当該問いに対して回答しようとするｂも、当該問いのうちの語尾の区間などの特定区間における音高（例えば、最低音高）を強い印象で残していることが多い。ｂは、同意や、賛同、肯定などの意で回答するときには、印象に残っている問いの音高に対し、当該回答を特徴付ける特徴部分の音高が、当該印象に残っている音高と特定の関係、例えば同じ音高の関係となるように発声する。当該回答を聞いたａは、自己の問いについて印象に残っている音高と当該問いに対する回答の特徴部分の音高とが上記特定の関係にあると、ｂの回答に対して心地良く、安心するような好印象を抱くことになる、と考えられる。上記特定の関係が崩れると、回答を聴いたａは不自然さを感じるので、問いに対する回答の音声を合成する際に、回答の音高を問いの音高に追従させるのである。これは、音高以外の話速や音量、発話タイミングなど他の韻律構成要素についても同様と考えられる。
【０００７】
このように人同士の対話では、問いの韻律と回答の韻律とは無関係ではなく、上記のような関係がある、と考察できる。このような考察を踏まえて、利用者による問いに対する回答の音声を合成して再生する対話システムを検討したときに、当該音声再生について上記目的を達成するために、次のような構成とした。
【０００８】
すなわち、上記目的を達成するために、本発明の一態様に係る音声再生制御装置は、入力された音声信号の表す問いにおける韻律を特定する韻律特定部と、前記問いに対して回答する回答キャラクタの回答の音声データを取得する回答取得部と、前記回答の音声データに基づく韻律を、前記韻律特定部により特定された韻律と特定の関係を維持する韻律に補正する韻律補正データを算出する第１韻律補正データ算出部と、前記第１韻律補正データ算出部により算出された韻律補正データにしたがった補正後の前記回答の音声データに基づく韻律が前記回答キャラクタに応じて定まる許容範囲に収まっていない場合に、前記許容範囲に収める韻律補正データに補正する第２韻律補正データ算出部と、前記音声データに基づく韻律を前記韻律補正データにしたがって補正して回答を再生することを回答再生部へ指示する再生指示部と、を具備することを特徴とする。
【０００９】
上記韻律特定部により特定される韻律の具体例としては、問いにおける特定区間の音高が挙げられる。特定区間とは、強い印象を残している部分のことをいい、例えば問いの語尾の区間（末尾区間）である。特定区間の音高の具体例としては、音量が所定値以上（すなわち、有声区間）である語尾区間の最低音高が挙げられる。音声データに基づく韻律とは、例えば音声データを標準で再生したときの特徴部分での音高であり、特徴部分の音高とは語尾部分の音高、音量が最も高い部分での音高のほか、平均音高などである。また、この態様における第１の関係の具体例としては、特定区間の音高と同じ音高の関係が挙げられる。
【００１０】
この一態様によれば、回答の韻律を問いの韻律に対して第１の関係が維持されるように補正する韻律補正データは、さらに、回答キャラクタに応じて定まる許容範囲に収まるように補正されるのであるから、回答キャラクタのキャラクタ特性が損なわれることはない。加えて、利用者が発した問いに対する回答の韻律を当該問いの韻律に追従させることもできる。なお、回答には、問いに対する具体的な答えに限られず、相槌（間投詞）も含まれる。また、回答には、問に対する答えや相槌の他、演劇や漫才における掛け合いの台詞も含まれ、人による声のほかにも、「ワン」（bowwow）、「ニャー」（meow）などの動物の鳴き声も含まれる。すなわち、ここでいう回答や音声とは、人が発する声のみならず、動物の鳴き声を含む概念である。
【００１１】
より好ましい態様においては、上記音声再生制御装置は、予め定められた複数の回答キャラクタの何れかを、前記問いに対して回答する回答キャラクタとして指定する回答キャラクタ指定部を有することを特徴とする。さらに好ましい態様においては、前記回答キャラクタに対して複数の許容範囲が予め定められており、前記回答キャラクタ指定部は、前記複数の許容範囲の何れかを前記第２韻律補正データ算出部にて使用する許容範囲として指定することを特徴とする。
【００１２】
本発明の態様について、音声再生制御装置のみならず、コンピュータを当該音声再生制御装置として機能させるプログラムとして概念することも可能である。
【図面の簡単な説明】
【００１３】
【図１】実施形態に係る音声再生制御装置の構成を示すブロック図である。
【図２】音声再生制御装置の動作を示すフローチャートである。
【図３】音声再生制御装置の動作を示すフローチャートである。
【図４】音声再生制御装置の動作のバリエーションを示すフローチャートである。
【図５】利用者による問いと、音声再生制御装置による回答との音高例を示す図である。
【発明を実施するための形態】
【００１４】
以下、図面を参照しつつ、この発明の実施形態を説明する。
（Ａ：構成）
図１は、本発明の実施形態に係る音声再生制御装置１０の構成を示す図である。この音声再生制御装置１０は、例えば、ぬいぐるみに組み込まれる装置である。音声再生制御装置１０は、利用者が当該ぬいぐるみに問いを発したときに、その問いの音声の韻律に追従し、かつ利用者により指定されたキャラクタ特性を有する回答キャラクタの回答（例えば、相槌など）の音声を合成して再生する。回答キャラクタとは、問に対して回答する回答者のこと言いい、この回答者は実在或いは架空の人物や動物、擬人化された動物や機械等である。キャラクタ特性とは、回答キャラクタの性格や雰囲気、或いはこれらを反映した話し方等を言いい、このキャラクタ特性は回答音声においては韻律の特徴として現れる。本実施形態の音声再生制御装置１０は、回答音声の韻律を制御することで、利用者により指定されたキャラクタ特性を回答音声に反映させる。前述したように、韻律の制御態様には、音高の制御、話速の制御、発話タイミングの制御などの種々の態様が考えられるが、本実施形態では、音高を制御する態様について説明する。
【００１５】
音声再生制御装置１０は、ＣＰＵ（Central Processing Unit）や、音声入力部１０２、スピーカ１４２を有し、当該ＣＰＵが、予めインストールされたアプリケーションプログラムを実行することによって、複数の機能ブロックが次のように構築される。詳細には、音声再生制御装置１０では、音声特徴量取得部（韻律特定部）１０６、回答取得部１１０、再生指示部１１４、回答再生部１１６、キャラクタ特性決定部１１８、および韻律制御幅決定部１２０が構築される。
【００１６】
なお、特に図示しないが、このほかにも音声再生制御装置１０は、表示部や操作入力部なども有し、利用者が装置の状況を確認したり、装置に対して各種の操作を入力したり、予め定められた複数のキャラクタ特性のうちの何れかの指定などの各種の設定を行えるようになっている。また、音声再生制御装置１０は、ぬいぐるみのような玩具に限られず、いわゆるペットロボットや、携帯電話機のような端末装置、タブレット型のパーソナルコンピュータなどであっても良い。
【００１７】
キャラクタ特性ライブラリ１２２は、複数のキャラクタ特性の各々を示すキャラクタ特性識別子に対応付けて許容範囲データを格納したデータベースである。許容範囲データとは、回答音声を合成する際に、当該許容範囲データに対応付けられたキャラクタ識別子の示すキャラクタ特性が損なわれない韻律の許容範囲（韻律の値の制御可能な範囲）を定めるデータである。本実施形態では、許容範囲データとして、回答音声の音高の上限値および下限値を示すデータが採用されている。キャラクタ特性識別子の具体例としては、「ツッコミ」や「ボケ」、「無表情キャラ」などキャラクタ特性を表す文字列が挙げられる。キャラクタ特性が損なわれない韻律の許容範囲は、一般にキャラクタ特性毎に異なる。例えば、「ツッコミ」については切れ味の鋭さやテンションの高さを担保するために上記許容範囲は広く、とぼけた味わいが重要となる「ボケ」や「無表情キャラ」については上記許容範囲は狭い。このため、キャラクタ特性ライブラリ１２２に格納されている複数の許容範囲データは、各々異なる許容範囲、すなわちキャラクタ特性毎に異なる許容範囲を表す。つまり、本実施形態では、キャラクタ特性を損なわない韻律の許容範囲として、キャラクタ特性毎に異なる許容範囲が予め定められている。
【００１８】
キャラクタ特性決定部１１８は、キャラクタ特性ライブラリ１２２に許容範囲データが格納されているキャラクタ特性のうちで利用者により指定されたキャラクタ特性を回答キャラクタのキャラクタ特性として決定し、そのキャラクタ特性を示すキャラクタ特性識別子を韻律制御幅決定部１２０に与える。具体的には、キャラクタ特性決定部１１８は、キャラクタ特性ライブラリ１２２に格納されているキャラクタ特性識別子のリストを表示部に表示してキャラクタ特性の指定を促し、操作入力部に対する操作により指定されたキャラクタ特性識別子を韻律制御幅決定部１２０に与える。
【００１９】
韻律制御幅決定部１２０は、キャラクタ特性決定部１１８から与えられたキャラクタ特性識別子に対応付けてキャラクタ特性ライブラリ１２２に格納されている許容範囲データを読み出す。そして、韻律制御幅決定部１２０は、上記の要領で読み出した許容範囲データの示す韻律の許容範囲を、回答における韻律の制御幅に決定し、当該許容範囲データを
再生指示部１１４に出力する。
【００２０】
音声入力部１０２は、詳細については省略するが、音声を電気信号に変換するマイクロフォンと、変換された音声信号をデジタル信号に変換するＡ／Ｄ変換器とで構成される。音声特徴量取得部１０６は、デジタル信号に変換された音声信号を解析処理し、その音声信号の表す音声の韻律を特定し、その韻律を表す韻律特徴量データを出力する韻律特定部として機能する。本実施形態では、音声特徴量取得部１０６は、上記音声信号を発話区間および非発話区間に分別するとともに、発話区間のうち、有声区間における特定区間の最低音高を検出し、当該音高を示すデータを韻律特徴量データとして回答取得部１１０および再生指示部１１４へ出力する。
【００２１】
発話区間とは、例えば音声信号の音量が閾値以上となる区間をいい、反対に、非発話区間とは、音声信号の音量が閾値未満となる区間をいう。また、有声区間とは、発話区間のうち、音声信号の音高（ピッチ）が検出可能な区間をいう。音高が検出可能な区間とは、音声信号に周期的な部分があって、その部分が検出可能であることを意味する。なお、ここでは、特定区間を有声区間のうちの末尾区間（すなわち、問いの語尾の区間）とし、当該区間における音高の最低値を示すデータを韻律特徴量データとしている。また、末尾区間とは、有声区間の終了から時間的に前方に向けた所定時間（例えば１８０ｍｓｅｃ）の区間である。
【００２２】
回答ライブラリ１２４は、利用者による問いに対する回答の音声データを複数格納したデータベースである。この音声データは、モデルとなる人物の音声を録音したものであり、例えば「はい」、「いいえ」、「そう」、「うん」、「ふーん」、「なるほど」のような、質問に対する返事や相槌などである。回答の音声データについては、例えばｗａｖやｍｐ３などのフォーマットであり、標準で再生したときの波形サンプル毎（または波形周期毎）の音高と、それらを平均した平均音高が予め求められており、その平均音高（回答に基づく音高）を示すデータが当該音声データの表す音声の韻律を示す回答韻律データとして音声データに対応付けて回答ライブラリ１２４に格納されている。
【００２３】
ここでいう標準で再生とは、音声データを録音時の条件（サンプリング周波数）と同じ条件で再生する、という意味である。なお、回答韻律データは、平均音高を示すデータ以外であっても良い。例えば、音高の中間値を表すデータでも良いし、音声データの所定区間（例えば、語尾や語頭の区間）の平均音高を表すデータでも良い。
【００２４】
回答取得部１１０は、音声特徴量取得部１０６から韻律特徴量データが出力された場合、回答の音声データを、回答ライブラリ１２４から１つを選択し、当該選択した回答の音声データと当該音声データに対応付けられた回答韻律データを読み出し、前者を回答再生部１１６に与え、後者を再生指示部１１４に与える。回答取得部１１０が、複数の音声データのうち、１つの音声データをどのようなルールで選択するかについては、例えばランダムでも良いし、問いの特定区間の最低音高に対して平均音高が最も近い音声データを選択する、としても良い。
【００２５】
本実施形態において選択される回答については、利用者の問いの意味内容が考慮されないことになるが、この音声再生制御装置１０を、利用者が発した問いに対し、回答として相槌等を返す装置としてみれば、これで十分である。一方で、図において破線で示されるように言語解析部１０８を設けて、当該言語解析部１０８が音声信号で規定される問いの意味内容を解析し、回答取得部１１０が、他のシステム等を介して当該問いに対する回答を作成する構成としても良い。
【００２６】
再生指示部１１４は、音声特徴量取得部１０６から出力された韻律特徴量データの示す韻律に追従するように回答の韻律を決定する。より詳細に説明すると、再生指示部１１４は、回答韻律データの示す韻律、すなわち回答の平均音高を、韻律特徴量データの示す韻律、すなわち、問いにおける特定区間の最低音高に追従する音高にシフトさせる音高シフト量を示す韻律補正データを算出する。そして、再生指示部１１４は、回答の音声データに基づく韻律を当該韻律補正データにしたがって補正して回答の音声を再生することを回答再生部１１６へ指示する。
【００２７】
図１に示すように、再生指示部１１４は、第１韻律補正データ算出部１１４ａと第２韻律補正データ算出部１１４ｂとを含む。第１韻律補正データ算出部１１４ａは、回答の音声データに基づく韻律を、韻律特徴量データの示す韻律と特定の第１の関係を維持する韻律に補正する韻律補正データを算出する。より詳細に説明すると、第１韻律補正データ算出部１１４ａは、回答韻律データの示す平均音高を、韻律特徴量データの示す特定区間の最低音高に対して予め定められた特定の第１の関係を維持し、かつ当該平均音高に応じて定まる第１の許容範囲に収まる第１の目標音高までシフトさせる音高シフト量を表す韻律補正データを算出する。本実施形態における第１の関係とは、韻律特徴量データの示す音高と同じ音高の関係またはオクターブ単位の違いを有する関係である。同時に発生する２つの音の音高が同じである場合は勿論、両者が異なっていても、音高差が１オクターブの整数倍であれば調和が保たれ、聴者に与える違和感は少ないからである。また、第１の許容範囲とは回答の平均音高を中心とする１オクターブの範囲、すなわち、平均音高−６００セント〜平均音高＋６００セントの範囲である。
【００２８】
第２韻律補正データ算出部１１４ｂは、第１韻律補正データ算出部１１４ａにより算出された韻律補正データにしたがった補正後の回答の韻律（すなわち、第１の目標音高）が、回答キラクタのキャラクタ特性に応じて定まる第２の許容範囲に収まっているか否かを判別し、収まっていない場合には、回答韻律データの示す平均音高を、当該許容範囲に収まる音高にシフトさせる韻律補正データに補正する。回答キラクタのキャラクタ特性に応じて定まる第２の許容範囲とは、韻律制御幅決定部１２０から出力された許容範囲データの示す許容範囲のことである。
【００２９】
より詳細に説明すると、第２韻律補正データ算出部１１４ｂは、上記第１の目標音高が上記第２の許容範囲に収まっていない場合に、第１の目標音高を、韻律特徴量データの示す特定区間の最低音高に対して第１の関係とは異なる第２の関係を維持する目標音高であって、第２の許容範囲に収まる第２の目標音高へ変更し、第１韻律補正データ算出部１１４ａにより算出された韻律補正データを当該第２の目標音高にシフトさせる韻律補正データに補正する。ここで、第２の関係とは、例えば「ド」に対する「ソ」のような協和音の関係のように、特定区間の最低音高に対して親和性が高い音高の関係を言う。第２の関係が維持されていれば、第１の関係が維持されている場合ほどではないものの、聴者に与える違和感は少ないからである。なお、上記第１の目標音高が上記第２の許容範囲に収まっている場合には、第２韻律補正データ算出部１１４ｂは、韻律補正データの補正を行わない。
【００３０】
回答再生部１１６は、回答ライブラリ１２４から読み出された回答の音声データの表す音声の韻律を、再生指示部１１４で算出された韻律補正データにしたがって調整して再生（合成）する。具体的には、回答再生部１１６は、回答ライブラリ１２４から読み出された回答の音声データの表す音声の音高を、再生指示部１１４で算出された韻律補正データにしたがって音高シフトさせて再生（合成）する。このようにして再生（合成）された音声信号は、図示省略したＤ／Ａ変換部によってアナログ信号に変換された後、スピーカ１４２によって音響変換されて出力される。
以上が音声再生制御装置１０の構成である。
【００３１】
（Ｂ：動作）
次に、音声再生制御装置１０の動作について説明する。
図２は、音声再生制御装置１０における処理動作を示すフローチャートである。音声再生制御装置１０の電源（図１では図示略）が投入されると、このフローチャートで示される処理が起動される。図２のステップＳａ１１では、キャラクタ特性決定部１１８は、キャラクタ特性ライブラリ１２２に許容範囲データが格納されているキャラクタ特性のうちの１つの指定を利用者に促し、利用者により指定されたキャラクタ特性を回答キャラクタのキャラクタ特性に決定し、当該キャラクタ特性示すキャラクタ特性識別子を韻律制御幅決定部１２０に与える。
【００３２】
韻律制御幅決定部１２０は、キャラクタ特性決定部１１８から与えられたキャラクタ特性識別子に対応する許容範囲データをキャラクタ特性ライブラリ１２２から読み出して取得し、当該許容範囲データを再生指示部１１４に与える（ステップＳａ１２）。これにより、利用者の問いに対して回答する回答キャラクタに応じた韻律の許容範囲が設定され、回答キャラクタの設定が完了する。以下、本動作例では、回答キャラクタに応じた韻律の許容範囲として、回答の平均音高を中心とする半オクターブの範囲、すなわち、平均音高−３００セント〜平均音高＋３００セントの範囲が設定された場合を例にとって説明する。
【００３３】
上記の要領で回答キャラクタの設定を完了すると、利用者は音声で問いを発する。音声入力部１０２は、当該問いの音声を音声信号に変換して音声特徴量取得部１０６に与える。図３のステップＳａ１３では、音声特徴量取得部１０６は、音声入力部１０２からの音声信号の問い（発話）が終了したか否かを判別する。なお、問いが終了したか否かについては、具体的には、例えば、音声信号の音量が所定の閾値未満となった状態が所定時間継続したか否かで判別される。問いが終了していなければ（ステップＳａ１３の判別結果が「Ｎｏ」であれば）、音声特徴量取得部１０６は、音声入力部１０２からの音声信号をメモリ等に蓄積しつつ、ステップＳａ１３の処理を再度実行し、問いの終了を待ち受ける。
【００３４】
ステップＳａ１３の判別結果が「Ｙｅｓ」の場合に実行されるステップＳａ１４では、音声特徴量取得部１０６は、メモリに蓄積した音声信号に対して解析処理、すなわち利用者が発した問いの特定区間の最低音高を検出する処理を施し、検出した音高を示す韻律特徴量データを出力する。ステップＳａ１４に後続するステップＳａ１５においては、回答取得部１１６は、上記音声信号の表す問いに対する回答の音声データと回答韻律データとを取得し、前者を回答再生部１１６に与え、後者を再生指示部１１４に与える。
【００３５】
ステップＳａ１６においては、回答再生部１１６によって回答が再生中であるか否かが判別される。なお、ステップＳａ１６において、回答再生部１１６によって回答が再生中であると判別される場合とは、ある問いに応じて回答を再生中に、次の問いが利用者によって発せられた場合などである。回答が再生中であれば（ステップＳａ１６の判別結果が「Ｙｅｓ」であれば）、ステップＳａ１６の判別が再度実行される。これに対して、ステップＳａ１６の判別結果が「Ｎｏ」であれば、再生指示部１１４は、回答取得部１１０により選択された回答の音声データを再生する際の韻律を決定し、当該韻律に補正する韻律補正データを算出する（ステップＳａ１７）。具体的には、再生指示部１１４は、回答取得部１１０により選択された回答の音声データを再生する際の音高シフト量を表す韻律補正データを算出する。そして、再生指示部１１４は、算出した韻律補正データを回答再生部１１６に通知して回答取得部１１０により選択された回答の音声データの再生を指示し、回答再生部１１６は、回答取得部１１０から与えられた音声データを、再生指示部１１４から与えられた韻律補正データにしたがって韻律を補正しつつ再生する（ステップＳａ１８）。
【００３６】
図３は、図２におけるステップＳａ１７の処理、すなわち韻律補正データを算出する処理の詳細を示すフローチャートである。第１韻律補正データ算出部１１４ａは、韻律特徴量データの示す音高（すなわち、問いの特定区間の最低音高）を、前述の第１の目標音高として仮決定する（ステップＳｂ１１）。続いて、第１韻律補正データ算出部１１４ａは、回答韻律データの示す音高から、仮決定した第１の目標音高（ステップＳｂ１１のほか、後述するステップＳｂ１４、Ｓｂ１６による変更後の第１の目標音高を含む）までの音高シフト量を表す韻律補正データを算出する（ステップＳｂ１２）。第１韻律補正データ算出部１１４ａは、仮決定した第１の目標音高が前述した第１の許容範囲の下限閾値Ｌ１よりも低いか否かを判別する（ステップＳｂ１３）。この下限閾値Ｌ１は、回答の平均音高に対して、どれだけ低い音高まで音高シフトを許容するのかについての閾値であり、本実施形態では、回答の平均音高−６００セントである。
【００３７】
上記仮決定した第１の目標音高が下限閾値Ｌ１よりも低ければ（ステップＳｂ１３の判別結果が「Ｙｅｓ」であれば）、第１韻律補正データ算出部１１４ａは、第１の目標音高を１オクターブ（１２００セント）引き上げて再度仮決定する（ステップＳｂ１４）。なお、この後、処理手順がステップＳｂ１２に戻り、再度、韻律補正データが算出されて、ステップＳｂ１３の判別が実行されることになる。
【００３８】
一方、仮決定した第１の目標音高が下限閾値Ｌ１よりも低くなければ（ステップＳｂ１３の判別結果が「Ｎｏ」であれば）、第１韻律補正データ算出部１１４ａは、当該仮決定した第１の目標音高が第１の許容範囲の上限閾値Ｈ１よりも高いか否かを判別する（ステップＳｂ１５）。この上限閾値Ｈ１は、回答の平均音高に対して、どれだけ高い音高まで音高シフトを許容するのかについての閾値であり、本実施形態では、回答の平均音高＋６００セントである。上記仮決定した第１の目標音高が上限閾値Ｈ１よりも高ければ（ステップＳｂ１５の判別結果が「Ｙｅｓ」であれば）、第１韻律補正データ算出部１１４ａは、第１の目標音高を１オクターブ引き下げて再度仮決定する（ステップＳｂ１６）。なお、この後、処理手順がステップＳｂ１４に戻り、再度、韻律補正データが算出されて、ステップＳｂ１３、Ｓｂ１５の判別が実行されることになる。
【００３９】
仮決定した第１の目標音高が上限閾値Ｈ１よりも高くなければ（ステップＳｂ１５の判別結果が「Ｎｏ」であれば）、当該仮決定した第１の目標音高は第１の許容範囲に収まっていることを意味する。第１韻律補正データ算出部１１４ａは、ステップＳｂ１５の判別結果が「Ｎｏ」となった時点の第１の目標音高を本決定として、処理手順をステップＳｂ１７に移行させる。
【００４０】
ステップＳｂ１７では、回答の平均音高に韻律補正データの示す音高シフトを施した後の音高を第２の目標音高に仮決定し、当該仮決定した第２の目標音高が前述した第２の許容範囲の下限閾値Ｌ２よりも低いか否かを判別する。ステップＳｂ１５の判別結果が「Ｎｏ」となった直後に実行されるステップＳｂ１７では、第１韻律補正データ算出部１１４ａにより本決定された第１の目標音高が第２の目標音高に仮決定される。前述したように、本動作例における下限閾値Ｌ２は、回答の平均音高−３００セントである。
【００４１】
ステップＳｂ１７の判別結果が「Ｙｅｓ」であれば、第２韻律補正データ算出部１１４ｂは、第２の目標音高を所定量だけ引き上げて仮決定し、韻律補正データを再計算する（ステップＳｂ１８）。ステップＳｂ１８における音高の引き上げ量は、ステップＳｂ１４における引き上げ量（１オクターブ）よりも小さく設定されている。本動作例における第２の許容範囲は第１の許容範囲よりも狭いからである。ステップＳｂ１８における音高の引き上げ量については、第２の許容範囲の幅および前述した第２の関係に応じて設定しておけば良い。具体的には、問いの特定区間の最低音高が「ド」である場合に、回答の音高が「ソ」になるように（オクターブ違いの同じ音高の関係ではなく、１オクターブ内の、親和性が高い関係（例えば協和音の関係）にある音高となるように）、上記ステップＳｂ２１８おける音高の引き上げ量を７００セントに設定しておくことが考えられ、本実施形態では、この態様が採用されている。ステップＳｂ１８の処理の実行後、処理手順がステップＳｂ１７に戻り、ステップＳｂ１７の判別が再度実行されることになる。
【００４２】
一方、仮決定した第２の目標音高が下限閾値Ｌ２よりも低くなければ（ステップＳｂ１７の判別結果が「Ｎｏ」であれば）、第２韻律補正データ算出部１１４ｂは、当該仮決定した第２の目標音高が第２の許容範囲の上限閾値Ｈ２よりも高いか否かを判別する（ステップＳｂ１９）。前述したように本動作例における上限閾値Ｈ２は、回答の平均音高＋３００セントである。シフト後の音高が上限閾値Ｈ２よりも高ければ（ステップＳｂ１９の判別結果が「Ｙｅｓ」であれば）、第２韻律補正データ算出部１１４ｂは、第２の目標音高を所定量だけ引き下げて再度仮決定し、韻律補正データを再計算する（ステップＳｂ２０）。ステップＳｂ２０における音高の引き下げ量も、ステップＳｂ１６における引き下げ量（１オクターブ）よりも小さく設定されている。ステップＳｂ２０における音高の引き下げ量についても、ステップＳｂ１８における音高の引き上げ量と同様に、第２の許容範囲の幅および前述した第２の関係に応じて設定しておけば良い。本実施形態では、問いの音高が「ド」である場合に、回答の音高が「ソ」になるように（オクターブ違いの同じ音高の関係ではなく、１オクターブ内の、親和性が高い関係（例えば協和音の関係）にある音高となるように）、上記ステップＳｂ２０における音高の引き下げ量は５００セントに設定されている。ステップＳｂ２０の処理の実行後、処理手順がステップＳｂ１７に戻り、ステップＳｂ１７、Ｓｂ１９の判別が再度実行されることになる。
【００４３】
仮決定した第２の目標音高が上限閾値Ｈ２よりも高くなければ（ステップＳｂ１９の判別結果が「Ｎｏ」であれば）、当該仮決定した第２の目標音高が第２の許容範囲内に収まっていることを意味する。第２韻律補正データ算出部１１４ｂは、ステップＳｂ１９の判別結果が「Ｎｏ」となった時点の第２の目標音高を出力する回答の音高に本決定し、回答の平均音高を当該本決定した音高にシフトさせる韻律補正データを回答再生部１１６に通知する（ステップＳｂ２１）。
【００４４】
本動作例では、キャラクタ特性に応じて定まる第２の許容範囲は半オクターブの幅を有するため、問いの特定区間の最低音高が「ド」である場合における「ソ」のように協和音の関係となる音が必ず見つかる。しかし、第２の許容範囲が半オクターブの幅を有するとは限らず、より狭い音高範囲である場合には、問いの特定区間の最低音高が「ド」である場合における「ソ」のような音が第２の許容範囲に含まれているとは限らない。そこで、図４に示すように、ステップＳｂ１８或いはステップＳｂ２０の実行後、第２の許容範囲が半オクターブより狭く、かつ当該第２の許容範囲を全てチェックしたか否かを判定し（ステップＳｂ２０＿１）、ステップＳｂ２０＿１の判定結果が「Ｙｅｓ」となる場合には、第２の目標音高を第１の目標音高に再設定し、音高調整量（ステップＳｂ１８における音高の引き上げ量、およびステップＳｂ２０における音高引き下げ量）を変更した（ステップＳｂ２０＿２）後に、ステップＳｂ１７の処理を再度実行するようにしても良い。
【００４５】
具体的には、ステップＳｂ２０による第２の目標音高の引き下げの結果、ステップＳｂ１７の判定結果が「Ｙｅｓ」となった場合、或いはステップＳｂ１８による第２の目標音高の引き上げの結果、ステップＳｂ１９の判定結果が「Ｙｅｓ」となった場合に、第２の許容範囲を全てチェックしたと判定すれば良い。つまり、第２の許容範囲が半オクターブより狭く、かつステップＳｂ２０による第２の目標音高の引き下げの結果、ステップＳｂ１７の判定結果が「Ｙｅｓ」となった場合、或いは第２の許容範囲が半オクターブより狭く、かつステップＳｂ１８による第２の目標音高の引き上げの結果、ステップＳｂ１９の判定結果が「Ｙｅｓ」となった場合に、ステップＳｂ２０＿１の判定結果は「Ｙｅｓ」となる。また、上記第２の関係が「ド」に対する「ソ」のような協和音の関係である場合には、「ソ」に代えて他の協和音（例えば、「レ」）が第２の目標音高として決定されるように音高調整量を更新すれば良い。また、音高調整量の変更を所定回数実行しても第２の目標音高が決定されない場合には、第２の許容範囲の上限閾値Ｈ２或いは下限閾値Ｌ２のうち、第１の目標音高に近い方を第２の目標音高に決定しても良い。
以上が再生指示部１１４の動作である。
【００４６】
図５は、利用者によって音声入力された問いと、音声再生制御装置１０により合成される回答との関係を、音高を縦軸に、時間を横軸にとって例示した図である。この図において、符号Ｔ１で示される実線は、利用者による「あのね」という問いの音高変化を簡易的に直線で示している。符号Ｐ１は、この問いＴ１における特定区間の最低音高、具体的には「ド」の音高を示す。また、図において、符号Ａ１で示される実線は、問いＴ１に対して選択された「うん」という回答の音声データを標準で再生したときの音高変化を簡易的に示す図であり、符号Ｐ０は、その平均音高を示す。
【００４７】
問いＴ１に対して、回答Ａ１の音高をシフトさせずに再生すると、不自然な感じを受けやすい。このため、本実施形態では、まず、問いＴ１の特徴的で印象的な部分である特定区間（語尾）の最低音高Ｐ１が、回答Ａ１を再生する際の音高として仮決定され（図３：ステップＳｂ１１）、回答Ａ１の音高Ｐ０を当該仮決定した音高Ｐ１にシフトさせる音高シフト量が算出される（ステップＳｂ１２）。
【００４８】
図５に示すように、仮決定された音高Ｐ１は、第１の許容範囲の上限閾値Ｈ１を上回っているため、ステップＳｂ１３の判別結果は「Ｎｏ」となり、ステップＳｂ１５の判別結果は「Ｙｅｓ」となる。その結果、ステップＳｂ１６の処理が実行され、回答Ａ１を再生する際の音高として、音高Ｐ１から１オクターブ引き下げた音高Ｐ２が仮決定され、韻律補正データが再計算される（図３：ステップＳｂ１２）。
【００４９】
図５に示すように、音高Ｐ２は、第１の許容範囲の下限閾値Ｌ１を上回っており、かつ上限閾値Ｈ１を下回っている。その結果、ステップＳｂ１３の判別結果は「Ｎｏ」となり、ステップＳｂ１５の判別結果も「Ｎｏ」となって、ステップＳｂ１７の処理が実行される。図５に示すように、音高Ｐ２は第２の許容範囲の下限閾値Ｌ２を上回っており、かつ上限閾値Ｈ２も上回っている。このため、ステップＳｂ１７の判別結果は「Ｎｏ」となってステップＳｂ１９の判別処理が実行され、ステップＳｂ１９の判別結果は「Ｙｅｓ」となる。その結果、ステップＳｂ２０の処理が実行され、回答Ａ１を再生する際の音高として、音高Ｐ２から所定量（本実施形態では、５００セント）だけ引き下げた音高Ｐ３が仮決定され、音高Ｐ０を音高Ｐ３にシフトさせる韻律補正データが再計算される。
【００５０】
図５に示すように、音高Ｐ３は、第２の許容範囲の下限閾値Ｌ２を上回っており、かつ上限閾値Ｈ２を下回っている。その結果、ステップＳｂ１７の判別結果は「Ｎｏ」となり、ステップＳｂ１９の判別結果も「Ｎｏ」となって、回答Ａ１を再生する際の音高として、音高Ｐ３が本決定される（ステップＳｂ２１）。
【００５１】
以上の動作の結果、音高を音高Ｐ３にシフトさせた回答Ａ１が、問いＴ１に対する応答として再生される。ここで、注目すべき点は、上記音高Ｐ３はキャラクタ特性に応じて定まる韻律の許容範囲に収まっており、そのキャラクタ特性が損なわれることがないことに加えて、問いＴ１の特定区間の最低音高に対して上記第２の関係が維持されており、利用者に不自然さを感じさせないと考えられる点である。
【００５２】
このように、本実施形態によれば、問に対して回答する回答キャラクタに設定されているキャラクタ特性を損なうことなく、問いに対する回答の韻律を問いの韻律に追従させることが可能になる。
【００５３】
（Ｃ：変形および応用例）
本発明は、上述した実施形態に限定されるものではなく、例えば次に述べるような各種の応用・変形が可能である。また、次に述べる応用・変形の態様は、任意に選択された一または複数を適宜に組み合わせることもできる。
【００５４】
＜音声入力部＞
実施形態では、音声入力部１０２は、利用者の音声（発言）をマイクロフォンで入力して音声信号に変換する構成としたが、この構成に限られない。すなわち、音声入力部１０２は、音声信号による発言をなんらかの形で入力する、または、入力される構成であれば良い。詳細には、音声入力部１０２は、他の処理部で処理された音声信号や、他の装置から供給（または転送された）音声信号を入力する構成、さらには、ＬＳＩに内蔵され、単に音声信号を受信し後段に転送する入力インターフェース回路等を含んだ概念である。
【００５５】
＜回答等の語尾、語頭＞
実施形態では、問いの語尾の音高に対応して回答の平均音高を制御する構成としたが、言語や、方言、言い回しなどによっては回答の語尾や語頭が特徴的となる場合もある。このような場合には、問いを発した人は、当該問いに対する回答があったときに、当該問いの語尾の音高と、当該回答の特徴的な部分（語頭或いは語尾）の音高とを無意識のうち比較して当該回答に対する印象を判断する。したがって、この場合には、問いの特定部分の音高に対応して回答の語頭或いは語尾の音高を制御する構成とすれば良い。この構成によれば、回答の語頭或いは語尾が特徴的である場合、当該回答を受け取る利用者に対して心理的な印象を与えることが可能となる。
【００５６】
問いについても同様であり、語尾に限られず、語頭で判断される場合も考えられる。この場合は、問いの語頭を特定区間とすれば良い。また、発言、回答については、語頭、語尾に限られず、最も強く発音した部分の音高で判断される場合なども考えられ、この場合は最も強く発音された区間を上記特定区間とすれば良い。
【００５７】
＜音高以外の韻律の制御＞
上記実施形態では、回答の音高を問いの特定区間の音高に追従させる場合について説明したが、回答の話速を問いの話速に追従させる態様であっても良く、また、回答の音量を問いの音量に追従させる態様であっても良い。
【００５８】
＜回答キャラクタの指定＞
上記実施形態では、音声再生制御装置１０に対する問い掛けに先立って回答キャラクタのキャラクタ特性を設定する場合について説明したが、１または複数の問い掛けを行う毎に回答キャラクタのキャラクタ特性を設定しても良い。具体的には、図３におけるステップＳａ１１およびステップＳａ１２の処理をステップＳａ１３の判別の後、ステップＳａ１４に先立って実行すれば良い。また、音声再生制御装置１０毎に回答キャラクタを予め定めておいても良く、この場合は、キャラクタ特性ライブラリ１２２には、当該予め定められた回答キャラクタのキャラクタ特性に対応する許容範囲データを１つだけ格納しておけば良く、キャラクタ特性決定部１１８は不要である。
【００５９】
また、回答キャラクタにその回答キャラクタを一意に示す識別子（例えば、回答キャラクタの名前を表す文字列等）とその回答キャラクタのキャラクタ特性を示すキャラクタ特性識別子とを対応付けてキャラクタ特性ライブラリ１２２に格納しておき、キャラクタ特性決定部１１８には、回答キャラクタの指定を促す処理を実行させる（すなわち、キャラクタ特性決定部１１８を「回答キャラクタを指定する回答キャラクタ指定部」として機能させる）ようにしても良い。また、１つの回答キャラクタに対して、その回答キャラクタの本音と建て前の各々に対応する２つのキャラクタ特性や、幼少期、青年期、老年期の各キャラクタ特性を対応づける等、複数のキャラクタ特性を対応付けておき、回答キャラクタ指定部には、回答キャラクタの指定に加えて、当該回答キャラクタに対応する複数のキャラクタ特性の何れかの指定を行わせるようにしても良い。問いに対する回答をシナリオにしたがって合成する場合、１つの回答キャラクタに対して複数のキャラクタ特性を対応付けておき、何れのキャラクタ特性で回答の音声を合成するのかをシナリオにおいて定めておき、そのシナリオにしたがって回答キャラクタ指定部に回答キャラクタを指定させることで、１つの回答キャラクタの経年変化や、本音と建て前の使い分けを演出することが可能になる。
【００６０】
＜問いに付与されているキャラクタ特性の評価・採点＞
複数の問いの各々について音声入力部１０２から入力される音声信号を解析することで当該複数の問いにおける韻律の変化幅を韻律構成要素毎に求め、韻律の変化幅からこれら複数の問いを発している利用者のキャラクタ特性を特定しても良い。また、利用者には、特定のキャラクタ特性を付与して上記複数の問いを発話させ、そのキャラクタ特性に対応する許容範囲データの表す許容範囲に上記韻律の変化幅が収まっているか否かを評価・採点しても良い。この態様によれば、問いに対するキャラクタ特性の付与の仕方の練習を支援することが可能になる。
【００６１】
＜その他＞
実施形態にあっては、発言に対する回答を取得する構成である言語解析部１０８、キャラクタ特性ライブラリ、および回答ライブラリを音声再生制御装置１０の側に設けたが、端末装置などでは、処理の負荷が重くなる点や、記憶容量に制限がある点などを考慮して、外部サーバの側に設ける構成としても良い。また、上記実施形態の第２韻律補正データ算出部１１４ｂは、第１韻律補正データ算出部１１４ａにより決定された目標音高を、キャラクタ特性に応じて定まる許容範囲に収まり、かつ問いの音高に対して第２の関係を維持する音高に補正したが、後者の要件、すなわち、第２の関係を維持することは必須ではなく、前者の要件のみで目標音高を更新しても良い。また、上記実施形態では、再生指示部１１４に第１韻律補正データ算出部１１４ａと第２韻律補正データ算出部１１４ｂが含まれていたが、第１韻律補正データ算出部１１４ａおよび第２韻律補正データ算出部１１４ｂを再生指示部１１４とは別個に設けても良い。また、上記実施形態の音声再生制御装置１０には、回答再生部１１６が含まれていたが、回答再生部１１６は音声再生制御装置１０とは別個の音声合成装置であっても良い。
【符号の説明】
【００６２】
１０２…音声入力部、１０６…音声特徴量取得部、１０８…言語解析部、１１０…回答取得部、１１４…再生指示部、１１４ａ…第１韻律補正データ算出部、１１４ｂ…第２韻律補正データ算出部、１１６…回答再生部、１１８…キャラクタ特性決定部、１２０…韻律制御幅決定部、１２２…キャラクタ特性ライブラリ、１２４…回答ライブラリ。
【図１】
2018159778.tif 000003
【図２】
2018159778.tif 000004
【図３】
2018159778.tif 000005
【図４】
2018159778.tif 000006
【図５】
2018159778.tif 000007