(57)【要約】【課題】多大なリソースを要することなく、音質劣化を抑えかつ利用者に違和感を与えない回答を再生することを可能にする。【解決手段】入力された問いの音声信号に対応する回答の音声データに基づく音高を取得する音高取得部と、入力された問いの音声信号の特定区間の音高に対して第１の関係を維持しかつ回答の音高に応じて定まる第１の音高範囲に収まる第１の目標音高を決定する目標音高決定部と、第１の目標音高が第１の音高範囲よりも狭い第２の音高範囲内に収まらない場合に、第１の目標音高を第２の目標音高に変更する目標音高変更部と、回答の音声データに基づく音高を、目標音高決定部で決定された音高、或いは目標音高変更部で変更された音高へシフトして、回答を再生することを音声再生部へ指示する再生指示部と、を具備する音声再生制御装置を提供する。【選択図】図１
2018159776.tif 000002
【特許請求の範囲】
【請求項１】
入力された問いの音声信号に対応する回答の音声データに基づく音高を取得する音高取得部と、
前記入力された問いの音声信号の特定区間の音高に対して予め定められた第１の関係を維持する目標音高であって、かつ前記回答の音声データに基づく音高に応じて定まる第１の音高範囲に収まる第１の目標音高を決定する目標音高決定部と、
前記第１の目標音高が前記第１の音高範囲よりも狭い第２の音高範囲内に収まらない場合に、前記第１の目標音高を第２の目標音高に変更する目標音高変更部と、
前記回答の音声データに基づく音高を、前記目標音高決定部で決定された音高、或いは前記目標音高変更部で変更された音高へ変更するための音高シフト量だけシフトして、回答を再生することを回答再生部へ指示する再生指示部と、
を具備することを特徴とする音声再生制御装置。
【請求項２】
前記目標音高決定部は、前記第１の音高範囲に収まるまで、目標音高を第１のシフト量単位で変更して前記第１の目標音高を決定し、
前記目標音高変更部は、前記第２の音高範囲に収まるまで、目標音高を前記第１のシフト量単位よりも小さい第２のシフト量単位であって、前記特定区間の音高に応じて定まる第２のシフト量単位で変更して前記第２の目標音高を決定する
ことを特徴とする請求項１に記載の音声再生制御装置。
【請求項３】
前記第１の音高範囲はオクターブ単位で定められ、前記第２の音高範囲は半オクターブ単位で定められることを特徴とする請求項１または請求項２に記載の音声再生制御装置。
【請求項４】
前記入力された音声信号の音量が所定値以上である区間の音高最低値を前記特定区間の音高とする
ことを特徴とする請求項１〜３の何れか１項に記載の音声再生制御装置。
【請求項５】
コンピュータを、
入力された問いの音声信号に対応する回答の音声データに基づく音高を取得する音高取得部と、
前記入力された問いの音声信号の特定区間の音高に対して予め定められた第１の関係を維持する目標音高であって、かつ前記回答の音声データに基づく音高に応じて定まる第１の音高範囲に収まる第１の目標音高を決定する目標音高決定部と、
前記第１の目標音高が前記第１の音高範囲よりも狭い第２の音高範囲内に収まらない場合に、前記第１の目標音高を第２の目標音高に変更する目標音高変更部と、
前記回答の音声データに基づく音高を、前記目標音高決定部で決定された音高、或いは前記目標音高変更部で変更された音高へ変更するための音高シフト量だけシフトして、回答を再生することを回答再生部へ指示する再生指示部と、
として機能させることを特徴とするプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、音声再生技術に関する。
【背景技術】
【０００２】
近年、音声再生技術としては、次のようなものが提案されている。すなわち、利用者の話調や声質に対応して合成した音声を再生することによって、より人間らしい音声を再生する技術（例えば特許文献１参照）や、利用者の音声を分析して、当該利用者の心理状態や健康状態などを診断する技術（例えば特許文献２参照）が提案されている。
また、利用者が入力した音声を認識する一方で、シナリオで指定された内容の音声を合成して再生し、利用者との音声対話を実現する音声対話システムも提案されている（例えば特許文献３参照）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００３−２７１１９４号公報
【特許文献２】特許第４４９５９０７号公報
【特許文献３】特許第４８３２０９７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
ところで、上述した音声合成技術と音声対話システムとを組み合わせて、利用者の音声による問いに対し、データを検索して音声合成により回答の音声を合成して再生する対話システムを想定する。この場合、回答音声の音高が問いの音声の音高からかけ離れていると、問いに対する親和性を欠き、利用者に不自然な印象を与える、といった不具合が発生する。このような不具合の発生を回避するには、問いの内容に対して音高の異なる複数種の回答音声を用意しておき、問いの音声の音高に応じて何れかの回答音声を選択して再生することが考えられる。しかし、回答音声のデータを記憶する記憶装置の記憶容量を十分に確保できないなどリソースに制約がある場合には、問いの内容に対して音高の異なる複数種の回答音声を用意することはできない。このようにリソースの制約が厳しい場合には、問いの内容毎に回答音声を１つだけ用意しておき、音高シフトにより問いの音声の音高に応じた音高の回答音声を合成して再生することが考えられる。しかし、音高シフトには音質劣化が伴うため、音高シフト量が大きくなるほど、回答音声の音質劣化が著しくなる、といった問題がある。
【０００５】
本発明は、このような事情に鑑みてなされたものであり、その目的の一つは、多大なリソースを要することなく、音質劣化を抑えかつ利用者に不自然な感じを抱かせない回答音声を再生することを可能にする音声再生制御装置および音声再生制御プログラムを提供することにある。
【課題を解決するための手段】
【０００６】
利用者による問いに対する回答音声を再生するマン・マシンのシステムを検討するにあたって、まず、人同士では、どのような対話がなされるかについて、言語的情報以外の情報、とりわけ対話を特徴付ける音高（周波数）に着目して考察する。
【０００７】
人同士の対話として、一方の人（ａとする）による問いに対し、他方の人（ｂとする）が返答する場合について検討する。この場合において、ａが問いを発したとき、ａだけなく、当該問いに対して回答しようとするｂも、当該問いのうちの語尾の区間などの特定区間における音高（例えば、最低音高）を強い印象で残していることが多い。ｂは、同意や、賛同、肯定などの意で回答するときには、印象に残っている問いの音高に対し、当該回答を特徴付ける部分の音高が、特定の関係、例えば同じ音程の関係となるように発声する。当該回答を聞いたａは、自己の問いについて印象に残っている音高と当該問いに対する回答を特徴付ける部分の音高とが上記関係にあるので、ｂの回答に対して心地良く、安心するような好印象を抱くことになる、と考えられる。
【０００８】
このように人同士の対話では、問いの音高と回答の音高とは無関係ではなく、上記のような関係がある、と考察できる。このような考察を踏まえて、利用者による問いに対する回答音声を再生（返答）する対話システムを検討したときに、当該音声再生について上記目的を達成するために、次のような構成とした。
【０００９】
すなわち、上記目的を達成するために、本発明の一態様に係る音声再生制御装置は、入力された問いの音声信号に対応する回答の音声データに基づく音高を取得する音高取得部と、入力された問いの音声信号の特定区間の音高に対して第１の関係を維持しかつ回答の音高に応じて定まる第１の音高範囲に収まる第１の目標音高を決定する目標音高決定部と、第１の目標音高が第１の音高範囲よりも狭い第２の音高範囲内に収まらない場合に、第１の目標音高を第２の目標音高に変更する目標音高変更部と、回答の音声データに基づく音高を、目標音高決定部で決定された音高、或いは目標音高変更部で変更された音高へシフトして、回答を再生することを音声再生部へ指示する再生指示部と、を具備することを特徴とする。
【００１０】
ここで、第１の関係の一例としては、特定区間の音高と同じ音高またはオクターブ違いの音高の関係が挙げられる。オクターブ違いの音高とは、２つの音の音高差が１オクターブの整数倍の関係を言う。同時に発生する２つの音の音高が異なっていても、音高差が１オクターブの整数倍であれば調和が保たれ、聴者に与える違和感は少ないからである。
【００１１】
この一態様によれば、利用者が発した問いに対する回答を、不自然でなく、かつ、聴感上の品質の劣化を防いで、再生することができる。なお、回答には、問いに対する具体的な答えに限られず、相槌（間投詞）も含まれる。また、回答には、人による声のほかにも、「ワン」（bowwow）、「ニャー」（meow）などの動物の鳴き声も含まれる。すなわち、ここでいう回答や音声とは、人が発する声のみならず、動物の鳴き声を含む概念である。
【００１２】
特定区間とは、強い印象を残している部分のことをいい、例えば問いの語尾の区間（末尾区間）である。特定区間の音高の具体例としては、音量が所定値以上（すなわち、有声区間）である語尾の区間の最低音高が挙げられる。また、音声データに基づく音高とは、例えば音声データを標準で再生したときの特徴的な部分での音高であり、特徴的な部分とは語頭部分の音高、音量が最も高い部分での音高のほか、平均音高などである。
【００１３】
上記一態様において、目標音高決定部は、前記第１の音高範囲に収まるまで、目標音高を第１のシフト量単位で変更して前記第１の目標音高を決定し、目標音高変更部は、前記第２の音高範囲に収まるまで、目標音高を前記第１のシフト量単位よりも小さい第２のシフト量単位であって、前記特定区間の音高に応じて定まる第２のシフト量単位で変更して前記第２の目標音高を決定する。目標音高変更部により変更された音高への音高シフト量が、変更前の音高シフト量よりも小さくなり、かつ第２の目標音高をきめ細やかに設定できるようにするためである。なお、第１の音高範囲についてはオクターブ単位で定めておけば良く、第２の音高範囲については半オクターブ単位で定めておけば良い。
【００１４】
また、より好ましい構成としては、入力された音声信号の音量が所定値以上である問いの末尾区間の音高最低値を上記特定区間の音高として取得する構成が考えられる。このときの音量が所定値以上であることの判別においてヒステリシス特性を持たせて判別しても良い。
【００１５】
本発明の態様について、音声再生制御装置のみならず、コンピュータを当該音声再生制御装置として機能させるプログラムとして概念することも可能である。
【図面の簡単な説明】
【００１６】
【図１】実施形態に係る音声再生制御装置の構成を示すブロック図である。
【図２】音声再生制御装置の動作を示すフローチャートである。
【図３】音声再生制御装置の動作を示すフローチャートである。
【図４】利用者による問いと、音声再生制御装置による回答との音高例を示す図である。
【発明を実施するための形態】
【００１７】
以下、図面を参照しつつ、この発明の実施形態を説明する。
（Ａ：構成）
図１は、本発明の実施形態に係る音声再生制御装置１０の構成を示す図である。
この音声再生制御装置１０は、例えば、ぬいぐるみに組み込まれて、利用者が当該ぬいぐるみに問いを発したときに、相槌などの回答を音声合成して出力する装置である。音声再生制御装置１０は、ＣＰＵ（Central Processing Unit）や、音声入力部１０２、スピーカ１４２を有し、当該ＣＰＵが、予めインストールされたアプリケーションプログラムを実行することによって、複数の機能ブロックが次のように構築される。詳細には、音声再生制御装置１０では、音声特徴量取得部１０６、回答選択部１１０、音高取得部１１２、再生指示部１１４および回答再生部１１６が構築される。
【００１８】
なお、特に図示しないが、このほかにも音声再生制御装置１０は、表示部や操作入力部なども有し、利用者が装置の状況を確認したり、装置に対して各種の操作を入力したり、各種の設定などができるようになっている。また、音声再生制御装置１０は、ぬいぐるみのような玩具に限られず、いわゆるペットロボットや、携帯電話機のような端末装置、タブレット型のパーソナルコンピュータなどであっても良い。
【００１９】
音声入力部１０２は、詳細については省略するが、音声を電気信号に変換するマイクロフォンと、変換された音声信号をデジタル信号に変換するＡ／Ｄ変換器とで構成される。
【００２０】
音声特徴量取得部１０６は、デジタル信号に変換された音声信号を解析処理して、当該音声信号を発話区間および非発話区間に分別するとともに、発話区間のうち、有声区間における特定区間の最低音高を検出し、当該音高を示すデータを回答選択部１１０および再生指示部１１４に供給する。ここで、発話区間とは、例えば音声信号の音量が閾値以上となる区間をいい、反対に、非発話区間とは、音声信号の音量が閾値未満となる区間をいう。また、有声区間とは、発話区間のうち、音声信号の音高（ピッチ）が検出可能な区間をいう。音高が検出可能な区間とは、音声信号に周期的な部分があって、その部分が検出可能であることを意味する。なお、ここでは、特定区間を有声区間のうちの末尾区間としている。また、末尾区間とは、有声区間の終了から時間的に前方に向けた所定時間（例えば１８０ｍｓｅｃ）の区間である。
【００２１】
回答ライブラリ１２４は、利用者による問いに対する回答の音声データを、予め複数記憶する。この音声データは、モデルとなる人物の音声を録音したものであり、例えば「はい」、「いいえ」、「そう」、「うん」、「ふーん」、「なるほど」のような、質問に対する返事や相槌などである。回答の音声データについては、例えばｗａｖやｍｐ３などのフォーマットであり、標準で再生したときの波形サンプル毎（または波形周期毎）の音高と、それらを平均した平均音高が予め求められて、その平均音高（回答に基づく音高）を示すデータが音声データに対応付けられて回答ライブラリ１２４に記憶されている。なお、ここでいう標準で再生とは、音声データを録音時の条件（サンプリング周波数）と同じ条件で再生する、という意味である。
【００２２】
回答選択部１１０（回答取得部）は、音声特徴量取得部１０６から特定区間の最低音高を示すデータが出力された場合、当該音声に対する回答の音声データを、回答ライブラリ１２４から１つを選択し、当該選択した回答の音声データを、対応付けられた平均音高を示すデータとともに、読み出して出力する。回答選択部１１０が、複数の音声データのうち、１つの音声データをどのようなルールで選択するかについては、例えばランダムでも良いし、問いの特定区間の最低音高に対して平均音高が最も近い音声データを選択する、としても良い。
【００２３】
本実施形態において、選択される回答については、利用者の問いの意味内容が考慮されないことになるが、この音声再生制御装置１０を、利用者が発した問いに対し、回答として相槌等を返す装置としてみれば、これで十分である。一方で、図において破線で示されるように言語解析部１０８を設けて、当該言語解析部１０８が音声信号で規定される問いの意味内容を解析し、回答選択部１１０が、データベース等を介して当該問いに対する回答を作成する構成としても良い。
【００２４】
音高取得部１１２は、回答選択部１１０で読み出されたデータのうち、回答の平均音高を示すデータを抜き出して、再生指示部１１４に供給する。
【００２５】
再生指示部１１４は、音声特徴量取得部１０６から出力された音声信号における特定区間の最低音高と、音高取得部１１２から出力された回答の平均音高との差から、回答の音声データを再生する際の目標音高を決定し、回答の平均音高を当該目標音高にシフトさせる音高シフト量を決定する。図１に示すように、再生指示部１１４は、目標音高決定部１１４ａと目標音高変更部１１４ｂとを含む。
【００２６】
目標音高決定部１１４ａは、問いの音声の特定区間の最低音高に対して予め定められた第１の関係を維持する目標音高であって、かつ回答の平均音高に応じて定まる第１の音高範囲に収まる第１の目標音高を決定する。また、目標音高決定部１１４ａは、回答の平均音高を当該第１の目標音高までシフトさせる音高シフト量を算出する。本実施形態では、第１の関係とは、問いの音声の特定区間の最低音高と等しい音高の関係またはオクターブ単位の違いを有する音高の関係である。同時に発生する２つの音の音高が同じである場合は勿論、両者が異なっていても、音高差が１オクターブの整数倍であれば、調和が保たれ、聴者に与える違和感は少ないからである。また、第１の音高範囲とは回答の平均音高を中心とする１オクターブの範囲、すなわち、平均音高−６００セント〜平均音高＋６００セントの範囲である。
【００２７】
目標音高変更部１１４ｂは、目標音高決定部１１４ａにより決定された第１の目標音高が上記第１の音高範囲よりも狭い第２の音高範囲に収まっていない場合に、上記第１の目標音高を第２の目標音高に変更する。より詳細に説明すると、目標音高変更部１１４ｂは、第１の目標音高が第２の音高範囲に収まっていない場合に、第１の目標音高を、上記特定区間の最低音高に対して第１の関係とは異なる第２の関係を維持する目標音高であって、第２の音高範囲内に収まる第２の目標音高へ変更し、目標音高決定部１１４ａにより算出された音高シフト量を当該第２の目標音高にシフトさせる音高シフト量に補正する。ここで、第２の関係とは、例えば「ド」に対する「ソ」のような協和音の関係のように、上記特定区間の最低音高に対して親和性が高い音高の関係を言う。第２の関係が維持されていれば、第１の関係が維持されている場合ほどではないものの、聴者に与える違和感は少ないからである。また、第２の音高範囲とは回答の平均音高を中心とする半オクターブの範囲、すなわち、平均音高−３００セント〜平均音高＋３００セントの範囲である。
【００２８】
再生指示部１１４は、目標音高決定部１１４ａで決定された音高、或いは目標音高変更部１１４ｂで変更された音高へ変更するための音高シフト量だけシフトして、回答を再生することを回答再生部１１６へ指示する。回答再生部１１６は、回答ライブラリ１２４から読み出された回答の音声データを、再生指示部１１４から指示された音高シフト量だけシフトさせて再生（合成）する。なお、音高がシフトされた音声信号は、図示省略したＤ／Ａ変換部によってアナログ信号に変換された後、スピーカ１４２によって音響変換されて出力される。また、回答の音高に対応付けられたデータ、すなわち、回答ライブラリ１２４に記憶されるとともに再生指示部１１４で音高シフト量の決定に用いられるデータ、については、平均音高を示すデータ以外であっても良い。例えば、音高の中間値でも良いし、音声データの所定区間の平均音高でも良い。
【００２９】
（Ｂ：動作）
次に、音声再生制御装置１０の動作について説明する。
図２は、音声再生制御装置１０における処理動作を示すフローチャートである。
はじめに、音声再生制御装置１０が適用されたぬいぐるみに対して、利用者が音声で問いを発したときに、このフローチャートで示される処理が起動される。なお、ここでは便宜的に、利用者の音声（問い）の音高に対して回答の音声データの音高が低い場合を例にとって説明する。
【００３０】
まず、ステップＳａ１１において、音声入力部１０２によって変換された音声信号が音声特徴量取得部１０６に供給される。次に、ステップＳａ１２において、音声特徴量取得部１０６は、音声入力部１０２からの音声信号に対して解析処理、すなわち利用者が発した問いの音高を検出する処理を実行する。ステップＳａ１３において、回答再生部１１６によって回答が再生中であるか否かが判別される。
【００３１】
回答が再生中でなければ（ステップＳａ１３の判別結果が「Ｎｏ」であれば）、音声特徴量取得部１０６は、音声入力部１０２からの音声信号の問い（発話）が終了したか否かを判別する（ステップＳａ１４）。なお、問いが終了したか否かについては、具体的には、例えば、音声信号の音量が所定の閾値未満となった状態が所定時間継続したか否かで判別される。問いが終了していなければ（ステップＳａ１４の判別結果が「Ｎｏ」であれば）、処理手順がステップＳａ１１に戻り、これにより、音声特徴量取得部１０６は、音声入力部１０２からの音声信号の解析処理を継続する。
【００３２】
問いが終了していれば（ステップＳａ１４の判別結果が「Ｙｅｓ」であれば）、再生指示部１１４は、回答選択部１１０により選択された回答の音声データを再生する際の音高シフト量を、後述するように決定する（ステップＳａ１５）。そして、再生指示部１１４は、決定した音高シフト量を回答再生部１１６に通知して、回答選択部１１０により選択された回答の音声データの再生を指示する（ステップＳａ１６）。この指示にしたがって回答再生部１１６は、当該音声データを、再生指示部１１４から通知された音高シフト量だけシフトして再生する（ステップＳａ１７）。
【００３３】
なお、ステップＳａ１３において、回答再生部１１６によって回答が再生中であると判別される場合（ステップＳａ１３の判別結果が「Ｙｅｓ」となる場合）とは、ある問いに応じて回答を再生中に、次の問いが利用者によって発せられた場合などである。この場合、処理手順は、ステップＳａ１４、Ｓａ１１という経路を戻らず、ステップＳａ１７に移行するので、回答の再生が優先されることになる。
【００３４】
図３は、図２におけるステップＳａ１５の処理、すなわち回答の音声データの音高シフト量を決定する処理の詳細を示すフローチャートである。なお、この処理が実行されるための前提は、回答再生部１１６が回答を再生中でなく（ステップＳａ１３の判別結果が「Ｎｏ」）、かつ、利用者による問いの入力が終了している（ステップＳａ１４の判別結果が「Ｙｅｓ」）、ことである。
【００３５】
まず、ステップＳｂ１１において、再生指示部１１４は、音声特徴量取得部１０６から、問いの特定区間の最低音高を示すデータを取得する。
【００３６】
一方、回答選択部１１０は、利用者による問いに対する回答の音声データを、回答ライブラリ１２４から選択し、当該選択した回答の音声データと、当該音声データに対応付けられた平均音高を示すデータとを読み出す。このうち、音高取得部１１２は、読み出されたデータのうちの平均音高を示すデータを再生指示部１１４に供給する。これにより、再生指示部１１４は、回答選択部１１０により選択された回答の平均音高を示すデータを取得する（ステップＳｂ１２）。
【００３７】
次に、目標音高決定部１１４ａは、問いの特定区間の最低音高を、前述の第１の目標音高として仮決定する（ステップＳｂ１３）。
【００３８】
続いて、目標音高決定部１１４ａは、回答選択部１１０により選択された回答の平均音高から、仮決定した第１の目標音高（ステップＳｂ１３のほか、後述するステップＳｂ１６、Ｓｂ１８による変更後の第１の目標音高を含む）までの音高シフト量を算出する（ステップＳｂ１４）。目標音高決定部１１４ａは、仮決定した第１の目標音高が前述した第１の音高範囲の下限閾値Ｌ１よりも低いか否かを判別する（ステップＳｂ１５）。この下限閾値Ｌ１は、回答の平均音高に対して、どれだけ低い音高まで音高シフトを許容するのかについての閾値であり、本実施形態では、回答の平均音高−６００セントである。
【００３９】
上記仮決定した第１の目標音高が下限閾値Ｌ１よりも低ければ（ステップＳｂ１５の判別結果が「Ｙｅｓ」であれば）、目標音高決定部１１４ａは、第１の目標音高を１オクターブ（１２００セント）引き上げて再度仮決定する（ステップＳｂ１６）。なお、この後、処理手順がステップＳｂ１４に戻り、再度、音高シフト量が算出されて、ステップＳｂ１５の判別が実行されることになる。
【００４０】
一方、仮決定した第１の目標音高が下限閾値Ｌ１よりも低くなければ（ステップＳｂ１５の判別結果が「Ｎｏ」であれば）、目標音高決定部１１４ａは、当該仮決定した第１の目標音高が第１の音高範囲の上限閾値Ｈ１よりも高いか否かを判別する（ステップＳｂ１７）。この上限閾値Ｈ１は、回答の平均音高に対して、どれだけ高い音高まで音高シフトを許容するのかについての閾値であり、本実施形態では、回答の平均音高＋６００セントである。上記仮決定した第１の目標音高が上限閾値Ｈ１よりも高ければ（ステップＳｂ１７の判別結果が「Ｙｅｓ」であれば）、目標音高決定部１１４ａは、第１の目標音高を１オクターブ引き下げて再度仮決定する（ステップＳｂ１８）。なお、この後、処理手順がステップＳｂ１４に戻り、再度、音高シフト量が算出されて、ステップＳｂ１５、Ｓｂ１７の判別が実行されることになる。
【００４１】
仮決定した第１の目標音高が上限閾値Ｈ１よりも高くなければ（ステップＳｂ１７の判別結果が「Ｎｏ」であれば）、当該仮決定した第１の目標音高は第１の音高範囲に収まっていることを意味する。目標音高決定部１１４ａは、ステップＳｂ１７の判別結果が「Ｎｏ」となった時点の第１の目標音高を本決定として、処理手順をステップＳｂ１９に移行させる。
【００４２】
ステップＳｂ１９では、目標音高変更部１１４ｂは、音高シフト量分のシフト後の音高を第２の目標音高に仮決定し、当該仮決定した第２の目標音高が前述した第２の音高範囲の下限閾値Ｌ２よりも低いか否かを判別する。ステップＳｂ１７の判別結果が「Ｎｏ」となった直後に実行されるステップＳｂ１９では、目標音高決定部１１４ａにより本決定された第１の目標音高が第２の目標音高に仮決定される。下限閾値Ｌ２は、回答の平均音高に対してどれだけ低い音高まで音高シフトを許容するのかを前述した下限閾値Ｌ１よりも厳格に示す閾値であり、本実施形態では、回答の平均音高−３００セントである。
【００４３】
ステップＳｂ１９の判別結果が「Ｙｅｓ」であれば、目標音高変更部１１４ａは、第２の目標音高を所定量だけ引き上げて仮決定し、音高シフト量を再計算する（ステップＳｂ２０）。ステップＳｂ２０における音高の引き上げ量は、ステップＳｂ１６における引き上げ量（１オクターブ）よりも小さく設定されている。前述したように第２の音高範囲は第１の音高範囲よりも狭いからである。ステップＳｂ２０における音高の引き上げ量については、第２の音高範囲の幅および前述した第２の関係に応じて設定しておけば良い。具体的には、問いの音高が「ド」である場合に、回答の音高が「ソ」になるように（オクターブ違いの同じ音高の関係ではなく、１オクターブ内の、親和性が高い関係（例えば協和音の関係）にある音高となるように）、上記ステップＳｂ２０における音高の引き上げ量を７００セントに設定しておくことが考えられ、本実施形態では、この態様が採用されている。ステップＳｂ２０の処理の実行後、処理手順がステップＳｂ１９に戻り、ステップＳｂ１９の判別が再度実行されることになる。
【００４４】
一方、仮決定した第２の目標音高が下限閾値Ｌ２よりも低くなければ（ステップＳｂ１９の判別結果が「Ｎｏ」であれば）、目標音高変更部１１４ｂは、当該仮決定した第２の目標音高が第２の音高範囲の上限閾値Ｈ２よりも高いか否かを判別する（ステップＳｂ２１）。この上限閾値Ｈ２は、回答の平均音高に対してどれだけ高い音高まで音高シフトを許容するのかを、前述した上限閾値Ｈ１よりも厳格に示す閾値であり、本実施形態では、回答の平均音高＋３００セントである。シフト後の音高が上限閾値Ｈ２よりも高ければ（ステップＳｂ２１の判別結果が「Ｙｅｓ」であれば）、目標音高変更部１１４ｂは、第２の目標音高を所定量だけ引き下げて再度仮決定し、音高シフト量を再計算する（ステップＳｂ２２）。ステップＳｂ２２における音高の引き下げ量も、ステップＳｂ１８における引き下げ量（１オクターブ）よりも小さく設定されている。ステップＳｂ２２における音高の引き下げ量についても、ステップＳｂ２０における音高の引き上げ量と同様に、第２の音高範囲の幅および前述した第２の関係に応じて設定しておけば良い。本実施形態では、問いの音高が「ド」である場合に、回答の音高が「ソ」になるように（オクターブ違いの同じ音高の関係ではなく、１オクターブ内の、親和性が高い関係（例えば協和音の関係）にある音高となるように）、上記ステップＳｂ２２における音高の引き下げ量は５００セントに設定されている。ステップＳｂ２２の処理の実行後、処理手順がステップＳｂ１９に戻り、ステップＳｂ１９、Ｓｂ２１の判別が再度実行されることになる。
【００４５】
仮決定した第２の目標音高が上限閾値Ｈ２よりも高くなければ（ステップＳｂ２１の判別結果が「Ｎｏ」であれば）、当該仮決定した第２の目標音高が第２の音高範囲内に収まっていることを意味する。目標音高変更部１１４ｂは、ステップＳｂ２１の判別結果が「Ｎｏ」となった時点の第２の目標音高を、出力する回答の音高に本決定し、回答の平均音高を当該本決定した音高にシフトさせるための音高シフト量としてその時点の音高シフト量を回答再生部１１６に通知する（ステップＳｂ２３）。
以上が音高決定部１１４の動作である。
【００４６】
図４は、利用者によって音声入力された問いの音声と、音声再生制御装置１０により再生（合成）される回答の音声との関係を、音高を縦軸に、時間を横軸にとって例示した図である。この図において、符号Ｔ１で示される実線は、利用者による「あのね」という問いの音声の音高変化を簡易的に直線で示している。符号Ｐ１は、この問いＴ１における特定区間の最低音高、具体的には「ド」の音高を示す。また、図において、符号Ａ１で示される実線は、問いＴ１に対して選択された「うん」という回答の音声データを標準で再生したときの音高変化を簡易的に示す図であり、符号Ｐ０は、その平均音高を示す。
【００４７】
問いＴ１に対して、回答Ａ１の音高をシフトさせずに再生すると、不自然な感じを受けやすい。このため、本実施形態では、まず、問いＴ１の特徴的で印象的な部分である特定区間（語尾）の最低音高Ｐ１が、回答Ａ１を再生する際の音高として仮決定され（図３：ステップＳｂ１３）、回答Ａ１の音高Ｐ０を当該仮決定した音高Ｐ１にシフトさせる音高シフト量が算出される（ステップＳｂ１４）。
【００４８】
図４に示すように、仮決定された音高Ｐ１は、第１の音高範囲の上限閾値Ｈ１を上回っているため、ステップＳｂ１５の判別結果は「Ｎｏ」となり、ステップＳｂ１７の判別結果は「Ｙｅｓ」となる。その結果、ステップＳｂ１８の処理が実行され、回答Ａ１を再生する際の音高として、音高Ｐ１から１オクターブ引き下げた音高Ｐ２が仮決定され、音高シフト量が再計算される（図４：ステップＳｂ１４）。
【００４９】
図４に示すように、音高Ｐ２は、第１の音高範囲の下限閾値Ｌ１を上回っており、かつ上限閾値Ｈ１を下回っている。その結果、ステップＳｂ１５の判別結果は「Ｎｏ」となり、ステップＳｂ１７の判別結果も「Ｎｏ」となって、ステップＳｂ１９の処理が実行される。図４に示すように、音高Ｐ２は第２の音高範囲の下限閾値Ｌ２を上回っており、かつ上限閾値Ｈ２も上回っている。このため、ステップＳｂ１９の判別結果は「Ｎｏ」となってステップＳｂ２１の判別処理が実行され、ステップＳｂ２１の判別結果は「Ｙｅｓ」となる。その結果、ステップＳｂ２２の処理が実行され、回答Ａ１を再生する際の音高として、音高Ｐ２から所定量（本実施形態では、５００セント）だけ引き下げた音高Ｐ３が仮決定され、音高Ｐ０を音高Ｐ３にシフトさせる音高シフト量が再計算される。
【００５０】
図４に示すように、音高Ｐ３は、第２の音高範囲の下限閾値Ｌ２を上回っており、かつ上限閾値Ｈ２を下回っている。その結果、ステップＳｂ１９の判別結果は「Ｎｏ」となり、ステップＳｂ２１の判別結果も「Ｎｏ」となって、回答Ａ１を再生する際の音高として、音高Ｐ３が本決定される（ステップＳｂ２３）。
【００５１】
以上の動作の結果、音高を音高Ｐ３にシフトさせた回答Ａ１が、問いＴ１に対する応答として再生される。ここで、注目すべき点は、回答Ａ１の音高を音高Ｐ３にシフトさせる際の音高シフト量Ｄ１は、回答Ａ１の音高を音高Ｐ２にシフトさせる際の音高シフト量Ｄ２よりも小さいという点である。本実施形態により再生される回答Ａ１の音高Ｐ３は、問いＴ１の特定区間の最低音高Ｐ１（「ド」）とはオクターブ違いの関係にはないものの、これと親和性の高い音高（「ソ」）である。また、回答Ａ１の音高を音高Ｐ３にシフトさせる際の音高シフト量Ｄ１は音高シフト量Ｄ２よりも小さく、音高シフトに起因する音質劣化を小さくすることができる。
【００５２】
このように、本実施形態によれば、利用者が発した問いに対する回答を、不自然でもなく、かつ、聴感上の品質の劣化を防いで、合成（再生）することができる。また、本実施形態では、１つの問いに対して音高の異なる複数の回答の音声データを用意しておく必要はなく、少ないリソースで実現可能である。
【００５３】
（Ｃ：変形および応用例）
本発明は、上述した実施形態に限定されるものではなく、例えば次に述べるような各種の応用・変形が可能である。また、次に述べる応用・変形の態様は、任意に選択された一または複数を適宜に組み合わせることもできる。  
【００５４】
回答ライブラリ１２４に記憶する回答の音声データについては、人物Ａ、Ｂ、Ｃ、…のように複数人にわたって、同一内容の回答を記憶させても良い。人物Ａ、Ｂ、Ｃ、…については例えば有名人、タレント、歌手などとして、各人物毎に音声データをライブラリ化する。このようにライブラリ化する場合、メモリカードなどの媒体を介して回答の音声データを回答ライブラリ１２４に格納させても良いし、音声再生制御装置１０にネットワーク接続機能を持たせて、特定のサーバから回答の音声データをダウンロードし、回答ライブラリ１２４に格納させても良い。メモリカードやサーバから回答の音声データを入手する場合、無償であっても良いし、有償であっても良い。
【００５５】
一方で、問いに対しては、どの人物をモデルとして回答して欲しいのかを、利用者が操作入力部等によって選択可能な構成としても良いし、各種条件（日、週、月など）毎にランダムで決定する構成としても良い。
【００５６】
また、回答の音声データについては、音声入力部１０２のマイクロフォンを介して、利用者自身や、当該利用者の家族、知人の音声を録音したもの（または別途の装置によってデータ化したもの）をライブラリ化しても良い。このように身近な人物の音声で回答がなされると、問いを発したときに、あたかも当該人物と対話しているかのような感覚を得ることができる。
【００５７】
また、回答については、動物（イヌ、ネコなど）などの鳴き声であっても良いし、犬種などを適宜選択可能な構成としても良い。このように回答を動物の鳴き声とすることで、あたかも当該動物と対話しているかのような、一種の癒しの効果を得ることができる。
【００５８】
音高取得部１１２が、回答選択部１１０により決定された回答の音声データを解析して、当該音声データを標準で再生したときの平均音高を取得し、この音高を示すデータを再生指示部１１４に供給する構成としても良い。この構成によれば、音高を示すデータを回答の音声データに、予め対応付けて回答ライブラリ１２４に記憶させる必要がなくなる。また、上記実施形態では、再生指示部１１４に目標音高決定部１１４ａと目標音高変更部１１４ｂが含まれていたが、目標音高決定部１１４ａおよび目標音高変更部１１４ｂを再生指示部１１４とは別個に設けても良い。また、上記実施形態の音声再生制御装置１０には、回答再生部１１６が含まれていたが、回答再生部１１６は音声再生制御装置１０とは別個の音声合成装置であっても良い。
【００５９】
なお、実施形態では、利用者による問いの音高に対して回答の音声データの音高が低い場合を例にとって説明したが、逆に、利用者による問いの音高に対して回答の音声データの音高が高い場合にも適用可能である。
【符号の説明】
【００６０】
１０２…音声入力部、１０６…音声特徴量取得部、１１０…回答選択部、１１２…音高取得部、１１４…再生指示部、１１４ａ…目標音高決定部、１１４ｂ…目標音高変更部、１１６…回答再生部、１２４…回答ライブラリ。
【図１】
2018159776.tif 000003
【図２】
2018159776.tif 000004
【図３】
2018159776.tif 000005
【図４】
2018159776.tif 000006