(57)【要約】【課題】            音響理論に関する知識を欠くユーザに対しても、加工された様々な音声を提供すること。【解決手段】        一実施形態に係るコンピュータプログラムは、プロセッサにより実行されることにより、ユーザによる発話を音声信号として取得し、前記音声信号に対する信号処理により算出される少なくとも１つの特徴量を取得し、前記少なくとも１つの特徴量に近似又は共通する特徴量を有する１又はそれ以上の第１の候補変換器を、選択肢として前記ユーザに提示するために、該１又はそれ以上の第１の候補変換器の各々に関連する情報を表示部に表示する、ように前記少なくとも１つのプロセッサを機能させることができる。【選択図】          図３
2020145353.tif 000002
【特許請求の範囲】
【請求項１】
少なくとも１つのプロセッサにより実行されることにより、
ユーザによる発話を音声信号として取得し、
前記音声信号に対する信号処理により算出される少なくとも１つの特徴量を取得し、
前記少なくとも１つの特徴量に近似又は共通する特徴量を有する１又はそれ以上の第１の候補変換器を、選択肢として前記ユーザに提示するために、該１又はそれ以上の第１の候補変換器の各々に関連する情報を表示部に表示する、
ように前記少なくとも１つのプロセッサを機能させる、ことを特徴とするコンピュータプログラム。
【請求項２】
前記少なくとも１つの特徴量が、第１フォルマント、第２フォルマント及び／又は基本周波数を含む、請求項１に記載のコンピュータプログラム。
【請求項３】
前記少なくとも１つのプロセッサが、
前記ユーザについて取得される、前記第１フォルマント、前記第２フォルマント及び／又は前記基本周波数に近似又は共通する、第１フォルマント、第２フォルマント及び／又は基本周波数を有する、１又はそれ以上の第１の候補変換器を、選択肢として前記ユーザに提示するために、該１又はそれ以上の第１の候補変換器の各々に関連する情報を表示部に表示する、請求項２に記載のコンピュータプログラム。
【請求項４】
前記１又はそれ以上の第１の候補変換器の各々に関連する情報が、前記ユーザに近い声を有する人物及び／又はキャラクターに関する情報を含む、請求項３に記載のコンピュータプログラム。
【請求項５】
前記少なくとも１つのプロセッサが、人気のある１又はそれ以上の第２の候補変換器を、選択肢として前記ユーザに提示するために、前記１又はそれ以上の第２の候補変換器の各々に関連する情報を表示部に表示する、請求項１に記載のコンピュータプログラム。
【請求項６】
前記１又はそれ以上の第２の候補変換器の各々に関連する情報が、人物、キャラクター及び／又は目標に関する情報を含む、請求項５に記載のコンピュータプログラム。
【請求項７】
前記少なくとも１つのプロセッサが、
前記ユーザの発話を音声信号として取得し、
該音声信号に対する信号処理により算出される、第１フォルマント、第２フォルマント及びラウドネスに基づいて、前記ユーザの感情及び／又は性格を推定し、
前記１又はそれ以上の第１の候補変換器を、推定された前記感情及び／又は性格を示す情報に基づいて、予め用意された複数の変換器の中から抽出する、請求項３に記載のコンピュータプログラム。
【請求項８】
前記少なくとも１つのプロセッサが、
前記ユーザの発話を音声信号として取得し、
前記音声信号に対する信号処理により算出される、第１フォルマント、第２フォルマント及びラウドネスに基づいて、前記ユーザの感情及び／又は性格を推定し、
前記１又はそれ以上の第２の候補変換器を、推定された前記感情及び／又は性格を示す情報に基づいて、予め用意された複数の変換器の中から抽出する、請求項５に記載のコンピュータプログラム。
【請求項９】
前記少なくとも１つのプロセッサが、
前記ユーザによる高音を用いた発話及び前記ユーザによる低音を用いた発話をそれぞれ個別に第１の音声信号及び第２の音声信号として取得し、
前記第１の音声信号及び前記第２の音声信号の各々に対する信号処理により算出される複数の特徴量を取得し、
入力音声信号に対して該複数の特徴量のうちの少なくとも１つの特徴量を変換する処理を行うことにより出力音声信号を生成する変換器を、前記複数の特徴量に基づいて取得する、請求項１に記載のコンピュータプログラム。
【請求項１０】
前記複数の特徴量が、第１フォルマント、第２フォルマント及び基本周波数を含む、請求項９に記載のコンピュータプログラム。
【請求項１１】
前記少なくとも１つのプロセッサが、
前記ユーザによる自然な発話を第３の音声信号として取得し、
前記第１の音声信号乃至前記第３の音声信号の各々に対する信号処理により算出される、第１フォルマント、第２フォルマント及び基本周波数を取得する、請求項１０に記載のコンピュータプログラム。
【請求項１２】
前記変換器が、
前記入力音声信号の前記第１フォルマントをいずれの周波数にシフトさせるかを示す第１パラメータと、
前記入力音声信号の前記第２フォルマントをいずれの周波数にシフトさせるかを示す第２パラメータと、
前記入力音声信号の前記基本周波数をいずれの周波数にシフトさせるかを示す第３パラメータと、
を含む、請求項１０に記載のコンピュータプログラム。
【請求項１３】
前記少なくとも１つのプロセッサが、
前記第１フォルマント、前記第２フォルマント及び前記基本周波数の各々の最小値及び最大値に基づいて得られる前記ユーザの声の周波数レンジを取得し、
前記入力音声信号のうち前記周波数レンジに含まれる信号に対して割り当てるビット数を前記入力音声信号のうち前記周波数レンジに含まれない信号に対して割り当てるビット数より大きくして前記ピッチシフトを実行する前記変換器を取得する、請求項１０に記載のコンピュータプログラム。
【請求項１４】
前記少なくとも１つのプロセッサが、予め用意された複数の変換器の中からいずれかの変換器を選択して取得し、
前記複数の変換器の各々は、入力音声信号の第１フォルマントをいずれの周波数にシフトさせるかを示す第１パラメータと、入力音声信号の第２フォルマントをいずれの周波数にシフトさせるかを示す第２パラメータと、基本周波数をいずれの周波数にシフトさせるかを示す第３パラメータと、を含む、請求項１０に記載のコンピュータプログラム。
【請求項１５】
前記少なくとも１つのプロセッサが、
前記複数の変換器の中から、前記ユーザについて取得された前記第１フォルマント、前記第２フォルマント及び／又は前記基本周波数に近似又は共通する、第１フォルマント、第２フォルマント及び／又は基本周波数を有する変換器を選択して取得する、請求項１４に記載のコンピュータプログラム。
【請求項１６】
前記少なくとも１つのプロセッサが、
ユーザによる所望の人物又はキャラクターを模した発話を第４の音声信号として取得し、
前記第１の音声信号乃至前記第４の音声信号の各々に対する信号処理により算出される、第１フォルマント、第２フォルマント及び基本周波数を取得し、
前記複数の変換器の中から、前記ユーザについて前記第４の音声信号に対する信号処理により算出される、前記第１フォルマント、前記第２フォルマント及び／又は前記基本周波数に近似又は共通する、第１フォルマント、第２フォルマント及び／又は基本周波数を有する変換器を選択して取得する、請求項１４に記載のコンピュータプログラム。
【請求項１７】
前記少なくとも１つのプロセッサが、
前記ユーザの発話を通常の音声信号として取得し、
入力音声信号としての前記通常の音声信号に対して前記変換器によりピッチシフトすることにより、出力音声信号を生成し、
生成された前記出力音声信号を、サーバ装置又は端末装置に送信する、請求項９に記載のコンピュータプログラム。
【請求項１８】
前記信号処理が、フーリエ変換、フィルタリング及び離散コサイン変換を含む、請求項１に記載のコンピュータプログラム。
【請求項１９】
前記少なくとも１つのプロセッサが、中央処理装置（ＣＰＵ）、マイクロプロセッサ及び／又はグラフィックスプロセッシングユニット（ＧＰＵ）を含む、請求項１に記載のコンピュータプログラム。
【請求項２０】
前記少なくとも１つのプロセッサが、スマートフォン、タブレット、携帯電話若しくはパーソナルコンピュータ、又は、サーバ装置に搭載される、請求項１に記載のコンピュータプログラム。
【請求項２１】
少なくとも１つのプロセッサを具備し、
該少なくとも１つのプロセッサが、コンピュータにより読み取り可能な命令を実行することにより、
ユーザによる発話を音声信号として取得し、
前記音声信号に対する信号処理により算出される少なくとも１つの特徴量を取得し、
前記少なくとも１つの特徴量に近似又は共通する特徴量を有する１又はそれ以上の第１の候補変換器を、選択肢として前記ユーザに提示するために、該１又はそれ以上の第１の候補変換器の各々に関連する情報を表示部に表示する、ことを特徴とするサーバ装置。
【請求項２２】
前記信号処理が、フーリエ変換、フィルタリング及び離散コサイン変換を含む、請求項２１に記載のサーバ装置。
【請求項２３】
前記少なくとも１つのプロセッサが、中央処理装置（ＣＰＵ）、マイクロプロセッサ及び／又はグラフィックスプロセッシングユニット（ＧＰＵ）を含む、請求項２１に記載のサーバ装置。
【請求項２４】
少なくとも１つのプロセッサを具備し、
該少なくとも１つのプロセッサが、コンピュータにより読み取り可能な命令を実行することにより、
ユーザによる発話を音声信号として取得し、
前記音声信号に対する信号処理により算出される少なくとも１つの特徴量を取得し、
前記少なくとも１つの特徴量に近似又は共通する特徴量を有する１又はそれ以上の第１の候補変換器を、選択肢として前記ユーザに提示するために、該１又はそれ以上の第１の候補変換器の各々に関連する情報を表示部に表示する、ことを特徴とする端末装置。
【請求項２５】
前記信号処理が、フーリエ変換、フィルタリング及び離散コサイン変換を含む、請求項２４に記載の端末装置。
【請求項２６】
前記少なくとも１つのプロセッサが、中央処理装置（ＣＰＵ）、マイクロプロセッサ及び／又はグラフィックスプロセッシングユニット（ＧＰＵ）を含む、請求項２４に記載の端末装置。
【請求項２７】
コンピュータにより読み取り可能な命令を実行する少なくとも１つのプロセッサにより実行される音声信号処理方法であって、
前記少なくとも１つのプロセッサが、前記命令を実行することにより、
ユーザによる発話を音声信号として取得し、
前記音声信号に対する信号処理により算出される少なくとも１つの特徴量を取得し、
前記少なくとも１つの特徴量に近似又は共通する特徴量を有する１又はそれ以上の第１の候補変換器を、選択肢として前記ユーザに提示するために、該１又はそれ以上の第１の候補変換器の各々に関連する情報を表示部に表示する、ことを特徴とする音声信号処理方法。
【請求項２８】
前記信号処理が、フーリエ変換、フィルタリング及び離散コサイン変換を含む、請求項２７に記載の音声信号処理方法。
【請求項２９】
前記少なくとも１つのプロセッサが、中央処理装置（ＣＰＵ）、マイクロプロセッサ及び／又はグラフィックスプロセッシングユニット（ＧＰＵ）を含む、請求項２７に記載の音声信号処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本件出願に開示された技術は、ユーザの発話に基づいて得られた音声信号に対して信号処理を行うことにより加工された音声信号を生成するボイスチェンジャに関する。
【背景技術】
【０００２】
昨今、ユーザが自己の声とは異なる声により表現された音声を得るためのサービス又は製品が提供されている。【０００３】
まず、「ＬｉｓＰｏｎ」と称されるサービスでは、或るユーザからのリクエストに対して、美声を有する他のユーザが自己の声を録音して上記或るユーザに返信するものとされている（非特許文献１）。【０００４】
次に、入力した音声を加工して出力するボイスチェンジャと称される技術も知られている。ハードウェア形態のボイスチェンジャとしては、例えば「ＶＴ３ Ｖｏｉｃｅ Ｔｒａｎｓｆｏｒｍｅｒ」と称されるＤＳＰ（ディジタル信号処理プロセッサ）を搭載した製品が挙げられる（非特許文献２）。ソフトウェア形態のボイスチェンジャとしては、「恋声」と称されるものが知られている（非特許文献３）。これらのボイスチェンジャは、ともに、マイクから出力された音声信号のピッチ及びフォルマント等を含むパラメータをユーザにより設定された値に従って加工して音声信号として出力する。さらに別の形態のボイスチェンジャが、特開２００７−１１４５６１号公報（特許文献１）に記載される。この公報に記載された技術にあっては、携帯電話機が、マイクから出力された音声信号に対して音声変換アルゴリズムを適用する。これにより、携帯電話機は、多人数によるハーモニーが付加されたような音声信号を出力する。【０００５】
さらに、ウェブサイトを介してボイスチェンジャを提供するサービスとしては、「ユーザーローカル ボイスチェンジャ」と称されるサービスが知られている（非特許文献４）。このサービスにあっては、ウェブブラウザが、ユーザの音声を録音して生成した音声ファイルをアップロードする。さらに、ウェブブラウザは、ピッチ、フォルマント及び変換パターン等を含むパラメータを設定する。設定されたパラメータは、サーバに送信される。ボイスチェンジャとしてのサーバが、設定されたパラメータに従って、音声ファイルを加工して再生する。【０００６】
なお、上記非特許文献１乃至４及び上記特許文献１は、引用によりその全体が本明細書に組み入れられる。
【先行技術文献】
【非特許文献】
【０００７】
【非特許文献１】"ＬｉｓＰｏｎ"、［online］、２０１８年９月１７日、バイドゥ株式会社、［２０１８年１１月２日検索］、インターネット（URL: https://lispon.moe/）
【非特許文献２】"ＶＴ３ Ｖｏｉｃｅ Ｔｒａｎｓｆｏｒｍｅｒ"、［online］、２０１４年３月８日、ローランド株式会社、［２０１８年１１月２日検索］、インターネット（URL: https://www.roland.com/jp/products/vt-3/）
【非特許文献３】"恋声"、［online］、２０１８年５月１日、恋声萌、［２０１８年１１月２日検索］、インターネット（URL: http://www.geocities.jp/moe_koigoe/index.html）
【非特許文献４】"ユーザーローカル  ボイスチェンジャ"、［online］、２０１８年８月１日、株式会社ユーザーローカル、［２０１８年１１月２日検索］、インターネット（URL: https://voice-changer.userlocal.jp/）
【特許文献】
【０００８】
【特許文献１】特開２００７−１１４５６１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００９】
しかしながら、上述した様々な従来技術には下記に述べるような問題点が存在する。
まず、上述した様々な従来技術には、ピッチ及びフォルマント等を含む幾つかのパラメータを設定可能な技術も存在する。しかし、上述したボイスチェンジャは、基本的に音響理論及び信号処理によって実装可能である。よって、音響理論を理解していない多くのユーザにとっては、そのようなパラメータをどのように設定すれば所望する声に到達できるのかを直感的に理解することが難しい。したがって、そのようなパラメータが利用可能であっても、音響理論を知らない多くのユーザが所望の声に到達することは困難である。そもそも目標とすべき声を明確に定めていないユーザの場合には、満足のいく声を得ることはなおさら困難である。【００１０】
次に、上述した非特許文献２等に開示されたハードウェア形態のボイスチェンジャは、ＤＳＰを用いた信号処理により、リアルタイム処理（実時間処理）を可能とする。すなわち、非特許文献２等に開示されたボイスチェンジャは、マイクから出力された音声信号を取得することと加工された音声を出力することとを並行して処理することを可能とする。ところが、このようなハードウェア形態のボイスチェンジャは、複数のフェーズの各々において、柔軟性を欠く。すなわち、各フェーズにおいて各ユーザの要望に応じて設定及び接続等を柔軟に変更することは容易ではない。ここで、複数のフェーズとは、マイクから出力された音声信号の取得、ユーザインタフェイスを介したユーザによる設定、加工された音声の出力、加工された音声に対するユーザによる特性評価、及び、加工された音声の通信ネットワークを経由した例えばＳＮＳ（ソーシャルネットワーキングサービス）等での利用、を含む。
また、上述した非特許文献３等に開示されたソフトウェア形態のボイスチェンジャもまた、リアルタイム処理を可能とするが、加工された音声を、通信ネットワークに提供する機能を欠く。
さらに、このような非特許文献２及び非特許文献３等に記載されたボイスチェンジャにあっては、得られる音声の質が、ユーザとマイクとの間の距離、使用されるマイクの種類及び雑音等による影響を受けやすい。【００１１】
さらに、上述した非特許文献４に記載されたボイスチェンジャは、非特許文献２及び非特許文献３に記載されたものとは異なり、ウェブを用いる。よって、かかるボイスチェンジャが加工された音声を通信ネットワークに提供することは困難ではないかもしれない。しかし、このボイスチェンジャは、サーバがブラウザから受信した音声をこの後にブラウザから受信するパラメータに従って加工する構成を採用する。よって、このボイスチェンジャは、リアルタイム処理にはそぐわない。仮にこのボイスチェンジャがリアルタイム処理を実現することができたとしても、ユーザは、加工された音声が客観的にどのように聞こえているかについて、フィードバックを受けて評価することが困難である。【００１２】
したがって、本件出願に開示された幾つかの実施形態は、上述した従来技術に内在する問題点の少なくとも一部に対処する。【００１３】
本件出願に開示された一部の実施形態は、音響理論に関する知識を欠くユーザに対しても、加工された様々な音声を提供することを目的とする。【００１４】
本件出願に開示された一部の実施形態は、目標とすべき音声を明確に定めていないユーザに対しても、加工された様々な音声を提供することを目的とする。【００１５】
本件出願に開示された一部の実施形態は、リアルタイム処理により加工された音声を通信ネットワークに提供することを目的とする。【００１６】
本件出願に開示された一部の実施形態は、用いるマイクの種類及び位置等を問わず、一定以上の質を有する加工された音声を提供することを目的とする。【００１７】
本件出願に開示された一部の実施形態は、加工された音声に対する客観的な評価を可能にすることを目的とする。
【課題を解決するための手段】
【００１８】
一態様に係るコンピュータプログラムは、「少なくとも１つのプロセッサにより実行されることにより、ユーザによる高音を用いた発話及び前記ユーザによる低音を用いた発話をそれぞれ個別に第１の音声信号及び第２の音声信号として取得し、前記第１の音声信号及び前記第２の音声信号の各々に対する信号処理により算出される複数の特徴量を取得し、入力音声信号に対して前記複数の特徴量のうちの少なくとも１つの特徴量を変換する処理を行うことにより出力音声信号を生成する変換器を、前記複数の特徴量に基づいて取得する、ように前記プロセッサを機能させる」ことができる。【００１９】
一態様に係るサーバ装置は、「少なくとも１つのプロセッサを具備し、該少なくとも１つのプロセッサが、コンピュータにより読み取り可能な命令を実行することにより、ユーザによる高音を用いた発話及び前記ユーザによる低音を用いた発話をそれぞれ個別に第１の音声信号及び第２の音声信号として取得し、前記第１の音声信号及び前記第２の音声信号の各々に対する信号処理により算出される複数の特徴量を取得し、入力音声信号に対して前記複数の特徴量のうちの少なくとも１つの特徴量を変換する処理を行うことにより出力音声信号を生成する変換器を、前記複数の特徴量に基づいて取得する」ことができる。【００２０】
一態様に係る端末装置は、「少なくとも１つのプロセッサを具備し、該少なくとも１つのプロセッサが、コンピュータにより読み取り可能な命令を実行することにより、ユーザによる高音を用いた発話及び前記ユーザによる低音を用いた発話をそれぞれ個別に第１の音声信号及び第２の音声信号として取得し、前記第１の音声信号及び前記第２の音声信号の各々に対する信号処理により算出される複数の特徴量を取得し、入力音声信号に対して前記複数の特徴量のうちの少なくとも１つの特徴量を変換する処理を行うことにより出力音声信号を生成する変換器を、前記複数の特徴量に基づいて取得する」ことができる。【００２１】
一態様に係る音声信号処理方法は、「コンピュータにより読み取り可能な命令を実行する少なくとも１つのプロセッサにより実行される音声信号処理方法であって、該少なくとも１つのプロセッサが、前記命令を実行することにより、ユーザによる高音を用いた発話及び前記ユーザによる低音を用いた発話をそれぞれ個別に第１の音声信号及び第２の音声信号として取得し、前記第１の音声信号及び前記第２の音声信号の各々に対する信号処理により算出される複数の特徴量を取得し、入力音声信号に対して前記複数の特徴量のうちの少なくとも１つの特徴量を変換する処理を行うことにより出力音声信号を生成する変換器を、前記複数の特徴量に基づいて取得する」ことができる。【００２２】
別の態様に係るコンピュータプログラムは、「少なくとも１つのプロセッサにより実行されることにより、ユーザによる発話を音声信号として取得し、前記音声信号に対する信号処理により算出される少なくとも１つの特徴量を取得し、前記少なくとも１つの特徴量に近似又は共通する特徴量を有する１又はそれ以上の第１の候補変換器を、選択肢として前記ユーザに提示するために、該１又はそれ以上の第１の候補変換器の各々に関連する情報を表示部に表示する、ように前記少なくとも１つのプロセッサを機能させる」ことができる。【００２３】
別の態様に係るサーバ装置は、「少なくとも１つのプロセッサを具備し、該少なくとも１つのプロセッサが、コンピュータにより読み取り可能な命令を実行することにより、ユーザによる発話を音声信号として取得し、前記音声信号に対する信号処理により算出される少なくとも１つの特徴量を取得し、前記少なくとも１つの特徴量に近似又は共通する特徴量を有する１又はそれ以上の第１の候補変換器を、選択肢として前記ユーザに提示するために、該１又はそれ以上の第１の候補変換器の各々に関連する情報を表示部に表示する」ことができる。【００２４】
別の態様に係る端末装置は、「少なくとも１つのプロセッサを具備し、該少なくとも１つのプロセッサが、コンピュータにより読み取り可能な命令を実行することにより、ユーザによる発話を音声信号として取得し、前記音声信号に対する信号処理により算出される少なくとも１つの特徴量を取得し、前記少なくとも１つの特徴量に近似又は共通する特徴量を有する１又はそれ以上の第１の候補変換器を、選択肢として前記ユーザに提示するために、該１又はそれ以上の第１の候補変換器の各々に関連する情報を表示部に表示する」ことができる。【００２５】
別の態様に係る音声信号処理方法は、「コンピュータにより読み取り可能な命令を実行する少なくとも１つのプロセッサにより実行される音声信号処理方法であって、前記少なくとも１つのプロセッサが、前記命令を実行することにより、ユーザによる発話を音声信号として取得し、前記音声信号に対する信号処理により算出される少なくとも１つの特徴量を取得し、前記少なくとも１つの特徴量に近似又は共通する特徴量を有する１又はそれ以上の第１の候補変換器を、選択肢として前記ユーザに提示するために、該１又はそれ以上の第１の候補変換器の各々に関連する情報を表示部に表示する」ことができる。
【図面の簡単な説明】
【００２６】
【図１】図１は、一実施形態に係る通信システムの構成の一例を示すブロック図である。
【図２】図２は、図１に示した端末装置２０（サーバ装置３０）のハードウェア構成の一例を模式的に示すブロック図である。
【図３】図３は、図１に示した端末装置２０（サーバ装置３０）の機能の一例を模式的に示すブロック図である。
【図４】図４は、図１に示した通信システム１において行われる動作の一例を示すフロー図である。
【図５】図５は、人の発話に関する音声信号から得られる周波数スペクトルにおける基本周波数とフォルマントとの関係を示す図である。
【図６】図６は、ユーザの発話に関する音声信号における第１フォルマント及び第２フォルマントを変換器により移動させる様子を概念的に示す模式図である。
【図７】図７は、図４に示したステップ４０６において行われる処理の具体例を示すフロー図である。
【図８】図８は、図４に示したステップ４０６において行われる処理の別の具体例を示すフロー図である。
【図９】図９は、図８に示した処理を実行する端末装置２０により表示される画面の一例を示す模式図である。
【図１０】図１０は、ＧＭＭとＤＮＮとを比較して示す模式図である。
【図１１】図１１は、高低差をＭＦＣＣの取得過程におけるヒントパラメータとして演算量を圧縮する手法を説明するための模式図である。
【図１２】図１２は、図１に示した通信システム１において用いられる端末装置２０等を利用するユーザに対して各変換器の価値がどのように提示されるのかを例示する模式図である。
【発明を実施するための形態】
【００２７】
以下、添付図面を参照して本発明の様々な実施形態を説明する。なお、図面において共通した構成要素には同一の参照符号が付されている。また、或る図面に表現された構成要素が、説明の便宜上、別の図面においては省略されていることがある点に留意されたい。さらにまた、添付した図面が必ずしも正確な縮尺で記載されている訳ではないということに注意されたい。
【００２８】
１．通信システムの例
図１は、一実施形態に係る通信システムの構成の一例を示すブロック図である。図１に示すように、通信システム１は、通信網１０に接続される１又はそれ以上の端末装置２０と、通信網１０に接続される１又はそれ以上のサーバ装置３０と、を含むことができる。なお、図１には、端末装置２０の例として、３つの端末装置２０Ａ〜２０Ｃが例示されている。また、サーバ装置３０の例として、３つのサーバ装置３０Ａ〜３０Ｃが例示されている。しかし、端末装置２０として、これら以外の１又はそれ以上の端末装置２０が通信網１０に接続され得る。また、サーバ装置３０として、これら以外の１又はそれ以上のサーバ装置３０が通信網１０に接続され得る。
【００２９】
また、通信システム１は、通信網１０に接続される１又はそれ以上のスタジオユニット４０を含むことができる。なお、図１には、スタジオユニット４０の例として、２つのスタジオユニット４０Ａ及び４０Ｂが例示されている。しかし、スタジオユニット４０として、これら以外の１又はそれ以上のスタジオユニット４０が通信網１０に接続され得る。
【００３０】
「第１の態様」では、図１に示す通信システム１において、ユーザにより操作され所定のアプリケーション（音声／動画配信用のアプリケーション等）を実行する端末装置２０（例えば端末装置２０Ａ）が、まず、端末装置２０Ａに対向するユーザの発話に関する音声信号を取得することができる。さらに、端末装置２０Ａは、取得した音声信号に基づいて変換器を取得することができる。また、端末装置２０Ａは、取得した変換器を用いて変換された音声信号を生成することができる。さらにまた、端末装置２０Ａは、生成された音声信号を（必要に応じて動画信号とともに）、通信網１０を介してサーバ装置３０（例えばサーバ装置３０Ａ）に送信することができる。さらに、サーバ装置３０Ａが、端末装置２０Ａから受信した音声信号を（必要に応じて動画信号とともに）、通信網１０を介して、音声／動画の配信を要求する旨を送信した他の１又はそれ以上の端末装置２０に配信することができる。上記他の１又はそれ以上の端末装置２０は、所定のアプリケーション（音声／動画視聴用のアプリケーション等）を実行して、音声／動画の配信を要求する旨を送信ことができる。なお、本明細書において、「所定のアプリケーション」又は「特定のアプリケーション」とは、１又はそれ以上のアプリケーションであってもよいし、１又はそれ以上のアプリケーションと１又はそれ以上のミドルウェアとの組み合わせであってもよい。
【００３１】
「第２の態様」では、図１に示す通信システム１において、まず、例えばスタジオ等又は他の場所に設置されたサーバ装置３０（例えばサーバ装置３０Ｂ）が、上記スタジオ等又は他の場所に居るユーザの発話に関する音声信号を取得することができる。また、サーバ装置３０Ｂは、取得した音声信号に基づいて変換器を取得することができる。さらに、サーバ装置３０Ｂは、取得した変換器を用いて変換された音声信号を生成することができる。さらにまた、サーバ装置３０Ｂは、生成された音声信号を（必要に応じて動画信号とともに）、通信網１０を介して、音声／動画の配信を要求する旨を送信した１又はそれ以上の端末装置２０に配信することができる。なお、上記１又はそれ以上の端末装置２０は、所定のアプリケーション（動画視聴用のアプリケーション等）を実行して、音声／動画の配信を要求する旨を送信することができる。
【００３２】
「第３の態様」では、図１に示す通信システム１において、まず、例えばスタジオ等又は他の場所に設置されたスタジオユニット４０が、上記スタジオ等又は他の場所に居るユーザの発話に関する音声信号を取得することができる。また、スタジオユニット４０は、取得した音声信号に基づいて変換器を取得することができる。さらに、スタジオユニット４０は、取得した変換器を用いて変換された音声信号を生成することができる。さらにまた、スタジオユニット４０は、生成された音声信号を（必要に応じて動画信号とともに）、通信網１０を介してサーバ装置３０（例えばサーバ装置３０Ａ）に送信することができる。さらに、サーバ装置３０Ａが、スタジオユニット４０から受信した音声信号を（必要に応じて動画信号とともに）、通信網１０を介して、音声／動画の配信を要求する旨を送信した他の１又はそれ以上の端末装置２０に配信することができる。なお、上記他の１又はそれ以上の端末装置２０は、所定のアプリケーション（音声／動画視聴用のアプリケーション等）を実行して、音声／動画の配信を要求する旨を送信することができる。
【００３３】
通信網１０は、携帯電話網、無線ＬＡＮ、固定電話網、インターネット、イントラネット及び／又はイーサネット（登録商標）等をこれらに限定することなく含むことができる。
【００３４】
端末装置２０は、インストールされた特定のアプリケーションを実行することができる。これにより、端末装置２０は、ユーザの発話に関する音声信号を取得するという動作等を実行することができる。さらに、端末装置２０は、取得した音声信号に基づいて変換器を取得するという動作等を実行することができる。また、端末装置２０は、取得した変換器を用いて変換された音声信号を生成するという動作等を実行することができる。さらにまた、端末装置２０は、生成された音声信号を（必要に応じて動画信号とともに）、通信網１０を介してサーバ装置３０（例えばサーバ装置３０Ａ）に送信する、という動作等を実行することができる。或いはまた、端末装置２０は、インストールされたウェブブラウザを実行することができる。これにより、端末装置２０は、サーバ装置３０からウェブページを受信及び表示して、同様の動作を実行することができる。
【００３５】
端末装置２０は、このような動作を実行することができる任意の端末装置であり得る。この端末装置２０は、スマートフォン、タブレット、携帯電話（フィーチャーフォン）及び／又はパーソナルコンピュータ等を、これらに限定することなく含むことができる。
【００３６】
サーバ装置３０は、「第１の態様」では、インストールされた特定のアプリケーションを実行してアプリケーションサーバとして機能することができる。これにより、サーバ装置３０は、各端末装置２０からユーザの音声信号を（必要に応じて動画信号とともに）、通信網１０を介して受信するという動作等を実行することができる。また、サーバ装置３０は、受信した音声信号を（必要に応じて動画信号とともに）通信網１０を介して各端末装置２０に配信する、という動作等を実行することができる。或いはまた、サーバ装置３０は、インストールされた特定のアプリケーションを実行してウェブサーバとして機能することができる。これにより、サーバ装置３０は、各端末装置２０に送信するウェブページを介して、同様の動作を実行することができる。
【００３７】
サーバ装置３０は、「第２の態様」では、インストールされた特定のアプリケーションを実行してアプリケーションサーバとして機能することができる。これにより、サーバ装置３０は、このサーバ装置３０が設置されたスタジオ等又は他の場所に居るユーザの発話に関する音声信号を取得するという動作等を実行することができる。また、サーバ装置３０は、取得した音声信号に基づいて変換器を取得するという動作等を実行することができる。さらに、サーバ装置３０は、取得した変換器を用いて変換された音声信号を生成するという動作等を実行することができる。さらにまた、サーバ装置３０は、生成された音声信号を（必要に応じて動画信号とともに）通信網１０を介して各端末装置２０に配信する、という動作等を実行することができる。或いはまた、サーバ装置３０は、インストールされた特定のアプリケーションを実行してウェブサーバとして機能することができる。これにより、サーバ装置３０は、各端末装置２０に送信するウェブページを介して、同様の動作を実行することができる。
【００３８】
さらにまた、サーバ装置３０は、「第３の態様」では、まず、インストールされた特定のアプリケーションを実行してアプリケーションサーバとして機能することができる。これにより、サーバ装置３０は、スタジオ等又は他の場所に設置されたスタジオユニット４０からこのスタジオ等に居るユーザの音声信号を（必要に応じて動画信号とともに）、通信網１０を介して受信するという動作を実行することができる。また、サーバ装置３０は、受信した音声信号を（必要に応じて動画信号とともに）通信網１０を介して各端末装置２０に配信する、という動作等を実行することができる。或いはまた、サーバ装置３０は、インストールされた特定のアプリケーションを実行してウェブサーバとして機能することができる。これにより、サーバ装置３０は、各スタジオユニット４０に送信するウェブページを介して、同様の動作を実行することができる。
【００３９】
スタジオユニット４０は、インストールされた特定のアプリケーションを実行する情報処理装置として機能することができる。これにより、スタジオユニット４０は、このスタジオユニット４０が設置されたスタジオ等又は他の場所に居るユーザの発話に関する音声信号を取得するという動作等を実行することができる。また、スタジオユニット４０は、取得した音声信号に基づいて変換器を取得するという動作等を実行することができる。さらに、スタジオユニット４０は、取得した変換器を用いて変換された音声信号を生成するという動作等を実行することができる。さらにまた、スタジオユニット４０は、生成された音声信号を（必要に応じて動画信号とともに）、通信網１０を介してサーバ装置３０（例えばサーバ装置３０Ａ）に送信する、という動作等を実行することができる。或いはまた、スタジオユニット４０は、インストールされたウェブブラウザを実行することができる。これにより、スタジオユニット４０は、サーバ装置３０からウェブページを受信及び表示して、同様の動作を実行することができる。
【００４０】
２．各装置のハードウェア構成
次に、端末装置２０、サーバ装置３０及びスタジオユニット４０の各々が有するハードウェア構成の一例について説明する。
【００４１】
２−１．端末装置２０のハードウェア構成
各端末装置２０のハードウェア構成例について図２を参照して説明する。図２は、図１に示した端末装置２０（サーバ装置３０）のハードウェア構成の一例を模式的に示すブロック図である（なお、図２において、括弧内の参照符号は、後述するように各サーバ装置３０に関連して記載されている。）
【００４２】
図２に示すように、各端末装置２０は、主に、中央処理装置２１と、主記憶装置２２と、入出力インタフェイス装置２３と、入力装置２４と、補助記憶装置２５と、出力装置２６と、を含むことができる。これら装置同士は、データバス及び／又は制御バスにより接続されている。
【００４３】
中央処理装置２１は、「ＣＰＵ」と称され得る。中央処理装置２１は、主記憶装置２２に記憶されている命令及びデータに対して演算を行い、その演算の結果を主記憶装置２２に記憶させることができる。さらに、中央処理装置２１は、入出力インタフェイス装置２３を介して、入力装置２４、補助記憶装置２５及び出力装置２６等を制御することができる。端末装置２０は、１又はそれ以上のこのような中央処理装置２１を含むことが可能である。
【００４４】
主記憶装置２２は、「メモリ」と称され得る。主記憶装置２２は、入力装置２４、補助記憶装置２５及び通信網１０等（サーバ装置３０等）から、入出力インタフェイス装置２３を介して受信した命令及びデータ、並びに、中央処理装置２１の演算結果を記憶することができる。主記憶装置２２は、ＲＡＭ（ランダムアクセスメモリ）、ＲＯＭ（リードオンリーメモリ）及び／又はフラッシュメモリ等をこれらに限定することなく含むことができる。
【００４５】
補助記憶装置２５は、主記憶装置２２よりも大きな容量を有する記憶装置である。補助記憶装置２５は、上記特定のアプリケーションやウェブブラウザ等を構成する命令及びデータ（コンピュータプログラム）を記憶することができる。補助記憶装置２５は、中央処理装置２１により制御されることにより、これらの命令及びデータ（コンピュータプログラム）を入出力インタフェイス装置２３を介して主記憶装置２２に送信することができる。補助記憶装置２５は、磁気ディスク装置及び／又は光ディスク装置等をこれらに限定することなく含むことができる。
【００４６】
入力装置２４は、外部からデータを取り込む装置であり得る。入力装置２４は、タッチパネル、ボタン、キーボード、マウス及び／又はセンサ（マイク）等をこれらに限定することなく含むことができる。
【００４７】
出力装置２６は、ディスプレイ装置、タッチパネル及び／又はプリンタ装置等をこれらに限定することなく含むことができる。
【００４８】
このようなハードウェア構成にあっては、中央処理装置２１が、補助記憶装置２５に記憶された特定のアプリケーションを構成する命令及びデータ（コンピュータプログラム）を順次主記憶装置２２にロードすることができる。また、中央処理装置２１は、ロードした命令及びデータを演算することにより、入出力インタフェイス装置２３を介して出力装置２６を制御することができる。或いはまた、中央処理装置２１は、ロードした命令及びデータを演算することにより、入出力インタフェイス装置２３及び通信網１０を介して、他の装置（例えばサーバ装置３０及び他の端末装置２０等）との間で様々な情報の送受信を行うことができる。
【００４９】
これにより、端末装置２０は、インストールされた特定のアプリケーションを実行することにより、ユーザの発話に関する音声信号を取得することができる。また、端末装置２０は、取得した音声信号に基づいて変換器を取得することができる。さらに、端末装置２０は、取得した変換器を用いて変換された音声信号を生成することができる。さらにまた、端末装置２０は、生成された音声信号を（必要に応じて動画信号とともに）、通信網１０を介してサーバ装置３０（例えばサーバ装置３０Ａ）に送信することができる。或いはまた、端末装置２０は、インストールされたウェブブラウザを実行することができる。これにより、端末装置２０は、サーバ装置３０からウェブページを受信及び表示して、同様の動作を実行することができる。
【００５０】
なお、端末装置２０は、中央処理装置２１に代えて又は中央処理装置２１とともに、１又はそれ以上のマイクロプロセッサ、及び／又は、グラフィックスプロセッシングユニット（ＧＰＵ）を含むことができる。
【００５１】
２−２．サーバ装置３０のハードウェア構成
各サーバ装置３０のハードウェア構成例について同じく図２を参照して説明する。各サーバ装置３０のハードウェア構成としては、例えば、上述した各端末装置２０のハードウェア構成と同一のものを用いることが可能である。したがって、各サーバ装置３０が有する構成要素に対する参照符号は、図２において括弧内に示されている。
【００５２】
図２に示すように、各サーバ装置３０は、主に、中央処理装置３１と、主記憶装置３２と、入出力インタフェイス装置３３と、入力装置３４と、補助記憶装置３５と、出力装置３６と、を含むことができる。これら装置同士は、データバス及び／又は制御バスにより接続されている。
【００５３】
中央処理装置３１、主記憶装置３２、入出力インタフェイス装置３３、入力装置３４、補助記憶装置３５及び出力装置３６は、それぞれ、上述した各端末装置２０に含まれる、中央処理装置２１、主記憶装置２２、入出力インタフェイス装置２３、入力装置２４、補助記憶装置２５及び出力装置２６と略同一なものとすることができる。
【００５４】
このようなハードウェア構成にあっては、中央処理装置３１が、補助記憶装置３５に記憶された特定のアプリケーションを構成する命令及びデータ（コンピュータプログラム）を順次主記憶装置３２にロードすることができる。中央処理装置３１は、ロードした命令及びデータを演算することにより、入出力インタフェイス装置３３を介して出力装置３６を制御することができる。或いはまた、中央処理装置３１は、ロードした命令及びデータを演算することにより、入出力インタフェイス装置３３及び通信網１０を介して、他の装置（例えば各端末装置２０等）との間で様々な情報の送受信を行うことができる。
【００５５】
これにより、サーバ装置３０は、「第１の態様」では、インストールされた特定のアプリケーションを実行してアプリケーションサーバとして機能することができる。これにより、サーバ装置３０は、各端末装置２０からユーザの音声信号を（必要に応じて動画信号とともに）、通信網１０を介して受信するという動作等を実行することができる。また、サーバ装置３０は、受信した音声信号を（必要に応じて動画信号とともに）通信網１０を介して各端末装置２０に配信する、という動作等を実行することができる。或いはまた、サーバ装置３０は、インストールされた特定のアプリケーションを実行してウェブサーバとして機能することができる。これにより、サーバ装置３０は、各端末装置２０に送信するウェブページを介して、同様の動作を実行することができる。
【００５６】
また、サーバ装置３０は、「第２の態様」では、インストールされた特定のアプリケーションを実行してアプリケーションサーバとして機能することができる。これにより、サーバ装置３０は、このサーバ装置３０が設置されたスタジオ等又は他の場所に居るユーザの発話に関する音声信号を取得するという動作等を実行することができる。また、サーバ装置３０は、取得した音声信号に基づいて変換器を取得するという動作を実行することができる。さらに、サーバ装置３０は、取得した変換器を用いて変換された音声信号を生成するという動作等を実行することができる。さらにまた、サーバ装置３０は、生成された音声信号を（必要に応じて動画信号とともに）通信網１０を介して各端末装置２０に配信する、という動作等を実行することができる。或いはまた、サーバ装置３０は、インストールされた特定のアプリケーションを実行してウェブサーバとして機能することができる。これにより、サーバ装置３０は、各端末装置２０に送信するウェブページを介して、同様の動作を実行することができる。
【００５７】
さらにまた、サーバ装置３０は、「第３の態様」では、インストールされた特定のアプリケーションを実行してアプリケーションサーバとして機能することができる。これにより、サーバ装置３０は、スタジオ等又は他の場所に設置されたスタジオユニット４０からこのスタジオ等に居るユーザの音声信号を（必要に応じて動画信号とともに）、通信網１０を介して受信するという動作等を実行することができる。さらに、サーバ装置３０は、受信した音声信号を（必要に応じて動画信号とともに）通信網１０を介して各端末装置２０に配信する、という動作等を実行することができる。
【００５８】
なお、サーバ装置３０は、中央処理装置３１に代えて又は中央処理装置３１とともに、１又はそれ以上のマイクロプロセッサ、及び／又は、グラフィックスプロセッシングユニット（ＧＰＵ）を含むことができる。或いはまた、サーバ装置３０は、インストールされた特定のアプリケーションを実行してウェブサーバとして機能することができる。これにより、サーバ装置３０は、各スタジオユニット４０に送信するウェブページを介して、同様の動作を実行することができる。
【００５９】
２−３．スタジオユニット４０のハードウェア構成
スタジオユニット４０は、パーソナルコンピュータ等の情報処理装置により実装され得る。スタジオユニット４０は、図示はされていないが、上述した端末装置２０及びサーバ装置３０と同様に、主に、中央処理装置と、主記憶装置と、入出力インタフェイス装置と、入力装置と、補助記憶装置と、出力装置と、を含むことができる。これら装置同士は、データバス及び／又は制御バスにより接続されている。
【００６０】
スタジオユニット４０は、インストールされた特定のアプリケーションを実行して情報処理装置として機能することができる。これにより、スタジオユニット４０は、このスタジオユニット４０が設置されたスタジオ等又は他の場所に居るユーザの発話に関する音声信号を取得するという動作等を実行することができる。また、スタジオユニット４０は、取得した音声信号に基づいて変換器を取得するという動作等を実行することができる。さらに、スタジオユニット４０は、取得した変換器を用いて変換された音声信号を生成するという動作等を実行することができる。さらにまた、スタジオユニット４０は、生成された音声信号を（必要に応じて動画信号とともに）、通信網１０を介してサーバ装置３０（例えばサーバ装置３０Ａ）に送信する、という動作等を実行することができる。或いはまた、スタジオユニット４０は、インストールされたウェブブラウザを実行することができる。これにより、スタジオユニット４０は、サーバ装置３０からウェブページを受信及び表示して、同様の動作を実行することができる。
【００６１】
３．各装置の機能
次に、端末装置２０、サーバ装置３０及びスタジオユニット４０の各々が有する機能の一例について説明する。
【００６２】
３−１．端末装置２０の機能
端末装置２０の機能の一例について図３を参照して説明する。図３は、図１に示した端末装置２０（サーバ装置３０）の機能の一例を模式的に示すブロック図である。なお、図３において、括弧内の参照符号は、後述するようにサーバ装置３０に関連して記載されている。
【００６３】
図３に示すように、端末装置２０は、主に、音声入力部２１０と、特徴量抽出部２１２と、変換器取得部２１４と、記憶部２１６と、通信部２１８と、表示部２２０と、を含むことができる。さらに、端末装置２０は、特徴量変換部２２２と、音声合成部２２４と、を含むことができる。
【００６４】
（１）音声入力部２１０
音声入力部２１０は、図示しないマイクを用いて、ユーザの発話に関する音声信号を入力する。後述するように、音声入力部２１０は、以下に示す音声信号等のうちの少なくとも１つの音声信号をこれらに限定することなく入力することができる。
・ユーザによる高音を用いた発話に関する音声信号（第１の音声信号）
・ユーザによる低音を用いた発話に関する音声信号（第２の音声信号）
・ユーザによる自然な発話に関する音声信号（第３の音声信号）
・ユーザによる所望の人物又はキャラクターを模した発話に関する音声信号（第４の音声信号）
・ユーザによる通常の発話に関する音声信号（第５の音声信号）
【００６５】
なお、端末装置２０がスマートフォン、タブレット及びラップトップ型のパーソナルコンピュータ等である場合には、音声入力部２１０は、上記マイクとして、本体に内蔵されたマイクを用いることが可能である。
【００６６】
（２）特徴量抽出部２１２
特徴量抽出部２１２は、音声入力部２１０により入力された様々な音声信号に対して、例えば短時間フレーム分析を施すことができる。これにより、特徴量抽出部２１２は、各時間フレームにおける各種の特徴量（音声特徴量）を抽出することができる。一実施形態では、特徴量抽出部２１２は、以下に示す特徴量のうちの少なくとも１つの特徴量を抽出することができる。
（i）声の高さを示す基本周波数
（ii）声道の共鳴によって強調される複数の周波数成分、例えば、第１フォルマント
（iii）声道の共鳴によって強調される複数の周波数成分、例えば、第２フォルマント
【００６７】
別の実施形態では、特徴量抽出部２１２は、以下に示す特徴量のうちの少なくとも１つの特徴量を抽出することができる。
（i）声の高さを示す基本周波数
（ii）スペクトルを滑らかにした、音色を示すスペクトル包絡
（iii）声帯振動のゆらぎや雑音混入による影響を示す非周期性指標
【００６８】
（３）変換器取得部２１４
変換器取得部２１４は、特徴量抽出部２１２により抽出された特徴量を用いて、ユーザにより用いられるべき１又は複数の変換器を取得することができる。ここで、「変換器」とは、変換対象であるユーザの発話に関する音声信号（例えば第５の音声信号）から抽出される少なくとも１つの特徴量をどのように変換するかを示すパラメータを有することができる。パラメータは、例えば、基本周波数をどの程度増加又は低下させるかを示すパラメータ、及び、いずれの周波数の範囲にある第１フォルマントをいずれの周波数の範囲に移動させるかを示すパラメータ等を含むことができる。
【００６９】
（４）記憶部２１６
記憶部２１６は、端末装置２０の動作に必要な様々な情報を記憶することができる。例えば、記憶部２１６は、音声／動画配信用のアプリケーション、音声／動画視聴用のアプリケーション、及び／又は、ウェブブラウザ等を含む様々なアプリケーションを記憶することができる。さらに、記憶部２１６は、これらのアプリケーションにより必要とされる及び／又は生成される様々な情報・信号・データ等を記憶することができる。
【００７０】
（５）通信部２１８
通信部２１８は、様々な情報を、通信網１０を介してサーバ装置３０等との間で送受信することができる。上記様々な情報は、例えば、基本周波数をどの程度増加又は低下させるかを示すパラメータ、及び、いずれの周波数の範囲にある第１フォルマントをいずれの周波数の範囲に移動させるかを示すパラメータ等を含むことができる。
【００７１】
（６）表示部２２０
表示部２２０は、様々な情報を、タッチパネル及びディスプレイ等を介して、ユーザに表示することができる。上記様々な情報は、音声／動画配信用のアプリケーション、音声／動画視聴用のアプリケーション、及び／又は、ウェブブラウザ等を含む様々なアプリケーションの実行により生成される情報であり得る。
【００７２】
（７）特徴量変換部２２２
特徴量変換部２２２は、ユーザの発話に関する音声信号から抽出された少なくとも１つの特徴量を、変換器取得部２１４により取得された変換器を用いて変換することができる。さらに、特徴量変換部２２２は、変換された少なくとも１つの特徴量を、音声合成部２２４に出力することができる。
【００７３】
（８）音声合成部２２４
音声合成部２２４は、変換された少なくとも１つの特徴量を用いて音声合成処理を行うことができる。これにより、音声合成部２２４は、ユーザの音声が加工された音声信号を生成することができる。例えば、音声合成部２２４は、変換された少なくとも１つの特徴量から、ボコーダを用いることにより、ユーザの音声が加工された音声信号を生成することができる。
【００７４】
上述した各部の動作は、所定のアプリケーション（例えば音声／動画配信用のアプリケーション）を実行するユーザの端末装置２０により、実行され得る。なお、上記所定のアプリケーションは、ユーザの端末装置２０にインストールされている。
【００７５】
３−２．サーバ装置３０の機能
サーバ装置３０の機能の具体例について同じく図３を参照して説明する。サーバ装置３０の機能としては、例えば、上述した端末装置２０の機能の一部を用いることが可能である。したがって、サーバ装置３０が有する構成要素に対する参照符号は、図３において括弧内に示されている。
【００７６】
まず、上述した「第２の態様」では、サーバ装置３０は、以下に述べる相違点を除き、音声入力部３１０〜音声合成部３２４として、それぞれ、端末装置２０に関連して説明した音声入力部２１０〜音声合成部２２４と同一のものを有するものとすることができる。
【００７７】
但し、この「第２の態様」では、サーバ装置３０は、スタジオ等又は他の場所に配置され、複数のユーザにより用いられることが想定され得る。したがって、記憶部３１６は、複数のユーザの各々に対応付けて、取得した変換器等を含む様々な情報を記憶することができる。
【００７８】
さらに、音声入力部３１０により用いられる又は音声入力部３１０に含まれるマイクは、サーバ装置３０が設置されるスタジオ等又は他の場所において、ユーザが発話を行う空間においてユーザに対向して配置され得る。同様に、表示部３２０を構成するディスプレイやタッチパネル等もまた、ユーザが発話を行う空間においてユーザに対向して又はユーザの近くに配置され得る。
【００７９】
通信部３１８は、様々な情報を、通信網１０を介して、他のサーバ装置３０及び／又は各端末装置２０等との間で送受信することができる。上記様々な情報は、ユーザの発話に関する音声信号に用いるべき変換器を取得するに際して必要とされる情報及び／又は生成される情報、及び、ユーザの発話に関する音声信号に対して、取得した変換器を用いて生成（加工）された音声信号等、を含むことができる。
【００８０】
また、通信部２６０は、各ユーザに対応付けて記憶部３１６に記憶された音声信号及び／又は動画信号を格納したファイル等を、通信網１０を介して複数の端末装置２０に配信することができる。これら複数の端末装置２０の各々は、インストールされた所定のアプリケーション（例えば音声／動画視聴用のアプリケーション）を実行することができる。これにより、各端末装置２０は、サーバ装置３０に対して所望の動画の配信を要求する信号（リクエスト信号）を送信することができる。これにより、各端末装置２０は、この信号に応答したサーバ装置３０から所望の音声信号及び／又は動画信号を格納したファイル等を当該所定のアプリケーションを介して受信することができる。
【００８１】
なお、記憶部３１６に記憶される情報（音声信号及び／又は動画信号を格納したファイル等）は、当該サーバ装置３０に通信網１０を介して通信可能な１又はそれ以上の他のサーバ装置（ストレージ）３０に記憶されるようにしてもよい。
【００８２】
一方、上述した「第１の態様」では、上記「第２の態様」において用いられた音声入力部３１０〜変換器取得部３１４、表示部３２０、特徴量変換部３２２及び音声合成部３２４をオプションとして用いることができる。通信部３１８は、上記のように動作することに加えて、各端末装置２０により送信され通信網１０から受信した、音声信号及び／又は動画信号を格納したファイル等を、記憶部３１６に記憶させることができる。さらに、通信部３１８は、このように記憶部３１６に記憶されたファイル等を、複数の端末装置２０に対して配信することができる。
【００８３】
他方、「第３の態様」では、上記「第２の態様」において用いられた音声入力部３１０〜変換器取得部３１４、表示部３２０、特徴量変換部３２２及び音声合成部３２４をオプションとして用いることができる。通信部３１８は、上記のように動作することに加えて、スタジオユニット４０により送信され通信網１０から受信した、音声信号及び／又は動画情報を格納したファイル等を、記憶部３１６に記憶させることができる。さらに、通信部３１８は、このように記憶部３１６に記憶されたファイル等を、複数の端末装置２０に対して配信することができる。
【００８４】
３−３．スタジオユニット４０の機能
スタジオユニット４０は、図３に示した端末装置２０又はサーバ装置３０と同様の構成を有することができる。これにより、スタジオユニット４０は、端末装置２０又はサーバ装置３０と同様の動作を行うことが可能である。但し、通信部２１８（３１８）は、記憶部２１６（３１６）に記憶された、音声信号及び／又は動画信号を格納したファイル等、通信網１０を介してサーバ装置３０に送信することができる。
【００８５】
音声入力部２１０（３１０）により用いられる又は音声入力部２１０（３１０）に含まれるマイクは、スタジオユニット４０が設置されるスタジオ等又は他の場所において、ユーザが発話を行う空間においてユーザに対向して配置され得る。同様に、表示部２２０（３２０）を構成するディスプレイやタッチパネル等もまた、ユーザが発話を行う空間においてユーザに対向して又はユーザの近くに配置され得る。
【００８６】
４．通信システム１の動作
次に、上述した構成を有する通信システム１の動作の具体例について、図４を参照して説明する。図４は、図１に示した通信システム１において行われる動作の一例を示すフロー図である。ここでは、特徴量として、（i）基本周波数、（ii）第１フォルマント及び（iii）第２フォルマントを用いる場合に着目する。
【００８７】
人の声道は、共鳴によって特定の周波数成分を強調する一種のフィルタであるといえる。声道の共鳴によって強調される周波数成分がフォルマントである。フォルマントは、無数に存在するが、周波数の低いものから、順次、第１フォルマント、第２フォルマント、第３フォルマント等のように称される。図５に例示されるように、周波数スペクトルにおいては、声の高さを示す基本周波数の後に、第１フォルマント、第２フォルマント等が順次続く。なお、図５では、横軸及び縦軸にそれぞれ周波数（［Ｈｚ］）及び音圧・振幅（［ｄＢ］）が示されている。
【００８８】
まず、ステップ（以下「ＳＴ」という。）４０２において、端末装置２０（の音声入力部２１０）は、ユーザから例えば以下の４種類の音声信号を別々の時間においてサンプルとして入力する。
第１サンプル：ユーザによる高音を用いた発話に関する音声信号（第１の音声信号）
第２サンプル：ユーザによる低音を用いた発話に関する音声信号（第２の音声信号）
第３サンプル：ユーザによる自然な発話に関する音声信号（第３の音声信号）
第４サンプル：ユーザによる所望の人物又はキャラクターを模した発話に関する音声信号（第４の音声信号）
なお、一実施形態では、第１の音声信号〜第４の音声信号は、ＷＡＶファイルである。
【００８９】
第１のサンプルに関しては、ユーザは、自然言語処理における音素を含むスクリプトをできるだけ高い声で読み上げ（発話する）ることができる。端末装置２０は、そのような発話を第１の音声信号として取得することができる。ここでは、好ましい実施形態として、端末装置２０は、ユーザが例えば５つの母音を相互に異なる時間において個別に発した発話に関する第１の音声信号を取得することができる。具体的には、例えば、ユーザは、端末装置２０の表示部２２０に「あ」という文字が表示されている所定の時間（例えば５秒）だけ「あ」をできるだけ高い声で発することができる、これに続いて、ユーザは、表示部２２０に「い」という文字が表示されている所定の時間（例えば５秒）だけできるだけ高い声で「い」を発することができる。「う」、「え」及び「お」についても同様である。これにより、端末装置２０は、取得した第１の音声信号のうち、いずれの時間においていずれの母音が発せられたのかを認識することができる。なお、上述した５つの母音は、日本語における母音であり、具体的には「あ」、「い」、「う」、「え」及び「お」である。以下の説明では、一実施形態が日本語を採用した例を説明する。日本語以外の言語が採用された場合、母音の数は変わりうる。
【００９０】
第２のサンプルに関しては、ユーザは、例えば上記スクリプトと同一のスクリプトをできるだけ低い声で読み上げることができる。端末装置２０は、そのような発話を第２の音声信号として取得することができる。端末装置２０が、ユーザが例えば５つの母音を相互に異なる時間において個別に発した発話に関する第２の音声信号を取得する、ということは、上記第１の音声信号の場合と同様である。
【００９１】
第３のサンプルに関しては、ユーザは、例えば上記スクリプトと同一のスクリプトを特に何ら意識することなく自然な会話として読み上げることができる。端末装置２０は、そのような発話を第３の音声信号として取得することができる。端末装置２０が、ユーザが例えば５つの母音を相互に異なる時間において個別に発した発話に関する第３の音声信号を取得する、ということは、上記第１の音声信号の場合と同様である。
【００９２】
第４のサンプルに関しては、ユーザは、例えば上記スクリプトと同一のスクリプトを所望の人物又はキャラクターを模して（そのような人物又はキャラクターになりきって）読み上げることができる。端末装置２０は、そのような発話を第４の音声信号として取得することができる。端末装置２０が、ユーザが例えば５つの母音を相互に異なる時間において個別に発した発話に関する第４の音声信号を取得する、ということは、上記第１の音声信号の場合と同様である。
【００９３】
第１の音声信号〜第４の音声信号の取得に用いられるスクリプトは、上記のように相互に同一であってもよいし、各音声信号に個別に用意され得る。
【００９４】
次に、ステップ４０４において、端末装置２０（の特徴量抽出部２１２）が、第１の音声信号〜第４の音声信号の各々から、特徴量、すなわち、ここでは、基本周波数、第１フォルマント及び第２フォルマントを抽出することができる。具体的には、端末装置２０は、第１の音声信号〜第４の音声信号の各々について、例えば、以下の信号処理を施すことにより、基本周波数、第１フォルマント及び第２フォルマントを抽出することができる。
・プリエンファシスフィルタにより波形の高域成分を強調
・窓関数を掛けた後に高速フーリエ逆変換（ＦＦＴ）を行い振幅スペクトルを取得
・振幅スペクトルにメルフィルタバンクを掛けて圧縮
・上記圧縮した数値列を信号とみなして離散コサイン変換を実行
【００９５】
なお、一実施形態では、端末装置２０は、プログラミング言語であるＰｙｔｈｏｎにおいて用意されたライブラリである「ｏｐｅｎＳＭＩＬＥ」及び／又は「ＬｉｂＲＯＳＡ」を用いること等により、上記特徴量を取得してもよい。
【００９６】
また、基本周波数の推定は、以下に例示するライブラリを利用することによっても実行され得る。
・「ＳＴＲＡＩＧＨＴ」（http://www.kki.yamanashi.ac.jp/~mmorise/straight/introductions.html）
・「ＷＯＲＬＤ」（http://www.kki.yamanashi.ac.jp/~mmorise/world/introductions.html）
・「ＲＥＡＰＥＲ」（https://www.reaper.fm/download.php）
なお、これらのウェブサイトは、引用によりそれらの全体が本明細書に組み入れられる。
【００９７】
これにより、ステップ４０４では、端末装置２０は、第１の音声信号〜第４の音声信号の各々について、（例えば各時間フレームに対応して、）基本周波数、第１フォルマント及び第２フォルマントを取得することができる。端末装置２０は、第１の音声信号〜第４の音声信号の各々について、いずれの時間においてユーザがいずれの母音を発したのかを認識することができる。これにより、端末装置２０は、第１の音声信号〜第４の音声信号の各々について、これら５つの母音に対して、基本周波数、第１フォルマント及び第２フォルマントを取得することができる。
【００９８】
次に、ステップ４０６において、端末装置２０（の変換器取得部２１４）が、ステップ４０４において抽出された特徴量を用いて、ユーザに用いられるべき変換器を取得する。ここで、変換器は、ユーザの発話に関する音声信号における、基本周波数Ｆｉ０、第１フォルマントＦｉ１及び第２フォルマントＦｉ２を、それぞれ、目的とする変換後の基本周波数ＦＯ０、第１フォルマントＦＯ１及び第２フォルマントＦＯ２に対してマッピングすることができる。換言すれば、変換器は、以下に示すパラメータ等のうちの少なくとも１つを有することができる。
・ユーザの発話に関する音声信号における、基本周波数をいずれの周波数にシフトさせるのかを示すパラメータ
・いずれの周波数にある第１フォルマントをいずれの周波数に移動させるかを示すパラメータ
・いずれの周波数にある第２フォルマントをいずれの周波数に移動させるかを示すパラメータ
【００９９】
なお、基本周波数をいずれかの周波数にシフトさせることは、ユーザの音声の高さを上げること又は下げることに相当するといえる。第１フォルマント及び第２フォルマントを移動させることは、例えば図６に例示されるように、例えば、各母音ごとにより低い第１フォルマント（の範囲）及びより低い第２フォルマント（の範囲）を有する男性の音声を、各母音ごとにより高い第１フォルマント（の範囲）及びより高い第２フォルマント（の範囲）を有する女性の音声に（又はその逆方向に）変換することに相当するといえる。なお、図６の横軸及び縦軸にはそれぞれ第１フォルマント及び第２フォルマントが示されている。
【０１００】
端末装置２０は、ユーザに用いられるべき変換器を取得するために、一実施形態では、以下に示すような処理を行うことができる。このような処理について、図７を参照して説明する。図７は、図４に示したステップ４０６において行われる処理の具体例を示すフロー図である。
【０１０１】
まず、ＳＴ５０２において、端末装置２０（の変換器取得部２１４）は、ユーザの発話に関する音声信号における基本周波数の最小値及び最大値を取得することができる。基本周波数の最小値は、ＳＴ４０４において第２の音声信号に関して得られた基本周波数の中から最小値を検索することにより得られる。基本周波数の最大値は、Ｓ４０４において第１の音声信号に関して得られた基本周波数の中から最大値を検索することにより得られる。
【０１０２】
次に、ＳＴ５０４において、端末装置２０は、母音「あ」〜「お」の各々について、ユーザの発話に関する音声信号における第１フォルマントの最小値及び最大値を取得することができる。第１フォルマントの最小値は、ＳＴ４０４において第２の音声信号に関して得られた第１フォルマントの中から最小値を検索することにより得られる。第１フォルマントの最大値は、Ｓ４０４において第１の音声信号に関して得られた第１フォルマントの中から最大値を検索することにより得られる。これにより、端末装置２０は、母音「あ」〜「お」の各々について、第１フォルマントの最小値及び最大値を認識することができる。換言すれば、端末装置２０は、ユーザの発話に関する音声信号から得られた第１フォルマントが例えば母音「あ」について取得した最小値と最大値との間にあれば、ユーザがその時間において母音「あ」を発したということを推定することができる。
【０１０３】
さらに、ＳＴ５０４において、端末装置２０は、ＳＴ４０４において第４の音声信号に関して５つの母音について得られた第１フォルマントの中から最大値及び最小値を取得することができる。
【０１０４】
次に、ＳＴ５０６において、端末装置２０は、母音「あ」〜「お」の各々について、ユーザの発話に関する音声信号における第２フォルマントの最小値及び最大値を取得することができる。第２フォルマントの最小値は、ＳＴ４０４において第２の音声信号に関して得られた第２フォルマントの中から最小値を検索することにより得られる。第２フォルマントの最大値は、Ｓ４０４において第１の音声信号に関して得られた第２フォルマントの中から最大値を検索することにより得られる。これにより、端末装置２０は、母音「あ」〜「お」の各々について、第２フォルマントの最小値及び最大値を認識することができる。換言すれば、端末装置２０は、ユーザの発話に関する音声信号から得られた第２フォルマントが例えば母音「あ」について取得した最小値と最大値との間にあれば、ユーザがその時間において母音「あ」を発したということを推定することができる。
【０１０５】
さらに、ＳＴ５０６において、端末装置２０は、ＳＴ４０４において第４の音声信号に関して５つの母音について得られた第２フォルマントの中から最大値及び最小値を取得することができる。
【０１０６】
次に、ＳＴ５０８において、端末装置２０は、音声入力部２１０により入力される音声信号の周波数帯域を取得する。具体的には、端末装置２０は、例えば、第１の音声信号〜第４の音声信号の各々について、周波数帯域（周波数スペクトルにおいて出現する周波数成分の最小値及び最大値）を取得することができる。さらに、端末装置２０は、第１の音声信号〜第４の音声信号の各々について算出された最小値（又は最大値）のうち最も小さいもの（又は最も大きいもの）を最終的な最小値(又は最終的な最大値）として取得することができる。
【０１０７】
なお、ＳＴ５０２〜ＳＴ５０８は、任意の順序で実行され得る。
【０１０８】
次に、ＳＴ５１０において、端末装置２０は、第１フォルマントをいずれの周波数からいずれの周波数にシフトさせるのかを決定する。具体的には、端末装置２０は、例えば、ＳＴ５０４において５つの母音の各々について取得した第１フォルマントの最小値（「入力最小値」）及び最大値（「入力最大値」）と、ＳＴ５０４において第４の音声信号について５つの母音の各々に対して抽出した第１フォルマントの最小値（「出力最小値」）及び最大値（「出力最大値」）と、を用いることができる。端末装置２０は、これらを用いることにより、５つの母音の各々について、ユーザの発話に関する音声信号（第５の音声信号）における「入力最小値」と「入力最大値」との間にある第１フォルマントを、「出力最小値」と「出力最大値」との間の所定の値にシフトさせる旨を示すパラメータ（第１パラメータ）を決定することができる。
【０１０９】
これにより、端末装置２０は、変換器が有する、第１フォルマントをいずれの周波数からいずれの周波数にシフトさせるのかを示すパラメータ（第１パラメータ）を決定することができる。
【０１１０】
次に、ＳＴ５１２において、端末装置２０は、第２フォルマントをいずれの周波数からいずれの周波数にシフトさせるのかを決定する。具体的には、端末装置２０は、例えば、ＳＴ５０６において５つの母音の各々について取得した第２フォルマントの最小値（「入力最小値」）及び最大値（「入力最大値」）と、ＳＴ５０６において第４の音声信号について５つの母音の各々に対して抽出した第２フォルマントの最小値（「出力最小値」）及び最大値（「出力最大値」）と、を用いることができる。端末装置２０は、これらを用いることにより、５つの母音の各々について、ユーザの発話に関する音声信号（第５の音声信号）における「入力最小値」と「入力最大値」との間にある第２フォルマントを、「出力最小値」と「出力最大値」との間の所定の値にシフトさせる旨を示すパラメータ（第２パラメータ）を決定することができる。
【０１１１】
これにより、端末装置２０は、変換器が有する、第２フォルマントをいずれの周波数からいずれの周波数にシフトさせるのかを示すパラメータ（第２パラメータ）を決定することができる。
【０１１２】
次に、ＳＴ５１４において、端末装置２０は、基本周波数をいずれの周波数にシフトさせるのかを決定する。端末装置２０は、例えば、ＳＴ４０４において第３の音声信号について取得した基本周波数と、ＳＴ４０４において第４の音声信号について取得した基本周波数と、の差（又はこの差に所定の係数を掛けた値）を用いることができる。端末装置２０は、ユーザの発話に関する音声信号（第５の音声信号）の基本周波数（「入力基本周波数」）を、入力基本周波数に対して上記差（又はこの差に所定の係数を掛けた値）を足した基本周波数（「出力基本周波数」）にシフトさせる旨を示すパラメータ（第３パラメータ）を決定することができる。
【０１１３】
これにより、端末装置２０は、変換器が有する、基本周波数をいずれの周波数にシフトさせるのかを示すパラメータ（第３パラメータ）を決定することができる。
【０１１４】
このように、第１パラメータ〜第３パラメータを有する変換器を取得することができる。なお、ＳＴ５１０〜ＳＴ５１４は、任意の順序で実行され得る。
【０１１５】
次に、図４に戻り、ＳＴ４０６において、端末装置２０は、ユーザに用いられるべき変換器を取得することができた。よって、端末装置２０は、次に、ユーザの発話に関する音声信号（第５の音声信号）を、このように取得した変換器を用いて変換（加工）することができる。
【０１１６】
図４に示すＳＴ４０８において、端末装置２０（の音声入力部２１０）は、ユーザの発話に関する音声信号（第５の音声信号）を入力することができる。例えば、ユーザは、サーバ装置３０等にアップロードして他の端末装置２０に配信したい内容（セリフの朗読や演技等）を発話することができる。さらに、端末装置２０は、かかるユーザの発話に関する音声信号（第５の音声信号）を入力することができる。なお、第５の音声信号は、一実施形態ではＷＡＶファイルである。
【０１１７】
次に、ＳＴ４１０において、ＳＴ４０８で入力された音声信号（第５の音声信号）を、ＳＴ４０６において取得した変換器を用いて変換することができる。
具体的には、まず、端末装置２０（の特徴量抽出部２１２）が、ＳＴ４０４において説明したものと同様の手法により、第５の音声信号から特徴量（ここでは、基本周波数、第１フォルマント及び第２フォルマント）を抽出することができる。ここで、端末装置２０（の特徴量抽出部２１２）は、ＳＴ４０４において説明したように高速フーリエ変換処理及び離散コサイン変換を行う際には、次の動作を行うことができる。すなわち、端末装置２０は、第５の音声信号のうち、ＳＴ５０８において取得した周波数帯域（周波数レンジ）に含まれる信号に対して割り当てるべきビット数を、第５の音声信号のうち、上記周波数帯域（周波数レンジ）に含まれない信号に対して割り当てるビット数より大きくすることができる。これにより、このような信号処理に関する高品質化及び処理コストの低減を図ることができる。
【０１１８】
次に、端末装置２０（の特徴量変換部２２２）が、このように抽出した特徴量をＳＴ４０６において取得した変換器を用いて変換することができる。具体的には、例えば、まず第１フォルマントに着目すると、ユーザが発する母音に応じて、第５の音声信号から得られる第１フォルマントが変化する。よって、端末装置２０は、第５の音声信号から得られる第１フォルマントが、５つの母音のうちのいずれかの母音について決定された「入力最小値」と「入力最大値」との間に含まれることを、変換器に含まれる第１パラメータ（ＳＴ５１０参照）に基づいて検出することができる。この場合には、端末装置２０（の特徴量変換部２２２）は、その第１フォルマントをその母音について決定された「出力最小値」と「出力最大値」との間の所定の値にシフトさせることができる。
【０１１９】
同様に、第２フォルマントに着目すると、ユーザが発する母音に応じて、第５の音声信号から得られる第２フォルマントも変化する。よって、端末装置２０は、第５の音声信号から得られる第２フォルマントが、５つの母音のうちのいずれかの母音について決定された「入力最小値」と「入力最大値」との間に含まれることを、変換器に含まれる第２パラメータ（ＳＴ５１２参照）に基づいて検出することができる。この場合には、端末装置２０（の特徴量変換部２２２）は、その第２フォルマントをその母音について決定された「出力最小値」と「出力最大値」との間の所定の値にシフトさせることができる。
【０１２０】
次に、基本周波数に着目すると、端末装置２０（の特徴量変換部２２２）は、第５の音声信号から得られる基本周波数（入力基本周波数）を、変換器の第３パラメータ（ＳＴ５１４参照）により示される値（出力基本周波数）にシフトさせることができる。
【０１２１】
このように端末装置２０（の特徴量変換部２２２）は、特徴量を変換する処理を実行する際においても、以下の動作を行うことができる。すなわち、端末装置２０は、第５の音声信号のうち、ＳＴ５０８において取得した周波数帯域（周波数レンジ）に含まれる信号に対して割り当てるべきビット数を、第５の音声信号のうち、上記周波数帯域（周波数レンジ）に含まれない信号に対して割り当てるビット数より大きくすることができる。これにより、このような信号処理に関する高品質化及び処理コストの低減を図ることができる。
【０１２２】
次に、端末装置２０（の音声合成部２２４）は、特徴量変換部２２２により変換された特徴量（変換された基本周波数、第１フォルマント及び第２フォルマント）を用いて、音声合成処理を行うことができる。これにより、端末装置２０は、第５の音声信号を加工した音声信号（出力音声信号）を生成することができる。変換された特徴量（例えば、変換された基本周波数、第１フォルマント及び第２フォルマント）を用いて音声を合成する処理は、周知技術である様々な手法を用いて実行され得る。
【０１２３】
なお、一実施形態では、ＳＴ４０８において音声入力部２１０がユーザの発話に関する音声信号（第５の音声信号）をすべて入力し終えた後に、ＳＴ４１０において特徴量抽出部２１２、特徴量変換部２２２及び音声合成部２２４が、上述のように動作することができる。これにより、端末装置２０は、出力音声信号を生成することも可能である。別の実施形態では、ＳＴ４１０において、特徴量抽出部２１２、特徴量変換部２２２及び音声合成部２２４が上述のように動作することと並行して、ＳＴ４０８において音声入力部２１０がユーザの発話に関する音声信号（第５の音声信号）を継続して入力することができる。換言すれば、ＳＴ４０８において音声入力部２１０がユーザの発話に関する音声信号（第５の音声信号）を継続して入力することと並行して、ＳＴ４１０において、特徴量抽出部２１２、特徴量変換部２２２及び音声合成部２２４が上述のように動作することができる。これにより、端末装置２０は、出力音声信号を生成し続けることもできる。すなわち、端末装置２０では、実時間方式（リアルタイム方式）により、音声入力部２１０、特徴量抽出部２１２、特徴量変換部２２２及び音声合成部２２４が、並行して処理を行うことも可能である。
【０１２４】
次に、ＳＴ４１２において、端末装置２０（の通信部２１８）は、生成された出力音声信号をサーバ装置３０に送信することができる。なお、通信部２１８による出力音声信号の送信もまた、音声入力部２１０、特徴量抽出部２１２、特徴量変換部２２２及び音声合成部２２４の動作と並行して実行され得る。なお、一実施形態では、端末装置２０（の通信部２１８）は、ＳＴ４０６において取得した変換器（この変換器が有する第１パラメータ〜第３パラメータのうちの少なくとも１つのパラメータ）を、他のユーザにより使用可能となるように、任意のタイミングでサーバ装置３０に送信してもよい。
【０１２５】
ＳＴ４１２の後、又は、ＳＴ４１２と並行して、端末装置２０から出力音声信号を受信したサーバ装置３０は、そのように受信した出力音声信号を１又はそれ以上の他の端末装置２０に配信することができる。１又はそれ以上の他の端末装置２０のユーザは、配信された出力音声信号を聴いた後、その感想やコメント等を示したメッセージ等を、この出力音声信号を発信した端末装置２０のユーザに対して、サーバ装置３０を介して又は直接的に、フィードバックとして送信することができる。
【０１２６】
なお、図４及び図７を参照して上述した実施形態では、端末装置２０が、図７に示されたＳＴ５０２〜ＳＴ５１４に対応するすべての処理を実行する場合について説明した。しかし、別の実施形態では、端末装置２０がＳＴ５０２〜ＳＴ５０８に対応する処理を実行し、かつ、サーバ装置３０がＳＴ５１０〜ＳＴ５１４に対応する処理を実行して得られた変換器に関する情報を端末装置２０に送信することができる。さらに別の実施形態では、サーバ装置３０がＳＴ５０２〜ＳＴ５１４に対応するすべての処理を実行して得られた変換器に関する情報を端末装置２０に送信することができる。いずれの場合にも、端末装置２０は、サーバ装置３０による処理の前に、必要な情報をサーバ装置３０に送信することが必要である。
【０１２７】
また、図４及び図７を参照して上述した動作は、端末装置２０だけでなく、同様の動作を実行するための構成（図２及び図３を参照して説明した構成）を有するサーバ装置３０及びスタジオユニット４０によっても実行され得る。これは、以下に説明する様々な実施形態においても同様に当て嵌まる。
【０１２８】
さらにまた、図４及び図７を参照して上述した実施形態では、ＳＴ４１０において、端末装置２０が、ＳＴ４０８で入力した音声信号（第５の音声信号）に対して、ＳＴ４０４で取得した複数の特徴量のうちのすべての特徴量を変換する処理を行う場合について説明した。ここで、ＳＴ４０４で取得した複数の特徴量とは、一実施形態では、基本周波数、第１フォルマント及び第２フォルマントであり、別の実施形態では、後述するように、基本周波数、スペクトル包絡及び非周期性指標であってもよい。しかし、別の実施形態では、ＳＴ４１０においては、端末装置２０が、ＳＴ４０８で入力した音声信号（第５の音声信号）に対して、Ｔ４０４で取得した複数の特徴量のうちの１つ又は２つの特徴量のみを変換する処理を行うようにしてもよい。この場合、端末装置２０は、変換された１つ（又は２つ）の特徴量と変換されない２つ（又は１つ）の特徴量とを用いて、音声合成信号処理を行って出力音声信号を生成することができる。
【０１２９】
５．変形例
５−１．変換器の取得に関する別の方法（その１）
図４及び図７を参照して説明した変換器の別の取得方法について図８を参照して説明する。図８は、図４に示したステップ４０６において行われる処理の別の具体例を示すフロー図である。なお、図８等を参照して以下のとおり説明する実施形態は、図７等を参照して上述した実施形態と独立して又は組み合わせて実行され得る。
【０１３０】
ＳＴ６０２において、端末装置２０（の通信部２１８）は、ＳＴ４０４（図４参照）において抽出された特徴量をサーバ装置３０に送信することができる。具体的には、端末装置２０は、例えば、第１の音声信号〜第４の音声信号のうちの少なくとも１つの音声信号について抽出された複数の特徴量（基本周波数、第１フォルマント及び第２フォルマント）のうちの少なくとも１つの特徴量を、サーバ装置３０に送信することができる。この意味において、端末装置２０は、サーバ装置３０に対して少なくとも１つの特徴量を送信すればよいことから、端末装置２０は、上述したＳＴ４０２においては、少なくとも１つの音声信号をサンプルとして入力すればよい。また、端末装置２０は、ＳＴ４０４においても、少なくとも１つの特徴量を抽出すればよい。
【０１３１】
このような特徴量を受信したサーバ装置３０は、複数の変換器を予め記憶している。これら複数の変換器は、複数の端末装置２０により生成され通信網１０を介して受信された複数の変換器、及び／又は、専門家・技術者により生成された複数の変換器を含むことができる。これら複数の変換器の各々は、上述した第１パラメータ〜第３パラメータを有するものとすることができる。また、サーバ装置３０は、これら複数の変換器の各々に対応付けて該変換器に関する情報（例えば、この変換器により生成される音声が或る人物又は或るキャラクターの音声を模していることを示す情報、当該人物又はキャラクターに対応する画像等）を記憶することができる。なお、サーバ装置３０により予め記憶された複数の変換器のうちの少なくとも一部は、本明細書において開示された様々な実施形態のうちの少なくとも１つの実施形態に従って生成され得る。
【０１３２】
サーバ装置３０は、これら複数の変換器の中から、ＳＴ６０２において端末装置２０から受信した少なくとも１つの特徴量のうちの少なくとも１つに近似又は共通する特徴量を有する１又はそれ以上の第１の候補変換器を抽出することができる。
【０１３３】
具体的には、サーバ装置３０は、第１のフォルマントについては、複数の変換器の中から、例えば、端末装置２０から受信した第１フォルマントを「入力最小値」と「入力最大値」との間に含むような第１パラメータを有する１又はそれ以上の第１の候補変換器を抽出してもよい。第２のフォルマントについても、同様に、サーバ装置３０は、例えば、端末装置２０から受信した第２フォルマントを「入力最小値」と「入力最大値」との間に含むような第２パラメータを有する１又はそれ以上の第１の候補変換器を抽出してもよい。基本周波数についても、同様に、サーバ装置３０は、例えば、端末装置２０から受信した基本周波数に近似する又は共通する「入力基本周波数」を有するような第３パラメータを有する１又はそれ以上の第１の候補変換器を抽出してもよい。
【０１３４】
さらに、サーバ装置３０は、このように抽出した１又はそれ以上の第１の候補変換器（が有する第１パラメータ〜第３パラメータ）と、各々の第１の候補変換器に関する情報と、を端末装置２０に返送することができる。各第１の候補変換器に関する上記情報は、例えば、この変換器により生成される音声が或る人物又は或るキャラクターの音声を模していることを示す情報、当該人物又はキャラクターに対応する画像等を含むことができる。これにより、ＳＴ６０４において、端末装置２０は、サーバ装置３０から、１又はそれ以上の第１の候補変換器と、各々の第１の候補変換器に関する情報と、を受信することができる。
【０１３５】
ＳＴ６０６において、端末装置２０は、サーバ装置３０から受信した１又はそれ以上の第１の候補変換器を、レコメンドの対象として、端末装置２０のユーザに提示することができる。具体的には、図９に例示されるように、端末装置２０は、サーバ装置３０から受信した１又はそれ以上の第１の候補変換器として例えば５つの変換器５５０〜５５４を提示することができる。この場合には、端末装置２０は、各々の変換器に関連する情報（例えば、各々の変換器に対応する画像、及び／又は、各々の変換器に対応する人物／キャラクターの名称等）を表示することができる。
【０１３６】
次に、ＳＴ６０８において、端末装置２０は、表示された１又はそれ以上の第１の候補変換器５５０〜５５４のうち、所望の変換器をユーザに選択させる。これに応じてユーザにより選択された変換器が、端末装置２０により取得された変換器として以後利用され得る。
【０１３７】
なお、別の実施形態では、上述したＳＴ６０４において、サーバ装置３０は、ＳＴ６０２において端末装置２０から受信した特徴量とは関係なく、複数の端末装置２０のユーザの間において人気のある１又はそれ以上の変換器（第２の候補変換器）を抽出することができる。さらに、サーバ装置３０は、このように抽出した１又はそれ以上の第２の候補変換器（が有する第１パラメータ〜第３パラメータ）と、各々の第２の候補変換器に関する情報と、を、端末装置２０に送信することができる。このような１又はそれ以上の第２の候補変換器、及び、各々の第２の候補変換器に関する情報は、サーバ装置３０により、上述した１又はそれ以上の第１の候補変換器に関する情報とともに又は上述した１又はそれ以上の第１の候補変換器に関する情報とは別に、端末装置２０に送信され得る。ここで、各第２の候補変換器に関する情報は、例えば、この変換器により生成される音声が或る人物又は或るキャラクターの音声を模していることを示す情報、当該人物又はキャラクターに対応する画像、セクシー系やおっとり系などより抽象的な特徴に基づく情報等を含むことができる。
【０１３８】
さらに、サーバ装置３０は、各ユーザについて、ＳＴ６０２において端末装置２０から受信した特徴量とは関係なく、複数の変換器（例えば、複数の端末装置２０のユーザの間において人気のある複数の変換器）の中から、そのユーザが選択したアバター（キャラクター）に関連する１又はそれ以上の変換器（第２の候補変換器）を抽出することができる。さらに、サーバ装置３０は、このように抽出した１又はそれ以上の第２の候補変換器（が有する第１パラメータ〜第３パラメータ）と、各々の第２の候補変換器に関する情報と、を、上述した１又はそれ以上の第１の候補変換器に関する情報とともに又は上述した１又はそれ以上の第１の候補変換器に関する情報とは別に、端末装置２０に送信してもよい。各第２の候補変換器に関する情報は、例えば、この変換器により生成される音声が或る人物又は或るキャラクターの音声を模していることを示す情報、当該人物又はキャラクターに対応する画像、セクシー系やおっとり系などより抽象的な特徴に基づく情報等を含むことができる。この場合、上記ユーザが選択したアバター（キャラクター）に関連する１又はそれ以上の変換器とは、このアバター等、又は、このアバターに含まれるパーツを選択した他のユーザにより選択されたことのある１又はそれ以上の変換器（第２の候補変換器）であってもよい。ここで、パーツには、目、眉及び／又は口等が含まれ得る。例えば、サーバ装置３０は、アバターＡ１を選択したユーザＵ１に対しては、アバターＡ１及び／又はアバターＡ１に含まれたパーツを選択した他のユーザＵ２により選択されたことのある１又はそれ以上の変換器（第２の候補変換器）を抽出してもよい。このような動作を実現するために、サーバ装置３０は、各ユーザに対応付けて、例えば、以下の情報のうちの少なくとも１つの情報を記憶することができる。
・そのユーザが選択した各アバターを識別する情報
・そのユーザが選択した各パーツを識別する情報
・そのユーザが選択したアバターに含まれる各パーツを識別する情報
【０１３９】
このような第２の候補変換器もまた、複数の端末装置２０により生成され通信網１０を介して受信された複数の変換器、及び／又は、専門家・技術者により生成された複数の変換器を含むことができる。これらの第２の候補変換器の各々もまた、上述した第１パラメータ〜第３パラメータを有するものとすることができる。なお、サーバ装置３０により予め記憶された複数の変換器のうちの少なくとも一部は、本明細書において開示された様々な実施形態のうちの少なくとも１つの実施形態に従って生成され得る。
【０１４０】
この場合、上述したＳＴ６０６において、端末装置２０は、サーバ装置３０から受信した１又はそれ以上の第２の候補変換器を、上述した１又はそれ以上の第１の候補変換器とともに、レコメンドの対象として、端末装置２０のユーザに提示することができる。具体的には、図９に例示されるように、端末装置２０は、サーバ装置３０から受信した１又はそれ以上の第２の候補変換器として例えば５つの変換器５６０〜５６４を提示することができる。この場合には、端末装置２０は、各々の変換器に関連する情報（例えば、各々の変換器に対応する画像、及び／又は、各々の変換器に対応する人物／キャラクターの名称等）を表示することができる。さらに、ＳＴ６０８において、端末装置２０では、表示された１又はそれ以上の第２の候補変換器５６０〜５６４のうちユーザにより選択された変換器が、端末装置２０により取得された変換器として以後利用されるようにしてもよい。
【０１４１】
図８及び図９に関連して上述した例においては、端末装置２０は、サーバ装置３０から１又はそれ以上の第１の候補変換器（及び１又はそれ以上の第２の候補変換器）に関する情報を受信する場合について説明した。しかし、端末装置２０は、複数の変換器に関する情報を予めサーバ装置３０から受信して記憶しておくことができる。さらに、端末装置２０は、そのように記憶した複数の変換器の中から、ＳＴ４０４において抽出した複数の特徴量のうちの少なくとも１つを用いて、１又はそれ以上の第１の候補変換器をサーバ装置３０と同様の手法により抽出してもよいし、また、１又はそれ以上の人気のある変換器を１又はそれ以上の第２の候補変換器として抽出してもよい。
【０１４２】
なお、図８を参照して上述した実施形態において、ＳＴ６０６では、端末装置２０は、サーバ装置３０から受信した、１又はそれ以上の第１の候補変換器に関する情報、及び／又は、１又はそれ以上の第２の候補変換器に関する情報を、レコメンドの対象として表示することが可能である。さらに、ＳＴ６０８では、端末装置２０は、１又はそれ以上の第１の候補変換器、及び／又は、１又はそれ以上の第２の候補変換器の中から、いずれかの変換器を選択することが可能である。この場合、端末装置２０は、そのユーザが、いずれかの変換器を正式に選択する前に、１又はそれ以上の第１の候補変換器、及び／又は、１又はそれ以上の第２の候補変換器の各々を使用した場合にそのユーザの声がどのように変換されるのかを試しに聴くことを可能にする機能を、ユーザインタフェイスを介して提供することができる。この場合、ユーザの端末装置２０は、ユーザにより試しに聴くことを選択された変換器を用いて、上記ＳＴ４１０において行われるものと同様の処理を行うことにより、入力された音声信号（第５の音声信号）を変換して出力音声信号を生成することができる。このように生成された出力音声信号は、端末装置２０に搭載されたスピーカ、端末装置２０に接続されたスピーカ及び／又はヘッドフォン等から出力されるものとすることができる。
【０１４３】
５−２．第１の候補変換器の抽出に関する別の方法
図８に関連して上述した実施形態では、ＳＴ６０４において、サーバ装置３０が、複数の変換器の中から、端末装置２０から受信した特徴量に基づいて、１又はそれ以上の第１の候補変換器を抽出する場合について説明した。この場合において、サーバ装置３０は、ユーザの発話に関する音声信号（第５の音声信号）から推定されるユーザの感情及び／又は性格にもさらに基づいて、複数の変換器の中から１又はそれ以上の第１の候補変換器を抽出するようにしてもよい。
【０１４４】
具体的には、端末装置２０は、第５の音声信号から、第１フォルマント、第２フォルマント及びラウドネスを算出することができる。ここで、ラウドネスとは、音圧、すなわち、音量の二条平均平方根値であり、例えば、上述したＰｙｔｈｏｎに用意されたｏｐｅｎＳＭＩＬＥにより取得可能である。さらに、端末装置２０は、これらの情報から、ユーザの感情（例えば、怒っているのか、笑っているのか、泣いているのか等）及び／又はユーザの性格（例えば、内気なのか、元気があるのか、神経質であるのか等）をある程度は推定することが可能である。例えば、端末装置２０は、ユーザがどのような母音をどのような音圧で発しているのかに対応付けて、感情及び／又は性格に関する情報をルックアップテーブルとして予め記憶しておくことができる。なお、上記母音は、第１フォルマント及び第２フォルマントにより推定され得る。また、上記音圧は、ラウドネスにより推定され得る。さらに、端末装置２０は、第５の音声信号から得られた、第１フォルマント、第２フォルマント及びラウドネスの組み合わせを検索キーとして、上記ルックアップテーブルから感情及び／又は性格に関する情報を取得することができる。
【０１４５】
端末装置２０は、ＳＴ６０２（図８参照）において、サーバ装置３０に対して、特徴量とともに、感情及び／又は性格に関する情報を送信することができる。これにより、サーバ装置３０は、ＳＴ６０４において、さらに感情及び／又は性格に関する情報にも基づいて、１又はそれ以上の第１の候補変換器を抽出することができる。例えば、サーバ装置３０は、ＳＴ６０４において上述した手法により取得した１又はそれ以上の第１の候補変換器の中から、感情及び／又は性格に関する情報に基づいて抽出した１又はそれ以上の候補変換器を、新たな１又はそれ以上の第１の候補変換器として抽出することができる。具体的には、サーバ装置３０は、おとなしい（又は元気である）と推定されたユーザについては、その声を元気な声（又はおとなしい声）に変換する１又はそれ以上の第１の候補変換器を抽出することができる。また、サーバ装置３０は、怒っている（又は泣いている）と推定されたユーザについては、その声を泣いている（又は怒っている）声に変換する１又はそれ以上の第１の候補変換器を抽出することができる。
【０１４６】
５−３．変換器の取得に関する別の方法（その２）
図７を参照して説明した実施形態では、端末装置２０は、ＳＴ５１０〜ＳＴ５１４においてそれぞれ第１パラメータ〜第３パラメータを算出している。これに代えて、端末装置２０は、ＳＴ５１０〜ＳＴ５１４において、機械学習を利用してそれぞれ第１パラメータ〜第３パラメータを取得することも可能である。以下、その具体例について説明する。
【０１４７】
（１）はじめに
上述した様々な実施形態では、複数の特徴量として、基本周波数、第１フォルマント及び第２フォルマントを用いる場合について説明した。しかし、後述するように、複数の特徴量として、例えば、基本周波数、スペクトル包絡及び非周期性指標を用いることも可能である。この場合、例えば、スペクトル包絡を獲得する方法としては、メル周波数ケプストラム係数（ＭＦＣＣ）及び線周波数対等を用いることが挙げられる。振幅スペクトル（音声信号→フーリエ変換→絶対値）に対数をかけて、さらにもう一度フーリエ変換をかけたもの（スペクトラムのスペクトラム）を「ケプストラム」という。
【０１４８】
上述した実施形態では、複数の特徴量として、基本周波数、第１フォルマント及び第２フォルマントが用いられる。よって、スペクトル包絡のピークに対し、周波数の低いほうから順に３つ取得することにより、これら３つの特徴量を取得することができる。
【０１４９】
以上のような人為的な知識によってモデルを獲得する手法が古典的な音声信号処理である。統計的信号処理及びその延長にある近年の深層学習を使った方法では、人為的な特徴を記述する必要がないことが特徴であり利点でもある。上述した実施形態は、母音等の人為的な音声モデルに基づく。以下、統計的音声信号処理を用いた場合について、統計的音声信号処理の基本的な説明とともに説明する。
【０１５０】
（２）音声の特徴
まず、基本的な音声の信号処理の上での特徴を整理する。
音声は、（i）基本周期を与える声帯の振動、及び、（ii）音声の音色を与える鼻腔及び声道の共振、により構成される。
【０１５１】
母音、鼻母音及び子音といった音素も（言語的な構造とは別に）、声道・鼻腔・口放射という複数の発声構造により解剖され得る。音声のスペクトル構造は、それらが合成された波により形成されている。音声のスペクトル構造は、分析すると、声帯の振動によるスペクトル微細構造（基本周波数で表現できる）と、鼻腔及び声道の形状による共振ピークにより表現できるスペクトル包絡構造と、の合成であることがわかっている。なお、周波数スペクトラムは、ある時間フレームの中の周波数を表現しているに過ぎないので、横軸を時間にして時間変化を見ることができるようにしているものがスペクトログラムである。
【０１５２】
統計的音声信号処理の用語として、「特徴量系列Ｘ」とある場合には、ＬＰＣ（Ｌｉｎｅａｒ Ｐｒｅｄｉｃｔｉｖｅ Ｃｏｄｉｎｇ；線形予測符号）やＭＦＣＣ（メル周波数ケプストラム係数）を使って、特徴量は、数列で獲得される。特徴量の中身が何であるかは抽象的にとらえられる。ＭＦＣＣは、音の聞こえ方の特性を利用して圧縮することができる。
【０１５３】
（３）ＭＦＣＣの抽出手順
スペクトル包絡を得る手法としては、（要は波の概形が表現できれば良いため）いくつかあげられる。例えば、Ｃｅｐｓｔｒｕｍの値のＦＦＴを計算し、高域をカットして、振幅に戻したものを、スペクトル包絡とすることも可能である。
【０１５４】
統計的音声信号処理でよく使われるＭＦＣＣの抽出手順は、以下の手順を含むことができる。
（i）プリエンファシスフィルタで波形の高域成分を強調する。
（ii）窓関数をかけた後にＦＦＴして振幅スペクトルを求める。
（iii）振幅スペクトルにメルフィルタバンクをかけて圧縮する。
（iv）上記圧縮した数値列を信号とみなして離散コサイン変換する。
（v）得られたケプストラムの低次成分をＭＦＣＣとして抽出する。
【０１５５】
メルフィルタバンクは、三角形のバンドパスフィルタをオーバーラップさせながら並べることにより生成され得る。三角形のバンドパスフィルタの数をチャネル数という。ここで、ただのフィルタバンクではなくメルがつくことが特徴である。メル尺度は、人間の音声知覚を反映した周波数軸であって単位はｍｅｌである。メル尺度は、低周波ほど間隔が狭く、高周波ほど間隔が広くなる（人間にとっては、低周波なら細かい音の高さの違いがわかるが、高周波になるほど音の高さの違いがわからなくなる、という特性が利用されている）。Ｈｚとｍｅｌとを相互変換する関数は、以下のようにｌｏｇ、ｅｘｐ及び係数を用いて可逆的に実装され得る。
【０１５６】
def hz2mel(f):
"Hzをmelに変換"
return 1127.01048 * np.log(f / 700.0 + 1.0)
def mel2hz(m):
"melをhzに変換"
return 700.0 * (np.exp(m / 1127.01048) - 1.0)
【０１５７】
メルフィルタバンクは、バンドパスフィルタの三角窓がメル尺度上で等間隔になるように配置される。メル尺度上で等間隔に並べたフィルタをＨｚ尺度に戻すと、フィルタは、高周波になるほど幅が広い三角形になる。なお、メルフィルタバンクをかけることにより、処理量を減らして概形をつかむことができる。後のステップでのＤＣＴがかかるので、結果として得られるものには変わりはない。
【０１５８】
（４）混合ガウス分布（ＧＭＭ）を使用した方法
まず、統計的音声信号処理のなかでも既存の学習を使った方法として入力音声の混合ガウス分布（Ｇａｕｓｓｉａｎ Ｍｉｘｔｕｒｅ Ｍｏｄｅｌ；ＧＭＭ）を使ってスペクトル包絡を求める手法が挙げられる。この手法は２０年以上研究されてきているが、以下、この手法を本件出願において適用するための具体的な手法を説明する。
【０１５９】
入出力のドメインに何を選択するかにかかわらず、文献Ａ（「Tomoki Toda, Alan W. Black, Keiichi Tokuda, "Voice Conversion Based on Maximum-Likelihood Estimation of Spectral Parameter Trajectory", IEEE TRANSACTIONS ON AUDIO, SPEECH, AND LANGUAGE PROCESSING, VOL. 15, NO. 8, NOVEMBER 2007」）（https://www.cs.cmu.edu/~pmuthuku/mlsp_page/lectures/Toda_VC.pdf）において記述されているものを用いる。以下、その概略を述べる。なお、文献Ａは、引用によりその全体が本明細書に組み入れられる。
【０１６０】
まず、変換元の変数Ｘ（この場合、人手により設計された音響特徴量、手法としてはＭＦＣＣ等によるスペクトル包絡の取得。具体的には、周波数に対するＦＦＴの算出値を対数で格納したｄｏｕｂｌｅ又はｆｌｏａｔの配列）と対応する変換先の変数Ｙ（この場合、目的とする変換先のスペクトル包絡）を結合した変数[Ｘ，Ｙ]に対して混合ガウス分布（ＧＭＭ）によるファジークラスタリングを実行し、そのモデルパラメータを保持しておく。これにより、Ｘ，Ｙの同時確率密度Ｐ（Ｘ，Ｙ）が推定される。
【０１６１】
対応する変数の組は、変換元と変換先とで同じ内容の発話がなされた音声（パラレルコーパス）に対して、動的計画法により時間マッチングを取ることで得られる。変換時にはそのパラメータを用いて、変換元の変数Ｘのみがわかっている条件のもと、変換先の変数Ｙを最尤推定した値であるａｒｇｍａｘ＿Ｙ Ｐ（Ｙ｜Ｘ）が出力される。
【０１６２】
（５）ＨＭＭ（Ｈｉｄｄｅｎ Ｍａｒｋｏｖ Ｍｏｄｅｌ）−ＤＮＮ（Ｄｅｅｐ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）を使用した方法
上記（４）の場合には、変換器のモデルとしてＧＭＭが用いられる。学習を用いた方法では、ＧＭＭの代わりにニューラルネットによって獲得した関数近似を使うことで、よりシンプルな実装が考えられる。音響特徴は、多層の物理特徴により構成されている。よって、ニューラルネットワークの隠れ層、つまり深層学習（Ｄｅｅｐ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ；ＤＮＮ）を用いて、人為的なモデル（例えばどの周波数がどの変換にどの程度寄与するかといった線形な対応で記述するには複雑すぎる関係）ではなく、隠れ層の獲得を利用した方法が実現できる。具体的方法の１つとして、文献Ｂ（「神田直之、"音声認識における深層学習に基づく音響モデル"、日本音響学会誌73巻1号（2017），pp. 31-38」）（https://www.jstage.jst.go.jp/article/jasj/73/1/73_31/_pdf）の３.２節で報告されているＤＮＮ−ＨＭＭの枠組みで利用する方法は以下のとおりである。なお、ＨＭＭに基づく音響特徴量Ｘについての定義は、下記(６)に記載のとおりである。また、文献Ｂは、引用によりその全体が本明細書に組み入れられる。
【０１６３】
（i）まず、従来のＧＭＭ−ＨＭＭに基づく音響モデルを学習する。
（ii）学習データの各時刻ごとに最尤の隠れ状態を求める。
（iii）この最尤隠れ状態を正解ラベルと考え、音響特徴量から隠れ状態を予測するＤＮＮを学習する。
【０１６４】
具体的には「正解ラベルがｊ種類目の隠れ状態だった場合、出力ベクトルのｊ番目の値が１、それ以外の値が０となるように、ＤＮＮを学習」する。このように学習されたＤＮＮに新たに音響特徴量ｘｔを入力した場合、ＤＮＮの出力ベクトルのｊ番目の要素ｙｔ，ｊはｊ種類目の隠れ状態の事後確率を表していると考えられる。よって、必要なのは、事後確率Ｐｒ(ｓｔ｜ｘｔ)ではなく、出力確率Ｐｒ(ｘｔ｜ｓｔ)である。したがって、ベイズの定理を用い、事後確率Ｐｒ(ｓｔ｜ｘｔ)を最適化に無関係であるものとして省略できる（上記文献Ｂにおける式（１）及び式（２））。また、Ｐｒ(ｓｔ)は、正解ラベルの出現頻度から求めることができる。
【０１６５】
（６）ＤＮＮのみでＥｎｄ-ｔｏ-Ｅｎｄな方法
深層学習による音声認識に使われる方法、その中でも本件出願の意図に近いモデルとして、上記文献Ｂの３.３節で報告されているＥｎｄ-ｔｏ-Ｅｎｄ(Ｅ２Ｅ)な方法を説明する。
【０１６６】
まず、ＨＭＭを用いた音声認識モデルは、音響特徴量系列Ｘを、単語系列Ｗ＝{ｗｉ,...,ｗＩ}を探索する問題として以下のように表現できる。
2020145353.tif 000003
【０１６７】
この式は、ベイズの定理を利用して、事後確率Ｐｒ（Ｘ）がｗの最適化に無関係であることを利用できる。単語列の事前確率Ｐｒ（Ｗ）は言語モデルによって求められる。
【０１６８】
Ｅｎｄ-ｔｏ-Ｅｎｄモデルは、ＨＭＭの枠組みのベースである上記式（２）から離れ、より直接的に上記式（１）のＰｒ（Ｗ｜Ｘ）をニューラルネットワークでモデル化しようという試みである。ＨＭＭの枠組みでは多数の構成要素を個別に学習していた。これに対し、この方法では、１つのネットワークで学習を行う。よって、すべての要素を同時最適化できる可能性がある。また、構成要素が１つしかないため、学習プロセスが単純化されるという利点がある。
【０１６９】
但し、単語列の確率分布を学習するには、音声コーパスは小さ過ぎる。さらには、単語を出力としてネットワークを構築すると、後で新語彙を追加することも難しい。しかし、本件出願の場合には、ある程度限定されたワードサンプルだけで実施するため、文献Ｃ（「Dong Yu, Li Deng, George E. Dahl、"Roles of Pre-Training and Fine-Tuning in Context-Dependent DBN-HMMs for Real-World Speech Recognition", NIPS 2010 workshop on Deep Learning and Unsupervised Feature Learning, December 2010」）（https://www.microsoft.com/en-us/research/publication/roles-of-pre-training-and-fine-tuning-in-context-dependent-dbn-hmms-for-real-world-speech-recognition/）にあるような音声検索の例では、文字列や音素列などのサブワード列Ｌを正解ラベルとしてモデルを学習することが行われている例を利用可能である。なお、文献Ｃは、引用によりその全体が本明細書に組み入れられる。
【０１７０】
上記文献Ｃにおける実験は、Ｂｉｎｇモバイル音声検索アプリケーションから収集されたデータに対して２００８年に実施されている。携帯電話から音声を介し、ビジネス及び場所を検索するアプリケーションに制限して収集されている。すべてのオーディオファイルは、８ｋＨｚでサンプリングされ、ＧＳＭコーデックでエンコードされている。データセットには、ノイズ、音楽、音声、アクセント、ずさんな発音、ためらい、繰り返し、中断、多様なオーディオチャンネルなどが含まれている。データセットには、１３０時間のラベル付けされた２０００時間の（ユーザのクリック情報に基づいて）管理されたトレーニングデータ、６.５時間（又は８,７７７発話）の検証データ、及び、９時間（１２,７５８発話）のテストデータが含まれる。比較として、カーネギーメロン大学の公用語サンプルセットが使用されている（６５,０００語彙）。
【０１７１】
この場合、ユーザのクリックを教師として学習されたモデルは、サブワード列Ｌを正解ラベルとするＰｒ(Ｌ|Ｘ)を表すようになる。このように音声検索を目的とした音声認識を行う際には、言語モデルと組み合わせて最もスコアの高い単語列を探索することが行われている。
【０１７２】
（７）追記
本出願に開示された手法は、（音声によるワード列検索タスクではないが）ボイスチェンジャのためのユーザの入力音声に対する音響特徴量Ｘに対し、本人（又は他のユーザ）が期待する「適切な変換後の音声特徴量Ｙ」を有する変換を獲得するということである（特徴量Ｘに対して特徴量Ｙが得られれば、特徴量Ｘ及び特徴量Ｙから第１パラメータ〜第３パラメータも得られる）。音声特徴量の空間は、図１０に示すように多次元の（人間には理解しづらい概念的な）空間であるが、実際にはこれまで本明細書において記載してきたフォルマントｆ０、ｆ１、ｆ２であり、スペクトル包絡でもある。すなわち、音声特徴量の空間は、「スペクトル包絡からスペクトル包絡を求めるＥｎｄ-ｔｏ-Ｅｎｄな変換」を求める課題であると置き換えられる。スペクトル包絡は、前述のとおり、ＭＦＣＣによって周波数に対する対数の数列（又はそれを描いたグラフ）として取得できる。よって、近いスペクトル包絡の形状を用いながら、窓関数の広さ／狭さを変えることで、子供っぽい声や太い声を得ることができる。また、ユーザの入力を教師データとすることにより、ユーザの入力を、目的の変換を得るための評価関数とすることができ、扱いやすくなる。なお、図１０は、上記文献Ｂの図３を引用している。
【０１７３】
具体的な提案方法として、ユーザに（ボイスチェンジャおよび特殊表情を使った感情表現のトレーニングとして）固定の時間フレームに区切ってタグ付けされたサンプルシナリオを使って、数種類のサンプルを録音させる。この方式は、アニメーションのアフレコと類似しているため親和性がある（「アフレコ形式」）。
【０１７４】
必要となる音素が必ずしも含まれている必要はなく、また（録音時間等で区切ったサンプルを用いたとしても）人によって話速や音素サンプルごとの出現確率が異なる場合、例えば「あいうえお」と発音するときも「aiueo」であったり「aaaiiuueeoo」であったりする。しかし、ＣＴＣ（Ｃｏｎｎｅｃｔｉｏｎｉｓｔ Ｔｅｍｐｏｒａｌ Ｃｌａｓｓｉｆｉｃａｔｉｏｎ）関数を使うことにより「aiueo」と表現することが可能である。
【０１７５】
これらの深層学習を用いた処理フローにおいて、言語的な知識や音声処理における人為的なモデル設定（どのような波形がどのように変換されるかといった個別の指定）は不要である。時間方向に対する特徴量の獲得後は、画像処理向けの一般的な深層学習フレームワークを（そのまま未知の入力として）音声特徴量に対して実施することで実装可能になっている。最新の手法としては、ＧＡＮやＤＣＧＡＮを使用した１対１の音声変換など次々に提案されている。しかし、基本周波数及びスペクトル包絡を獲得することにより、声の高さや知覚的な特性を変えることができるという基本的な考え方は変わらない。
【０１７６】
（８）まとめ
「深層学習を使用する」という点において、本項「５−３」において説明した手法が、それまでに説明した実施形態と異なる点は、音声信号の知識や、特徴量空間から対応する既知のモデルによる変換を行うのではなく、多段の非線形変換により元の特徴量空間が識別に最適な空間に投射されるＤＮＮの隠れ層をそのままに利用することで精度を上げられる、ということである（これは、音声自体が、冒頭に解説した通り、物理的形状を使用した基本周波数に寄与する声帯と、鼻腔及び声道の共振とによって特徴づけられる複数の物理現象を経由した現象である、という物理的理由による）。
【０１７７】
ボイスチェンジャそのもののアルゴリズムは、上記実施形態において説明した手法と、深層学習を使用する手法との間で、違いはない。声帯による基本周波数で音の高低が決まり、鼻腔及び声道の形状によりスペクトル包絡の共振部が変わる。このスペクトル包絡における周波数軸の伸縮がそのまま声道の伸縮に一致すると考えられる。よって、男性の声を女性や子供の声に変換したい場合には、サンプリングした周波数を高い側に伸ばして逆フーリエ変換すればよい。なお、よく使われる深層学習に使用されたデータは、フーリエ変換の絶対値をとっていることが多く、そのまま逆フーリエ変換することはできない。そのため、位相推定という処理が行われる。位相推定は、絶対値処理によって失われた位相情報を近似で求める処理である。位相推定では、近似が用いられるため、正確な復元はなされない。こちらの１対１の話者入れ替えの例で逆フーリエ変換での結果生成に使われた位相推定では、Ｇｒｉｆｆｉｎ／Ｌｉｍ Ａｌｇｏｒｉｔｈｍ（https://qiita.com/KSRG_Miyabi/items/2a3b5bdca464ec1154d7）というアルゴリズムが使われる。冒頭で説明した音声のスペクトル構造に従って、基本周波数で表現されるスペクトル微細構造（声帯の振動）と、スペクトル包絡構造によって記述可能な共振ピーク（鼻腔と声道の形状）と、による合成された波が出力される。
【０１７８】
（９）付言
ＤＮＮ-ＨＭＭボトルネック層を出力層の直前に加えて学習を行うことにより、精度を落とさずに演算量を削減することができる。ユーザのサンプルを自身で制御できる声の高さを変えて４種類獲得する。ユーザが発声できる音の高低の差分をとることにより、（上記実施形態において説明したように）基本周波数及び共振部パラメータ（フォルマント）を獲得できるという音響モデルに則した方法だけでなく、統計的信号処理の手法を融合した効果的な方法を以下説明する。
【０１７９】
（９−１）高低差をＭＦＣＣの取得過程におけるヒントパラメータとして演算量を圧縮する
この手法は、ＧＭＭ、ＤＮＮ、ＨＭＭを使用した多くの手法においてＭＦＣＣによるサンプルのスペクトル包絡を獲得する。この手法は、ＭＦＣＣについて上記（３）（iii)において上述した、ＭＦＣＣの処理の（iii）振幅スペクトルにメルフィルタバンクをかけて圧縮する、というステップにおいて、同一のユーザが高低差をつけて発話したサンプルを使い、その差からフィルタバンクの次元を減らすことができる。フィルタバンクには各行が１つのバンドパスフィルタ（三角形）にあたる行列であるフィルタバンクがある。音声認識では、図１１に示すように、２０個のバンドパスフィルタを使うことが多い（列数は、ＦＦＴのサンプル数（ｎｆｆｔ）を２０４８にしている場合、標本化定理・ナイキスト周波数までの半分をとると１０２４である）。次のステップでは、振幅スペクトルに対してメルフィルタバンクの各フィルタをかけ、フィルタ後の振幅を足し合わせて対数をとる。これにより、振幅スペクトルがメルフィルタバンクのチャネル数と同じ次元に圧縮される。この例では、チャネル数２０であるので２０次元のデータが生成される。元の対数振幅スペクトル及びメルフィルタバンクにより２０次元データをプロットしてみると、図１１のようになる。
【０１８０】
＜コード例＞
# 振幅スペクトルに対してフィルタバンクの各フィルタをかけ、振幅の和の対数をとる
mspec = []
for c in np.arange(0, numChannels):
mspec.append(np.log10(sum(spec * filterbank[c])))
mspec = np.array(mspec)
【０１８１】
実際には、forループで書かなくとも下のように行列のかけ算を使うことにより、コードがより簡潔に書かれる。これは、フィルタをかけて振幅を足し合わせるということが内積で表現され得るからである。
【０１８２】
# 振幅スペクトルにメルフィルタバンクを適用
mspec = np.log10(np.dot(spec, filterbank.T))
【０１８３】
どちらの方法でも同一の結果が得られる。また、先述の通り後工程ではＤＣＴをかけるため、ここで次元を減らすことは（特徴が失われていないならば）問題がないということになる。
【０１８４】
（９−２）高低を含めたサンプリングを入力とした特徴量取得
ＭＦＣＣを取得する際に、サンプリングの「高音、低音、普通」の３つを使って取得し、ＧＭＭやＤＮＮにその特徴量を含めた状態で全ユーザの特徴量取得と分類を行う。取得できるＭＦＣＣとしては「ユーザの発話できる高音から低音を混ぜた特徴量取得」がなされていることになり、発話の構造としては「声帯の振動コントロール域」であることが推測できる。このコントロール域は、一般人についてはその幅が狭く、トレーニングされた歌手などについてはその幅が広いことが予想できる。これは、音の高低として発話中での感情表現として自由にユーザが制御できるため「ユーザの特徴」を表すことができる。これにより「似たユーザ」をクラスタリングしたり、「使いこなせるボイスチェンジャ」を制限したり、ユーザへの提案に利用できる。
【０１８５】
（９−３）希望するキャラクター表現を含めた特徴量取得
本手法では、ユーザのサンプルを自身で制御できる声の高さを変えて４種類獲得する。上記(９−２）で提案した「ユーザが発声できる音の高低の差」とは別に、４つ目に「なりたい声」をサンプルとして取得している。これと上記（９−２）で獲得した特徴量空間（周波数スペクトル）との差分をとることにより、ＤＮＮモデルにおけるＰｒ（Ｗ）を除外した「ユーザが人為的に変形可能な共振部パラメータ」が獲得できる。発話の構造としては、この要素は、「鼻腔及び声道の形状、口放射」に関する。特徴量空間で差分をとることによりＰｒ（Ｗ）が除外されるので、基本周波数の変化域、つまり、上記（９−２）と同様に、「声帯の振動コントロール域の一種」であることが推測できる。経験的には、これは、裏声に類似し得る。裏声では倍音がほとんど鳴らないという特徴があることから、（倍音を犠牲にして）スペクトル包絡、フォルマントを人為的に変化させてキャラクター表現を試みているという表現が可能である。この特徴量を使い、似た変形を行えるユーザをクラスタリングしたり、ボイスチェンジ後の変換先や適した変換モデルを提案するといった使い方が考えられる。また、４つのサンプリングからスペクトル包絡の差を比較して、「入力音声として普通声ではなく裏声を使ってください」といった提案ができるようになる。これは、ハードウェアボイスチェンジャで実装することは難しく、ＳＮＳ等で個人のプロファイルを集合的に保有する合理的な理由をユーザに示すことができるという利点もある。
【０１８６】
５−４．その他（１）
上述した様々な実施形態では、複数の特徴量として、基本周波数、第１フォルマント及び第２フォルマントを用いる場合について説明した。しかし、本明細書において開示された技術的思想は、本明細書において記載された目的の少なくとも一部を解決することができる限りにおいて、複数の特徴量として、他の任意の特徴量を用いる場合にも適用可能である。
【０１８７】
例えば、本明細書において開示された技術的思想は、複数の特徴量として、基本周波数、スペクトル包絡及び非周期性指標を用いる場合にも適用可能である。ここで、スペクトル包絡は、スペクトルを滑らかにした音色を表す。また、非周期性指標と、声帯の振動のゆらぎ及び雑音混入による影響を表す。このような例は、上記様々な実施形態において「第１フォルマント」及び「第２フォルマント」に代えて「スペクトル包絡」及び「非周期性指標」を用いたものとして理解され得る。なお、音声信号から、基本周波数、スペクトル包絡及び非周期性指標を抽出し、このように抽出した特徴量を変換して、加工された音声信号を合成することは、周知技術である。このことは、例えば、「音声分析合成システムＷＯＲＬＤにより実時間音声合成を実現するための拡張と実装例、森勢 将雅、情報処理学会研究報告、２０１６年８月１日」（http://www.kki.yamanashi.ac.jp/~mmorise/publication/paper/IPSJ-MUS16112020.pdf）に記載されている。なお、本文献は引用によりその全体が本明細書に組み入れられる。
【０１８８】
上述した様々な実施形態では、一例として、ユーザにより区別して発せられた５つの母音の各々について、複数の特徴量（例えば、「第１フォルマント」、「第２フォルマント」、「スペクトル包絡」及び「非周期性指標」等）を抽出等する場合について説明した。しかし、これに加えて、ユーザにより区別して発せられた少なくとも１つの子音の各々について、複数の特徴量を抽出等してもよい。子音は、日本語における子音であってもよいし、日本語以外の言語における子音であってもよい。
【０１８９】
上述した様々な実施形態は、矛盾が生じない限りにおいて、相互に組み合わせて用いられ得る。例えば、以下の３つの実施形態のうちの少なくとも２つの実施形態を相互に組み合わせて用いることも可能である。
（１）図７等を参照して説明した手法により変換器を取得する実施形態、
（２）図８等を参照して説明した手法により１又はそれ以上の第１の候補変換器の中からいずれかの変換器を取得する実施形態
（３）図８等を参照して説明した手法により１又はそれ以上の第２の候補変換器の中からいずれかの変換器を取得する実施形態
【０１９０】
上述した様々な実施形態では、一例として、端末装置２０がユーザの発話に関する音声信号を用いて、特徴量の抽出、特徴量の変換及び出力音声信号の生成等を実行する場合について説明した。しかし、このような動作は、端末装置２０と同様の構成を有するサーバ装置３０及びスタジオユニット４０によっても実行され得る。
【０１９１】
また、上述した様々な実施形態は、単なる具体例に過ぎず、例えば、以下のような様々な形態として実施され得る。
【０１９２】
（１）第１の形態
第１の形態では、図４を参照して例示したように、端末装置２０のみが、上述したＳＴ４０２〜ＳＴ４１０を実行することができる。これにより、端末装置２０は、ＳＴ４０８で入力された音声信号（第５の音声信号）に対して、取得した変換器を用いた音声変換を実行することができる。
【０１９３】
（２）第２の形態
第２の形態では、端末装置２０は、ＳＴ４０８で入力された音声信号（第５の音声信号）を、例えばストリーミング方式によりサーバ装置３０に送信することができる。さらに、サーバ装置３０が、このように受信した第５の音声信号に対して、変換器を用いた音声変換を実行することができる。この場合、サーバ装置３０は、上述したＳＴ４０２〜ＳＴ４０６を実行した端末装置２０からこの端末装置２０により取得された変換器に関する情報を取得することができる。さらに、サーバ装置３０は、このように取得した変換器を用いて、第５の音声信号に対する音声変換を実行することができる。別の例では、サーバ装置３０は、このサーバ装置３０が保有する複数の変換器の中から当該ユーザに対して（当該ユーザにより又はサーバ装置３０により）選択された変換器を用いて、第５の音声信号に対する音声変換を実行してもよい。いずれの場合であっても、サーバ装置３０により実行される音声変換は、例えばＳＴ４１０に関連して上述した手法を用いることが可能である。
【０１９４】
（３）第３の形態
第３の形態では、端末装置２０とサーバ装置３０とが協働して音声変換に必要な処理を実行することができる。具体的には、上述したＳＴ４０２〜ＳＴ４１０における処理のうち、一部を端末装置２０が実行し、残りの部分をサーバ装置３０が実行することができる。例えば、端末装置２０が、ＳＴ４０２において第１の音声信号〜第４の音声信号を取得する処理、及び、ＳＴ４０８において第５の音声信号を取得する処理を実行することができる。さらに、端末装置２０は、このように取得した第１の音声信号〜第４の音声信号及び第５の音声信号をサーバ装置３０に送信することができる。また、サーバ装置３０が、上述したＳＴ４０４、ＳＴ４０６及びＳＴ４１０における処理を実行することができる。
【０１９５】
これは単なる一例であり、端末装置２０が、ＳＴ４０２及びＳＴ４０４における処理を実行して、ＳＴ４０４において抽出した特徴量に関する情報等及びＳＴ４０８において取得した第５の音声信号をサーバ装置３０に送信することができる。さらに、サーバ装置３０が、ＳＴ４０６及びＳＴ４１０における処理を実行してもよい。
或いはまた、端末装置２０が、ＳＴ４０２〜ＳＴ４０８における処理を実行し、さらに、ＳＴ４１０における音声変換処理の一部を実行することができる。さらに、サーバ装置３０が、ＳＴ４１０における音声変換処理の残りの部分を実行することも可能である。すなわち、端末装置２０及びサーバ装置３０が、それぞれ、ＳＴ４１０における音声変換処理の前段及び後段（品質向上）を分担して実行することも可能である。
【０１９６】
（４）第４の形態
第４の形態では、端末装置２０とサーバ装置３０とが、相互に異なる品質で変換された音声信号を出力するように、冗長方式により音声変換処理を実行することができる。例えば、端末装置２０は、ＳＴ４０２〜ＳＴ４１０における処理を実行して、リアルタイム性を維持すべく比較的に低い品質の変換された音声信号（又は、これとは反対に、比較的に音質の良好な音声信号）を出力することができる。一方、サーバ装置３０は、これと並行して、端末装置２０から受信した音声信号（第５の音声信号）に対して変換器を用いた変換処理を実行して、比較的に音質の良好な音声信号（又は、これとは反対に、リアルタイム性を維持すべく比較的に低い品質の変換された音声信号）を出力することができる。サーバ装置３０による変換器の取得方法は、上述した第２の形態又は第３の形態におけるものと同様とすることができる。変換される音声信号の品質は、例えば、周知の様々な要素に基づいて変化させられ得る。ここで、周知の様々な要素には、音声変換処理の際に割り当てられるメモリの量、及び、サンプリング周波数等が含まれ得る。なお、端末装置２０がリアルタイム性及び音声品質のいずれを重視した音声変換処理を実行するか（及び／又は、サーバ装置３０が音声品質及びリアルタイム性のいずれを重視した音声変換処理を実行するか）については、端末装置２０のユーザが（例えば任意のタイミングで）選択することができる。
【０１９７】
５−５．その他（２）
上述した様々な実施形態に関連して説明した様々な手法により生成された複数の変換器は、記憶装置に記憶され得る。この記憶装置は、サーバ装置３０、端末装置２０及び／又はスタジオユニット４０等であってもよい。このように記憶装置により記憶された複数の変換器は、端末装置２０、スタジオユニット４０及び／又はサーバ装置３０を利用する各ユーザによって利用可能である。
【０１９８】
このように記憶装置により記憶され各ユーザに対して提供される各変換器の品質を、一般的には、各ユーザが評価することが容易ではないことがあり得る。一実施形態では、上記記憶装置により記憶される少なくとも一部の変換器の各々の評価は、例えば以下の（１）〜（６）のうちの少なくとも１つの係数を掛けることにより定められ得る。
（１）いずれかのユーザ、複数のユーザ又はすべてのユーザにより購入された回数に比例する係数
（２）いずれかのユーザ、複数のユーザ又はすべてのユーザによりウェブサイト及び／又はＳＮＳにおいてレビューが作成された回数に比例する係数
（３）いずれかのユーザ、複数のユーザ又はすべてのユーザによりウェブサイト及び／又はＳＮＳにおいてシェアされた回数に比例する係数
（４）いずれかのユーザ、複数のユーザ又はすべてのユーザによりウェブサイト及び／又はＳＮＳにおいて参照された回数に比例する係数
（５）いずれかのユーザ、複数のユーザ又はすべてのユーザによりウェブサイト及び／又はＳＮＳにおいて利用された回数に比例する係数
（６）いずれかのユーザ、複数のユーザ又はすべてのユーザにより、ウェブサイト及び／又はＳＮＳにおいて、当該変換器（さらには当該変換器により変換される前の音声信号及び当該変換器により変換されることにより得られた音声信号）を取得するためのウェブサイト及び／又はＳＮＳにジャンプするためのリンク及びタグが生成された回数に比例する係数
【０１９９】
なお、このような変換器に対する評価は、以下の複数の要素のうちの少なくとも１つの要素に対する評価に相当し得る。
・その変換器に含まれる第１パラメータ〜第３パラメータを含む様々なパラメータのうちの少なくとも１つのパラメータ
・その変換器に用いられるアルゴリズム
・その変換器により変換の対象とされた声（すなわち変換前の音声信号）、及び、その変換器により変換されることにより得られた声（すなわち変換後の音声信号）
【０２００】
また、このような係数に基づいて高い評価が与えられた変換器は、これより低い評価が与えられた変換器よりも優先して、複数のユーザに推奨され得る。例えば、図９を参照して説明した変換器５５０〜変換器５５４、及び／又は、変換器５６０〜変換器５６４は、上記のような係数に基づいて高い評価を与えられた結果、他の複数の変換器よりも優先して、ユーザに提示されている。また、図１２を参照して説明した変換器８００Ａ〜変換器８００Ｅもまた、上記のような係数に基づいて高い評価を与えられた結果、他の複数の変換器よりも優先して、ユーザに提示されている。
【０２０１】
なお、このような係数に基づいて高い評価が与えられた変換器に関するデータは、新たな変換器を機械学習により生成する場合における学習データとして優先的に使用されるようにしてもよい。例えば、上記係数に基づいて高い評価が与えられた変換器に関する、変換前の音声信号と、生成された第１パラメータ〜第３パラメータを含む様々なパラメータのうちの少なくとも１つのパラメータと、を含むデータは、例えば教師データとして優先的に用いられ得る。これにより、新たな変換器を生成するための学習モデルが構築され得る。
【０２０２】
上記記憶装置は、記憶する少なくとも一部の変換器の各々に対応付けて、上記（１）〜（６）のうちの少なくとも１つの係数を記憶及び更新することができる。なお、ある変換器について、上記（１）〜（６）に列挙された行為がなかった場合には、上記記憶装置は、このような事実をネガティブな情報として、その変換器に対応付けて記憶及び更新することもできる。
【０２０３】
また、上記記憶装置は、端末装置２０、スタジオユニット４０及び／又はサーバ装置３０を利用する各ユーザからある変換器に対する要求を受けたときに、その変換器と、その変換器に対応付けて記憶された各係数と、をそのユーザに送信することができる。これにより、そのユーザは、そのユーザが利用する端末装置２０等を介して、受信した係数が反映された値をその変換器の評価として認識することができる。
【０２０４】
また、上記記憶装置により記憶された複数の変換器は、上記のとおり、端末装置２０、スタジオユニット４０及び／又はサーバ装置３０を利用する各ユーザによって利用可能である。各ユーザにより利用され得る各変換器の価値は、例えば、以下の（Ａ）〜（Ｄ）の要素のうちの少なくとも１つの要素により定められ得る。
（Ａ）その変換器の価格
（Ｂ）その変換器の利用可能回数
（Ｃ）その変換器の利用可能時間
（Ｄ）その変換器を同時に利用可能な人数
【０２０５】
（Ａ）については、ある変換器の価格が高い（又は安い）ことは、その変換器の価値が高い（又は低い）ことを意味し得る。（Ｂ）については、ある変換器の利用可能回数とは、その変換器を利用可能な回数の上限を意味し得る。ある変換器の利用可能回数が少ない（又は多い）ことは、その変換器の価値が高い（又は低い）ことを意味し得る。（Ｃ）については、ある変換器の利用可能時間とは、その変換器を利用可能な時間の上限を意味し得る。ある変換器の利用可能時間が短い（又は長い）ことは、その変換器の価値が高い（又は低い）ことを意味し得る。（Ｄ）については、ある変換器を同時に利用可能な人数とは、その変換器を同時に利用することができる人数の上限を意味し得る。ある変換器を同時に利用可能な人数が少ない（又は多い）ことは、その変換器の価値が高い（又は低い）ことを意味し得る。
【０２０６】
図１２は、図１に示した通信システム１において用いられる端末装置２０等を利用するユーザに対して各変換器の価値がどのように提示されるのかを例示する模式図である。図１２には、ユーザに推奨すべき少なくとも１つの変換器として、５つの変換器８００Ａ〜８００Ｅが表示部２２０に表示される例が示されている。変換器８００Ａ〜８００Ｅの各々は、その変換器に関連する情報（例えば、キャラクターに対応する画像又は写真、キャラクターに対応する名称、プリセット番号等）とともに表示され得る。
【０２０７】
さらに、変換器８００Ａ〜８００Ｅの各々は、その変換器の価値を示す少なくとも１つの情報とともに表示され得る。図１２には、変換器の価値を示す少なくとも１つの情報として、その変換器の価格、利用可能回数、利用可能時間及び同時に利用可能な人数が表示される例が示されている。別の実施形態では、これらの情報のうちの少なくとも１つの情報が表示されるようにしてもよい。
【０２０８】
例えば、価格に着目すると、変換器８００Ａの価値（４００円）は、変換器８００Ｂ（２００円）の２倍高いといえる。次に、利用可能回数に着目すると、変換器８００Ａの価値（１０回）は、変換器８００Ｂ（２０回）の２倍高いといえる。さらに、利用可能時間に着目すると、変換器８００Ａの価値（１０分）は、変換器８００Ｂ（２０分）の２倍高いといえる。また、同時に利用可能な人数に着目すると、変換器８００Ａの価値（１人）は、変換器８００Ｂ（２人）の２倍高いといえる。
【０２０９】
また、一実施形態では、各ユーザにより利用され得る各変換器の価値は、例えば上述した（１）〜（６）で示される係数の少なくとも１つを掛けることにより、変化（更新）し得る。
【０２１０】
各ユーザは、このように提示された各変換器の価値を参照して、いずれの変換器を購入するかを決定することができる。
【０２１１】
６．様々な実施形態による効果
上述した幾つかの実施形態によれば、ユーザは、端末装置２０等により指示されたとおりに発話することにより、端末装置２０等が、そのような発話に関する音声信号から抽出した複数の特徴量に基づいて、ユーザに用いられるべき適切な変換器を取得（生成又は選択）することができる。これにより、ユーザは、音響理論を理解していなくとも、所望の声又は所望の声に近似した声を得ることができる。
【０２１２】
また、上述した幾つかの実施形態によれば、端末装置２０等が、ユーザの発話に関する音声信号から抽出した複数の特徴量に基づいて、ユーザの声に適した変換器を取得（生成又は選択）することができる。これにより、必ずしも目標とすべき声を明確に定めていないユーザであっても、自分の声を様々に変化させる変換器の提示を受けることができる。
【０２１３】
さらに、上述した幾つかの実施形態によれば、ユーザは、端末装置２０等により生成された音声信号を、実時間処理又は非実時間処理に従って、容易に通信ネットワーク（例えばサーバ装置３０及び他の端末装置２０等）に提供することができる。
【０２１４】
さらにまた、上述した幾つかの実施形態によれば、ユーザは、マイクが内蔵された端末装置２０（例えば、スマートフォン、タブレット、デスクトップ型又はノート型のパーソナルコンピュータ、携帯電話等）を用いることができる。これにより、ユーザは、自身とマイクとの間の距離、使用されるマイクの種類及び雑音による影響等を何ら考慮することなく、自身の声が加工された音声信号を得ることができる。このことは、ユーザが、スタジオや他の場所に設置されたサーバ装置３０又はスタジオユニット４０を用いる場合であっても、予め適切なマイクが専門家又は技術者によって適切な場所に設置されている限りにおいて、同様に妥当する。
【０２１５】
さらにまた、上述した幾つかの実施形態によれば、ユーザは、端末装置２０等により生成された音声信号を容易に通信ネットワーク（サーバ装置３０及び他の端末装置２０等）に提供することができる。これにより、生成された音声信号について他のユーザ等から客観的なフィードバックを受けて評価をすることが可能である。
【０２１６】
７．本件出願に開示された技術が適用される分野
本件出願に開示された技術は、例えば、次のような分野において適用され得る。
（１）音声及び／又は動画を通信網及び／又は放送網を介して配信するアプリケーション・サービス
（２）音声を用いてコミュニケーションすることができるアプリケーション・サービス（チャットアプリケーション、メッセンジャー、メールアプリケーション等）
（３）ユーザの音声を送信することが可能なゲーム・サービス（シューティングゲーム、恋愛ゲーム及びロールプレイングゲーム等）
【０２１７】
本出願は、以下の２つの日本国特許出願に基づき、これらの日本国特許出願による優先権の利益を享受する。これらの日本国特許出願の全体の内容が引用により本明細書に組み入れられる。
（１）「コンピュータプログラム、サーバ装置、端末装置及び音声信号処理方法」と題して２０１９年１月１０日に提出された日本国特許出願第２０１９−００２９２３
（２）「コンピュータプログラム、サーバ装置、端末装置及び音声信号処理方法」と題して２０１９年２月１４日に提出された日本国特許出願第２０１９−０２４３５４
【符号の説明】
【０２１８】
１  通信システム
１０  通信網
２０（２０Ａ〜２０Ｃ）  端末装置
３０（３０Ａ〜３０Ｃ）  サーバ装置
４０（４０Ａ、４０Ｂ）  スタジオユニット
２１０、３１０  音声入力部
２１２、３１２  特徴量抽出部
２１４、３１４  変換器取得部
２１６、３１６  記憶部
２１８、３１８  通信部
２２０、３２０  表示部
２２２、３２２  特徴量変換部
２２４、３２４  音声合成部
【図１】
2020145353.tif 000004
【図２】
2020145353.tif 000005
【図３】
2020145353.tif 000006
【図４】
2020145353.tif 000007
【図５】
2020145353.tif 000008
【図６】
2020145353.tif 000009
【図７】
2020145353.tif 000010
【図８】
2020145353.tif 000011
【図９】
2020145353.tif 000012
【図１０】
2020145353.tif 000013
【図１１】
2020145353.tif 000014
【図１２】
2020145353.tif 000015
【国際調査報告】
2020145353.tif 000016
2020145353.tif 000017
2020145353.tif 000018
2020145353.tif 000019