(57)【要約】【課題】符号化処理におけるデータの品質の低下を防ぐことによって、通話品質が損なわれないように話者の音声と第３の音とを合成することが可能な通話装置、通話システムおよび通話方法を提供する。【解決手段】端末１００は、通話音声Ｖ１を入力する第１音声入力部１１０と、ユーザ情報に基づいて、第１音声入力部１１０によって入力された通話音声Ｖ１と、通話音声Ｖ１とは異なる第３音声Ｖ３との合成データＢ１３を生成する合成手段（第１音声合成部１２１，合成指示部１２３）と、通話音声Ｖ１と、第３音声Ｖ３と、合成手段によって生成された合成データＢ１３と、のうち少なくとも一つの特徴に応じて通話音声Ｖ１および合成データＢ１３を符号化する第１音声符号化部１２２と、第１音声符号化部１２２によって符号化された符号化系列Ｃ１３を出力する第１音声送信部１３０と、を備える。【選択図】図２
2016146526.tif 000002
【特許請求の範囲】
【請求項１】
話者の音声を入力する入力手段と、
ユーザ情報に基づいて、前記入力手段によって入力された話者の音声と、前記話者の音声とは異なる第３の音との合成データを生成する合成手段と、
前記話者の音声データと、前記第３の音のデータと、前記合成手段によって生成された合成データと、のうち少なくとも一つの特徴に応じて前記話者の音声データおよび前記合成データを符号化する符号化手段と、
前記符号化手段によって符号化されたデータを出力する出力手段と、
を備える、通話装置。
【請求項２】
前記ユーザ情報は、前記話者のプロフィール、行動履歴および資格情報の少なくとも一つを含み、
前記合成手段は、前記ユーザ情報に応じて前記合成データを生成するか否かを判断し、合成データを生成する場合には、前記ユーザ情報に応じて前記第３の音を選択する、請求項１に記載の通話装置。
【請求項３】
前記符号化手段は、前記特徴に応じて、符号化するための複数の符号化モードのうち、実行すべき符号化モードを設定し、設定された符号化モードに基づき、前記話者の音声および前記合成データを符号化する、請求項１または２に記載の通話装置。
【請求項４】
前記複数の符号化モードは、それぞれ異なる符号化アルゴリズムを用いた符号化に対応し、
前記符号化手段は、前記第３の音に応じて前記符号化モードを設定する、
請求項３に記載の通話装置。
【請求項５】
前記複数の符号化モードは、間欠送信を行うモードと連続送信を行うモードとに対応し、
前記符号化手段は、前記第３の音が合成された場合には連続送信を行うモードを設定する、
請求項３に記載の通話装置。
【請求項６】
前記出力手段は、前記符号化手段によって前記合成データが符号化された場合には連続送信を行う、請求項１〜５のいずれか１項に記載の通話装置。
【請求項７】
サーバにアクセスすることによって前記第３の音を取得する取得手段をさらに備える、請求項１〜６のいずれか１項に記載の通話装置。
【請求項８】
第１の通話装置と、
前記第１の通話装置と音声通話を行う第２の通話装置と、
前記第１の通話装置および前記第２の通話装置と通信可能に構成されたサーバと、
を備え、
前記サーバは、
前記第１の通話装置から送信される話者の音声およびユーザ情報に基づいて、前記話者の音声とは異なる第３の音と前記話者の音声との合成データを生成する合成手段と、
前記話者の音声データと、前記第３の音のデータと、前記合成手段によって生成された合成データと、のうち少なくとも一つの特徴に応じて前記話者の音声データおよび前記合成データを符号化する符号化手段と、
前記符号化手段によって符号化されたデータを前記第２の通話装置に出力する出力手段と、
を有する、
通話システム。
【請求項９】
通話装置によって実行される通話方法であって、
話者の音声を入力するステップと、
ユーザ情報に基づいて、前記入力するステップにおいて入力された話者の音声と、前記話者の音声とは異なる第３の音との合成データを生成するステップと、
前記話者の音声データと、前記第３の音のデータと、前記生成するステップにおいて生成された合成データと、のうち少なくとも一つの特徴に応じて前記話者の音声データおよび前記合成データを符号化するステップと、
前記符号化するステップにおいて符号化されたデータを出力するステップと、
を備える、通話方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、通話装置、通話システムおよび通話方法に関する。
【背景技術】
【０００２】
従来より、携帯電話機などを用いた音声通話に、話者の音声（通話音声）とは別の第３の音を提供する技術が提案されている。たとえば下記特許文献１は、音声データ（通話音声）と効果音データ（第３の音）との合成音声データに対してコーデック処理（符号化など）を行う携帯電話機を開示する。符号化された合成音声データは、変調された後、アンテナから出力される。
【０００３】
また、たとえば下記特許文献２は、通話音声からキーワードを抽出し、抽出される複数のキーワードに基づいて、キーワードの登場回数および組み合わせに応じた効果音（第３の音）を通話音声に合成する通信端末を開示する。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００２−５１１１６号公報
【特許文献２】特開２００８―２６３３７８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
特許文献１の携帯電話機のように、通話音声と第３の音とを合成し、単に符号化して出力するだけでは、符号化処理によってデータの品質が低下し、通話品質が損なわれるおそれがある。また、特許文献２の通信端末のように、キーワードに基づいて第３の音を通話音声に合成した場合には、その話者の嗜好などに応じた適切な音が第３の音として通話音声に合成されるとは限らない。
【０００６】
本発明は、上記問題点に鑑みてなされたものであり、符号化処理におけるデータの品質の低下を防ぐことによって、通話品質が損なわれないように話者の音声と第３の音とを合成することが可能な通話装置、通話システムおよび通話方法を提供することを目的とする。また、本発明は、話者に応じた適切な音を第３の音として、話者の音声と第３の音とを合成することが可能な通話装置、通話システムおよび通話方法を提供することを目的とする。
【課題を解決するための手段】
【０００７】
本発明の一態様に係る通話装置は、話者の音声を入力する入力手段と、ユーザ情報に基づいて、入力手段によって入力された話者の音声と、話者の音声とは異なる第３の音との合成データを生成する合成手段と、話者の音声データと、第３の音のデータと、合成手段によって生成された合成データと、のうち少なくとも一つの特徴に応じて話者の音声データおよび合成データを符号化する符号化手段と、符号化手段によって符号化されたデータを出力する出力手段と、を備える。
【０００８】
本発明の一態様に係る通話方法は、通話装置によって実行される通話方法であって、話者の音声を入力するステップと、ユーザ情報に基づいて、入力するステップにおいて入力された話者の音声と、話者の音声とは異なる第３の音との合成データを生成するステップと、話者の音声データと、第３の音のデータと、生成するステップにおいて生成された合成データと、のうち少なくとも一つの特徴に応じて話者の音声データおよび合成データを符号化するステップと、符号化するステップにおいて符号化されたデータを出力するステップと、を備える。
【０００９】
上記の通話装置または通話方法によれば、話者の音声データおよび合成データは、話者の音声データと、第３の音のデータと、合成データと、のうち少なくとも一つの特徴に応じて符号化される。たとえば、符号化に適したデータとなるように話者の音声データおよび合成データの信号の大きさやサンプリングレートなどを調整することによって、符号化処理における話者の音声データおよび合成データの品質の劣化を抑制することができる。また、ユーザ情報に基づいて、入力手段によって入力された話者の音声と、話者の音声とは異なる第３の音との合成データが生成される。そのため、ユーザ情報に基づいた（つまり話者に応じた）適切な音を第３の音とし、話者の音声と第３の音とを合成することができる。
【００１０】
また、ユーザ情報は、話者のプロフィール、行動履歴および資格情報の少なくとも一つを含み、合成手段は、ユーザ情報に応じて合成データを生成するか否かを判断し、合成データを生成する場合には、ユーザ情報に応じて第３の音を選択してもよい。これにより、話者の嗜好や資格に応じた、適切な音（たとえばＢＧＭや効果音など）を第３の音として選択し、合成データを生成することができる。
【００１１】
また、符号化手段は、特徴に応じて、符号化するための複数の符号化モードのうち、実行すべき符号化モードを設定し、設定された符号化モードに基づき、話者の音声および合成データを符号化してもよい。このように複数の符号化モードを使い分けて、適切な符号化モードを用いて合成データを符号化することによっても、符号化処理における話者の音声データおよび合成データの品質の劣化を抑制することができる。
【００１２】
また、複数の符号化モードは、それぞれ異なる符号化アルゴリズムを用いた符号化に対応し、符号化手段は、第３の音に応じて符号化モードを設定してもよい。これにより、第３の音に応じた適切な符号化アルゴリズムを用いることができる。
【００１３】
また、複数の符号化モードは、間欠送信を行うモードと連続送信を行うモードとに対応し、符号化手段は、第３の音が合成された場合には連続送信を行うモードを設定してもよい。これにより、無音または背景雑音の区間と誤判定されて間欠送信が行われることによる音質劣化を回避し、通話品質を向上させることができる。
【００１４】
また、出力手段は、符号化手段によって合成データが符号化された場合には連続送信を行ってもよい。このように符号化された合成データを連続送信することによって、無音または背景雑音の区間の少ない合成データに対して間欠送信が行われることによる音質劣化を回避し、通話品質を向上させることができる。
【００１５】
また、通話装置は、サーバにアクセスすることによって第３の音を取得する取得手段をさらに備えてもよい。第３の音をサーバが保持することによって、たとえば、通話装置が第３の音を保持しておく場合よりも、より多くの音を第３の音として選択することができる。
【００１６】
本発明の一態様に係る通話システムは、第１の通話装置と、第１の通話装置と音声通話を行う第２の通話装置と、第１の通話装置および第２の通話装置と通信可能に構成されたサーバと、を備え、サーバは、第１の通話装置から送信される話者の音声およびユーザ情報に基づいて、話者の音声とは異なる第３の音と話者の音声との合成データを生成する合成手段と、話者の音声データと、第３の音のデータと、合成手段によって生成された合成データと、のうち少なくとも一つの特徴に応じて話者の音声データおよび合成データを符号化する符号化手段と、符号化手段によって符号化されたデータを第２の通話装置に出力する出力手段と、を有する。
【００１７】
上記の通話システムによれば、上述した通話装置および通話方法と同様に、たとえば、符号化に適したデータとなるように話者の音声データおよび合成データの信号の大きさやサンプリングレートなどを調整することによって、符号化処理による話者の音声データおよび合成データの品質の劣化を抑制することができる。また、ユーザ情報に応じた適切な合成データを生成することができる。さらに、上記の通話システムでは、第３の音をサーバが合成することにより、たとえば、通話装置が第３の音を合成する場合よりも、通話装置の演算負荷を抑制して使用時間を延ばすことができる。
【発明の効果】
【００１８】
本発明によれば、符号化処理におけるデータの品質の低下を防ぐことによって、通話品質が損なわれないように話者の音声（通話音声）と第３の音とを合成することが可能になる。また、本発明によれば、話者に応じた適切な音を第３の音として、通話音声と第３の音とを合成することが可能になる。
【図面の簡単な説明】
【００１９】
【図１】各実施形態に共通する通話システムの概略構成を示す図である。
【図２】第１実施形態に係る通話システムの機能ブロックを示す図である。
【図３】第１音声符号化部の詳細構成を示す図である。
【図４】端末のハードウェア構成図である。
【図５】通話システムにおいて実行される処理の一例を示すフローチャートである。
【図６】第１変形例に係る音声合成部の機能ブロックを示す図である。
【図７】図６に示す音声合成部によって実行される処理の一例を示すフローチャートである。
【図８】第２変形例に係る音声合成部の機能ブロックを示す図である。
【図９】図８に示す音声合成部によって実行される処理の一例を示すフローチャートである。
【図１０】第３変形例に係る音声合成部の機能ブロックを示す図である。
【図１１】図１０に示す音声合成部によって実行される処理の一例を示すフローチャートである。
【図１２】第４変形例に係る音声合成部の機能ブロックを示す図である。
【図１３】図１２に示す音声合成部によって実行される処理の一例を示すフローチャートである。
【図１４】第５変形例に係る音声合成部の機能ブロックを示す図である。
【図１５】図１４に示す音声合成部によって実行される処理の一例を示すフローチャートである。
【図１６】合成指示部の構成の一例を示す図である。
【図１７】図１６に示す合成指示部によって実行される処理の一例を示すフローチャートである。
【図１８】合成指示部の構成の一例を示す図である。
【図１９】図１８に示す合成部指示部によって実行される処理の一例を示すフローチャートである。
【図２０】合成指示部の構成の一例を示す図である。
【図２１】図２０に示す合成指示部によって実行される処理の一例を示すフローチャートである。
【図２２】合成指示部の構成の一例を示す図である。
【図２３】図２２に示す合成指示部によって実行される処理の一例を示すフローチャートである。
【図２４】合成指示部の構成の一例を示す図である。
【図２５】図２４に示す合成指示部によって実行される処理の一例を示すフローチャートである。
【図２６】変形例に係る第１音声合成部の機能ブロックを示す図である。
【図２７】図２６に示す第１音声合成部によって実行される処理の一例を示すフローチャートである。
【図２８】変形例に係る第２音声合成部の機能ブロックを示す図である。
【図２９】図２８に示す第２音声合成部によって実行される処理の一例を示すフローチャートである。
【図３０】変形例に係る第１および第２音声合成部の機能ブロックを示す図である。
【図３１】第２実施形態に係る通話システムの機能ブロックを示す図である。
【図３２】通話システムにおいて実行される処理の一例を示すフローチャートである。
【図３３】変形例に係る合成指示受信部の機能ブロックを示す図である。
【図３４】図３３に示す合成指示受信部によって実行される処理の一例を示すフローチャートである。
【図３５】第３実施形態に係る通話システムの機能ブロックを示す図である。
【図３６】通話システムにおいて実行される処理の一例を示すフローチャートである。
【図３７】第３実施形態に係る通話システムにおける、第１変形例に係る音声合成部の機能ブロックを示す図である。
【図３８】図３７に示す音声合成部によって実行される処理の一例を示すフローチャートである。
【図３９】第３実施形態に係る通話システムにおける、第２変形例に係る音声合成部の機能ブロックを示す図である。
【図４０】図３９に示す音声合成部によって実行される処理の一例を示すフローチャートである。
【図４１】第４実施形態に係る通話システムの機能ブロックを示す図である。
【図４２】通話システムにおいて実行される処理の一例を示すフローチャートである。
【図４３】変形例に係る音声合成部の機能ブロックを示す図である。
【図４４】図４３に示す音声合成部によって実行される処理の一例を示すフローチャートである。
【発明を実施するための形態】
【００２０】
以下、本発明の実施形態について、図面を参照しながら説明する。なお、図面の説明において同一要素には同一符号を付し、重複する説明は省略する。
【００２１】
図１は、各実施形態に共通する通話システムの概略構成を示す図である。図１に示すように、通話システム（後述の通話システム１０，１０Ａ，１０Ｂまたは１０Ｃ）において、ユーザ１とユーザ２との通話が行われる。通話システムでは、第１端末（後述の端末１００，１００Ａ，１００Ｂまたは１００Ｃ）および第２端末（後述の端末２００または２００Ｂ）が、通話装置として用いられる。ユーザ１が第１端末を利用し、ユーザ２が第２端末を利用することによって、ユーザ１とユーザ２との音声通話が実現される。
【００２２】
通話システムにおいて、たとえば端末１００および端末２００は、通信ネットワーク３を介して通信可能に構成されている。さらに、サーバ３００が、通信ネットワーク３を介して、端末１００および端末２００と通信可能に構成されていてもよい。
【００２３】
通信システムの動作概要の一例について説明する。たとえば、端末１００において一方の話者であるユーザ１の通話音声Ｖ１が入力されると、ユーザ１またはユーザ２に関する情報（ユーザ情報）に基づいて、第３音声Ｖ３が選択され、通話音声Ｖ１と第３音声Ｖ３との合成データが生成される。合成データの生成は、端末１００で行われてもよいし、サーバ３００で行われてもよい。生成された合成データは符号化された後、符号化系列として出力されて端末２００へ送信される。
【００２４】
具体的に、図１では、ユーザ情報に基づいて、第３音声Ｖ３として、音データＳ１〜Ｓ３等の複数の音データから、話者であるユーザ１またはユーザ２の嗜好や資格等に応じた適切な音データが、第３音声Ｖ３として選択される。端末２００では、受信した符号化系列を復号することによって、通話音声Ｖ１と第３音声Ｖ３との合成データを取得することができる。取得した合成データに応じた音が出力されることによって、ユーザ２は、ユーザ１の通話音声Ｖ１だけでなく、第３音声Ｖ３も聞くことができる。同時に、ユーザ１も第３音声Ｖ３を聞くことができてもよい。
【００２５】
第３音声Ｖ３の例として、たとえばセリフなどの音声が挙げられる。ただし、第３音声Ｖ３は音声に限定されるものでなく、効果音や、ＢＧＭのような音楽であってもよい。
【００２６】
さらに、通話システムでは、ユーザ１の通話音声Ｖ１と、第３音声Ｖ３と、通話音声Ｖ１および第３音声Ｖ３の合成データとのうち少なくとも一つの特徴に応じて、通話音声Ｖ１あるいは合成データが符号化されてもよい。そのため、通話システムでは、通話音声Ｖ１と第３音声Ｖ３との合成データを調整するための調整処理が実行可能である。調整処理は、たとえば、符号化に適したデータとなるように合成データの信号の大きさやサンプリングレートなどを調整する処理や、合成データを符号化するのに適切な符号化モードを設定する処理を含む。そのような調整処理の調整結果を受けた後に符号化処理が実行されることによって、通話音声Ｖ１と第３音声Ｖ３とを合成した場合でも、通話品質が損なわれないようにすることができる。
【００２７】
［第１実施形態］
図２は、第１実施形態に係る通話システム１０の機能ブロックを示す図である。通話システム１０では、第１の通話装置である端末１００（第１端末）と、第２の通話装置である端末２００（第２端末）とによって、ユーザ１とユーザ２との通話が行われる。
【００２８】
図２に示すように、端末１００は、第１音声入力部１１０と、音声合成部１２０と、第１音声送信部１３０と、第３音声保持部１４０と、第２音声受信部１５０と、第２音声出力部１６０とを含む。
【００２９】
まず、端末１００に含まれる部分のうち、第１音声入力部１１０と、音声合成部１２０の一部と、第１音声送信部１３０と、第３音声保持部１４０とについて説明する。
【００３０】
第１音声入力部１１０は、一方の話者（図１のユーザ１）の通話音声Ｖ１を入力する部分（入力手段）である。第１音声入力部１１０は、たとえばマイクロフォンを含んで構成される。
【００３１】
音声合成部１２０は、音声を合成する部分であり、第１音声合成部１２１と、第１音声符号化部１２２と、合成指示部１２３と、第２音声復号部１２６とを含む。
【００３２】
まず、音声合成部１２０に含まれる部分のうち、第１音声合成部１２１と、第１音声符号化部１２２と、合成指示部１２３とについて説明する。
【００３３】
第１音声合成部１２１は、後述の合成指示部１２３と協働することによって、ユーザ情報に基づいて、第１音声入力部１１０によって入力された通話音声Ｖ１と、通話音声Ｖ１とは異なる第３音声Ｖ３（第３の音）との合成データＢ１３を生成する部分（合成手段）である。具体的に、ユーザ情報に応じて、合成指示部１２３が合成指示信号ＣＭを発生させ、その合成指示信号ＣＭが第１音声合成部１２１に入力されることによって、第１音声合成部１２１は、ユーザ情報に基づく合成処理を行うことができる。ユーザ情報は、端末１００内に保持されている話者であるユーザ１またはユーザ２（図１）に関する情報であり、たとえば、ユーザ１またはユーザ２のプロフィール、行動履歴、資格情報等を含む。また、ユーザ情報は、ユーザ１の音声（通話音声Ｖ１）を分析することによって取得された情報（分析情報）であってもよい。
【００３４】
合成データＢ１３は、たとえば、通話音声Ｖ１の音声データ（以下、単に「通話音声Ｖ１」という）と第３音声Ｖ３の音声データ（以下、単に「第３音声Ｖ３」という）とを時間軸上で重畳することによって生成することができる。あるいは、合成データＢ１３は、通話音声Ｖ１の途中に第３音声Ｖ３を挿入することによって生成してもよい。
【００３５】
第１音声合成部１２１によって合成された合成データＢ１３は、第１音声符号化部１２２に送信される。なお、合成指示信号ＣＭが第１音声合成部１２１に入力されない場合には、第１音声合成部１２１は、合成データＢ１３を生成することなく、通話音声Ｖ１を第１音声符号化部１２２に送信する。
【００３６】
第１音声符号化部１２２は、通話音声Ｖ１と、第３音声Ｖ３と、合成データＢ１３と、のうち少なくとも一つの特徴に応じて合成データＢ１３を符号化する部分である。合成データＢ１３でなく、通話音声Ｖ１が第１音声合成部１２１から送信された場合には、第１音声符号化部１２２は、通話音声Ｖ１を符号化する。
【００３７】
ここで、図３を参照して、第１音声符号化部１２２の詳細について説明する。図３に示すように、第１音声符号化部１２２は、データ調整部１２２ａと、音声信号符号化部１２２ｂとを含む。
【００３８】
データ調整部１２２ａは、合成データＢ１３（あるいは通話音声Ｖ１）を調整するための調整処理を実行する部分（データ調整手段）である。データ調整部１２２ａは、符号化モード設定部１２２ａｘの機能を用いて調整処理を実行することもできるし、音声調整部１２２ａｙの機能を用いて調整処理を実行することもできる。
【００３９】
符号化モード設定部１２２ａｘは、合成データＢ１３（あるいは通話音声Ｖ１）を符号化するための複数の符号化モードのうち、実行すべき符号化モードを設定する部分（モード設定手段）である。
【００４０】
たとえば、複数の符号化アルゴリズムを持ったコーデックの場合、第３音声Ｖ３の特徴に応じて特定のアルゴリズムを設定するとよい。すなわち、複数の符号化モードでは、異なる符号化アルゴリズムを用いた符号化が行われ、符号化モード設定部１２２ａｘは、第３音声Ｖ３の特徴に応じて符号化モードを設定することができる。たとえば、コーデックが音声の符号化に適した符号化アルゴリズムと、音楽に適した符号化アルゴリズムとで構成されている場合、第３音声Ｖ３がセリフのような音声であれば、音声の符号化に適した符号化アルゴリズムを用いることができる。また、第３音声Ｖ３が効果音やＢＧＭのような音楽であれば、音楽に適した符号化アルゴリズムを用いることができる。その場合、第３音声Ｖ３のカテゴリ（例えば、音声であるか否か、音楽であるか否か、音声であるか音楽であるか、等）を記述したテーブルを含むデータベースを予め用意しておけば、そのデータベースを参照することによって、符号化モード設定部１２２ａｘは、第３音声Ｖ３のカテゴリという特徴に応じて適切な符号化モードを設定することができる。なお、第３音声Ｖ３と符号化アルゴリズムとの組合せを記述したデータテーブルを含むデータベースを予め用意しておいてもよく、同様に、そのデータベースを参照することによって、符号化モード設定部１２２ａｘは、第３音声Ｖ３に応じて適切な符号化モードを設定することができる。そのようなデータベースは、たとえば端末１００の記憶装置（後述の図４の補助記憶装置２７など）に記憶させておくことができる。
【００４１】
また、前述のコーデックがＥＶＳ（Enhanced  Voice  Services）コーデックの場合、前述の音声の符号化に適した符号化アルゴリズムとしてＡＣＥＬＰを用いたアルゴリズムを、音楽に適した符号化アルゴリズムとしてＭＤＣＴを用いたアルゴリズムを設定してもよい。
【００４２】
また、ＤＴＸ（間欠送信）をオフにしてデータ送信を行うモードも、符号化モードの一つとすることができる。たとえば、通話音声Ｖ１のみを符号化する場合には、無音または背景雑音と判定された区間のデータレートを下げる間欠送信であっても通話品質を維持することができる。すなわち、通話音声Ｖ１が合成音声ではないという特徴に応じて、符号化モードを間欠送信に設定する。これに対し、通話音声Ｖ１および第３音声Ｖ３を符号化してデータ送信を行う場合には、通話音声Ｖ１のみを符号化してデータ送信を行う場合よりも、無音または背景雑音の区間が含まれる可能性が小さくなる。その場合、連続送信を行い、無音または背景雑音の区間と誤判定されて間欠送信が行われることによる音質劣化を回避し、通話品質を向上させることができる。すなわち、合成データＢ１３が通話音声Ｖ１および第３音声Ｖ３を合成した合成音声であるという特徴に応じて、符号化モードを連続送信に設定する。さらに例えば、通話音声Ｖ１および第３音声Ｖ３を符号化してデータ送信を行う場合においても、第３音声Ｖ３が音声である場合には間欠送信であっても通話品質を維持することができ、第３音声Ｖ３が音楽である場合には連続送信することで無音または背景雑音の区間と誤判定されて間欠送信が行われることによる音質劣化を回避できる。すなわち、第３音声Ｖ３の特徴（例えば、音声あるか否か、音楽であるか否か、音声か音楽かという特徴）に応じて、符号化モードを間欠送信または連続送信に設定する。間欠送信または連続送信を切り替えてデータ送信を行う処理は、後述の第１音声送信部１３０との協働によって実現してもよい。
【００４３】
以上説明した符号化モードの例を組み合わせた構成についても、符号化モードの一つとすることができる。たとえば、先に説明したように第３音声Ｖ３の特徴に応じた特定のアルゴリズムを設定するとともに、上述のように間欠送信をオフにしてデータ送信を行うモードも、符号化モードの一つとすることができる。
【００４４】
音声調整部１２２ａｙは、合成データＢ１３（あるいは通話音声Ｖ１）を調整する部分である。
【００４５】
たとえば、合成データＢ１３（あるいは通話音声Ｖ１）が音声信号符号化部１２２ｂの入力信号として適切になるように、合成データＢ１３（あるいは通話音声Ｖ１）の特徴に応じて調整する。たとえば、音声信号符号化部１２２ｂの入力信号の大きさに応じて、音声信号符号化部１２２ｂの入力信号の大きさを調整する。この場合、例えば、音声信号符号化部１２２ｂの入力信号が非常に大きい場合、音声信号符号化部１２２ｂの入力信号を小さくするように調整する。また、音声信号符号化部１２２ｂの入力信号のサンプリングレートに応じて、音声信号符号化部１２２ｂの入力信号のサンプリングレートを調整してもよい。この場合、例えば、音声信号符号化部１２２ｂの入力信号のサンプリングレートが音声信号符号化部１２２ｂで対応可能なサンプリングレートでない場合に、音声信号符号化部１２２ｂで対応可能なサンプリングレートに変換する。もちろん、入力信号の大きさを調整するとともに入力信号のサンプリングレートを調整することもできる。
【００４６】
音声調整部１２２ａｙで音声信号符号化部１２２ｂの入力信号として適切になるように調整することにより、音声信号符号化部１２２ｂでの符号化処理による合成データＢ１３（あるいは通話音声Ｖ１）の品質の劣化を抑制することができる。
【００４７】
音声信号符号化部１２２ｂは、データ調整部１２２ａの調整結果を受けて、通話音声Ｖ１および合成データＢ１３を符号化する部分（符号化手段）である。たとえば、音声信号符号化部１２２ｂは、符号化モード設定部１２２ａｘにより設定された符号化モードに基づき、通話音声Ｖ１および合成データＢ１３を符号化する。あるいは、音声信号符号化部１２２ｂは、音声調整部１２２ａｙにより調整された通話音声Ｖ１および合成データＢ１３を符号化する。具体的に、音声信号符号化部１２２ｂは、合成データＢ１３を符号化し、符号化系列Ｃ１３とする。あるいは、音声信号符号化部１２２ｂは、通話音声Ｖ１を符号化し、符号化系列Ｃ１とする。以下では、主に、音声信号符号化部１２２ｂによって合成データＢ１３が符号化されるものとして説明する。
【００４８】
再び図２に戻り、合成指示部１２３は、通話音声Ｖ１を受けて、合成指示信号ＣＭを発生する部分である。合成指示部１２３は、ユーザ情報（プロフィール、行動履歴、資格情報等を含む）に基づいて、合成データＢ１３を生成するか否かを判断することができる。合成データＢ１３を生成する場合、ユーザ情報に応じて第３音声Ｖ３が選択されてもよい。合成指示部１２３の詳細については、後に図１６〜２５を参照して説明する。
【００４９】
合成指示信号ＣＭは、合成処理の実行を指示すること、後述の第３音声保持部１４０に保持されている第３音声Ｖ３のうちのどの音声を合成するかを指示すること、合成時における通話音声Ｖ１および第３音声Ｖ３の音量の割合を指示すること、合成処理の終了を指示すること等のうち、少なくとも一つを示す信号であってよい。
【００５０】
第１音声送信部１３０は、音声信号符号化部１２２ｂ（図３）によって符号化された合成データＢ１３（つまり符号化系列Ｃ１３）を出力する部分（出力手段）である。具体的に、第１音声送信部１３０は、符号化系列Ｃ１３を、後述の端末２００の第１音声受信部２１０に送信する。
【００５１】
ここで、端末２００において、第３音声Ｖ３が合成されて送られてきたことが分かるような工夫がなされてもよい。たとえば、第３音声Ｖ３を合成したことを示す情報（たとえばさらに別の音声）が合成データＢ１３にさらに合成された後に、第１音声送信部１３０から送信されてもよい。こうすることで、端末２００において、その情報に基づいて第３音声Ｖ３が合成されたことを、たとえば、ユーザ（図１のユーザ２）に提示することもできる。
【００５２】
また、第１音声送信部１３０は、間欠送信および連続送信のいずれをも実行することができる。間欠送信および連続送信は、先に説明した符号化モード設定部１２２ａｘの設定する符号化モードに応じて切り替えることができる。たとえば、第１音声送信部１３０は、音声信号符号化部１２２ｂによって通話音声Ｖ１が符号化された場合には、そのデータ（つまり符号化系列Ｃ１）の間欠送信を行う。また、音声信号符号化部１２２ｂによって合成データＢ１３が符号化された場合には、そのデータ（つまり符号化系列Ｃ１３）の連続送信を行う。間欠送信を行う場合において、音声信号符号化部１２２ｂが入力される信号に応じてデータレートを制御した（つまりデータレートを上げ下げした）データ（つまり符号化系列Ｃ１３）を生成していれば、第１音声送信部１３０は音声信号符号化部１２２ｂから入力されるデータ（つまり符号化系列Ｃ１３）をそのまま送信することで、間欠送信を実現できる。
【００５３】
第３音声保持部１４０は、種々の第３音声Ｖ３を保持（記憶）する部分（記憶手段）である。第３音声Ｖ３は、あらかじめ第３音声保持部１４０に記憶しておくことができ、さらに、端末１００がサーバ３００にアクセスして新たな音データを取得する等によって更新することができる。さらに、第３音声Ｖ３は、通話音声Ｖ１および後述する通話音声Ｖ２のうち少なくとも一方に加工処理などを施した音声を利用してもよい。加工処理などを施される通話音声は、現在の通話音声でもよく、過去の通話音声でもよい。加工処理は、たとえばエフェクト（エコーなど）をかける処理であってもよい。
【００５４】
次に、端末２００について説明すると、端末２００は、第１音声受信部２１０と、第１音声復号部２２０と、第１音声出力部２３０と、第２音声入力部２４０と、第２音声符号化部２５０と、第２音声送信部２６０とを含む。
【００５５】
第１音声受信部２１０は、端末１００の第１音声送信部１３０から送信された符号化系列Ｃ１３を受信する部分である。
【００５６】
第１音声復号部２２０は、第１音声受信部２１０が受信した符号化系列Ｃ１３を復号する部分である。先に説明したように、符号化系列Ｃ１３は、端末１００において、符号化モード設定部１２２ａｘによって設定された符号化モードで符号化されている場合もある。その場合には、第１音声復号部２２０は、符号化モード設定部１２２ａｘによって設定された符号化モードに対応する復号モードを実行する。たとえば、符号化モードに関する情報を、符号化系列Ｃ１３と同様にして端末１００から端末２００に送信することによって、第１音声復号部２２０は、対応する復号モードを実行することができる。また、符号化モードに関する情報は符号化系列Ｃ１３に含まれていてもよい。
【００５７】
第１音声出力部２３０は、第１音声復号部２２０によって復号された符号化系列Ｃ１３（つまり合成データＢ１３）に応じた音を出力する部分である。第１音声出力部２３０は、たとえばスピーカを含んで構成される。具体的に、第１音声出力部２３０は、通話音声Ｖ１および第３音声Ｖ３を出力する。これにより、ユーザ２（図１）は、ユーザ１の通話音声Ｖ１および第３音声Ｖ３を聞くことができる。
【００５８】
第２音声入力部２４０は、他方の話者（図１のユーザ２）の通話音声Ｖ２を入力する部分であり、たとえばマイクロフォンを含んで構成される。
【００５９】
第２音声符号化部２５０は、第２音声入力部２４０に入力された通話音声Ｖ２を符号化する部分である。符号化された通話音声Ｖ２は、符号化系列Ｃ２とされる。なお、第２音声符号化部２５０が実行する符号化モードは、たとえば、あらかじめ定められた符号化モードであってもよいし、先に説明した第１音声符号化部１２２のように、複数の符号化モードから選択して設定してもよい。
【００６０】
第２音声送信部２６０は、第２音声符号化部２５０によって符号化された通話音声Ｖ２（つまり符号化系列Ｃ２）を出力する部分である。具体的に、第２音声送信部２６０は、符号化系列Ｃ２を、後述の端末１００の第２音声受信部１５０に送信する。
【００６１】
次に、端末１００に含まれる部分のうち、第２音声受信部１５０と、音声合成部１２０の第２音声復号部１２６と、第２音声出力部１６０とについて説明する。
【００６２】
第２音声受信部１５０は、端末２００の第２音声送信部２６０から送信された符号化系列Ｃ２を受信する部分である。
【００６３】
第２音声復号部１２６は、第２音声受信部１５０が受信した符号化系列Ｃ２を復号する部分である。第２音声復号部１２６は、端末２００の第２音声符号化部２５０が実行する符号化モードに対応した復号モードを実行する。
【００６４】
第２音声出力部１６０は、第２音声復号部１２６によって復号された符号化系列Ｃ２（つまり通話音声Ｖ２）に応じた音を出力する部分である。第２音声出力部１６０は、たとえばスピーカを含んで構成される。具体的に、第２音声出力部１６０は、通話音声Ｖ２を出力する。これにより、ユーザ１（図１）は、ユーザ２の通話音声Ｖ２を聞くことができる。
【００６５】
ここで、図４を参照して、端末１００のハードウェア構成について説明する。図４は、端末１００のハードウェア構成図である。図４に示されるように、端末１００は、物理的には、１または複数のＣＰＵ（Central  Processing  unit）２１、主記憶装置であるＲＡＭ（Random  Access  Memory）２２およびＲＯＭ（Read  Only  Memory)２３、データ送受信デバイスである通信モジュール２６、半導体メモリなどの補助記憶装置２７、操作盤（操作ボタンを含む）やタッチパネルなどのユーザの入力を受け付ける入力装置２８、ディスプレイなどの出力装置２９、などのハードウェアを備えるコンピュータとして構成することができる。図２における端末１００の各機能は、たとえば、ＣＰＵ２１、ＲＡＭ２２などのハードウェア上に１または複数の所定のコンピュータソフトウェアを読み込ませることにより、ＣＰＵ１０１の制御のもとで通信モジュール２６、入力装置２８、出力装置２９を動作させるとともに、ＲＡＭ２２および補助記憶装置２７におけるデータの読み出しおよび書き込みを行うことで実現することができる。なお、端末２００についても、端末１００と同様のハードウェア構成とすることができる。また、後述の実施形態で説明する端末やサーバについても、端末１００と同様のハードウェア構成とすることができる。
【００６６】
次に、図５を参照して、通話システム１０の動作（端末１００によって実行される通話方法を含む）について説明する。図５は、通話システム１０において実行される処理の一例を示すフローチャートである。このフローチャートの処理は、端末１００を利用するユーザ１（図１）と、端末２００を利用するユーザ２との通話中に実行される。
【００６７】
まず、端末１００において、第１の音声を入力する（ステップＳ１０１）。具体的に、端末１００の第１音声入力部１１０が、ユーザ１の通話音声Ｖ１を入力する。
【００６８】
次に、端末１００は、合成指示を生成する（ステップＳ１０２ａ）。具体的に、合成指示部１２３が、ユーザ情報に応じた合成指示信号ＣＭを発生する。
【００６９】
次に、端末１００は、第３の音声を読み込む（ステップＳ１０２ｂ）。具体的に、第１音声合成部１２１が、第３音声保持部１４０に記憶されている第３音声のうち、ユーザ情報に基づいて選択された第３音声Ｖ３を、第３音声保持部１４０から取得する。
【００７０】
次に、端末１００は、第１の音声と第３の音声を合成する（ステップＳ１０２ｃ）。具体的に、第１音声合成部１２１が、通話音声Ｖ１と第３音声Ｖ３との合成データＢ１３を生成する。
【００７１】
次に、端末１００は、調整処理を実行する（ステップＳ１０２ｄ）。具体的に、データ調整部１２２ａが、合成データＢ１３を調整するための調整処理を実行する。たとえば、符号化モード設定部１２２ａｘが、合成データＢ１３を符号化するために実行すべき符号化モードを設定する。あるいは、音声調整部１２２ａｙが、合成データＢ１３を調整する。
【００７２】
次に、端末１００は、合成した音声を符号化する（ステップＳ１０２ｅ）。具体的に、音声信号符号化部１２２ｂが、先のステップＳ１０２ｄにおける調整結果を受けて、合成データＢ１３を符号化し、符号化系列Ｃ１３とする。
【００７３】
そして、端末１００は、符号化系列を送信する（ステップＳ１０３）。具体的に、第１音声送信部１３０が、符号化系列Ｃ１３を、端末２００の第１音声受信部２１０に出力（送信）する。
【００７４】
次に、端末２００は、符号化系列を受信する（ステップＳ２０１）。具体的に、第１音声受信部２１０が、端末１００の第１音声送信部１３０によって送信された符号化系列Ｃ１３を受信する。
【００７５】
次に、端末２００は、合成した音声の符号化系列を復号する（ステップＳ２０２）。具体的に、第１音声復号部２２０が、符号化系列Ｃ１３を復号し、合成データＢ１３とする。
【００７６】
そして、端末２００は、音声を出力する（ステップＳ２０３）。具体的に、第１音声出力部２３０が、合成データＢ１３に応じた音、つまり通話音声Ｖ１および第３音声Ｖ３を出力する。出力された通話音声Ｖ１および第３音声Ｖ３をユーザ２が聞くことによって、ユーザ２は通話音声Ｖ２を発する。
【００７７】
これにより、端末２００は、第２の音声を符号化する（ステップＳ２０４）。具体的に、第２音声符号化部２５０が、第２音声入力部２４０によって入力された通話音声Ｖ２を符号化し、符号化系列Ｃ２とする。
【００７８】
次に、端末２００は、符号化系列を送信する（ステップＳ２０５）。具体的に、第２音声送信部２６０が、符号化系列Ｃ２を、端末１００の第２音声受信部１５０に出力（送信）する。
【００７９】
次に、端末１００は、符号化系列を受信する（ステップＳ１０４）。具体的に、第２音声受信部１５０が、端末２００の第２音声送信部２６０によって送信された符号化系列Ｃ２を受信する。
【００８０】
次に、端末１００は、第２の音声の符号化系列を復号する（ステップＳ１０５ａ）。具体的に、第２音声復号部１２６が、符号化系列Ｃ２を復号し、通話音声Ｖ２とする。
【００８１】
そして、端末１００は、音声を出力する（ステップＳ１０５ｂ）。具体的に、第２音声出力部１６０が、通話音声Ｖ２を出力する。これにより、ユーザ１は、通話音声Ｖ２を聞くことができる。これにより、ユーザ１は通話音声Ｖ１を発する。そして、端末１００は、ステップＳ１０１の処理を再び実行する。このようにして図５のフローチャートの処理が繰り返し実行されることによって、ユーザ１とユーザ２との通話が進められる。
【００８２】
次に、端末１００の作用効果について説明する。端末１００では、第１音声入力部１１０がユーザ１の通話音声Ｖ１を入力し（ステップＳ１０１）、第１音声合成部１２１がユーザ情報に基づいて、通話音声Ｖ１と第３音声Ｖ３との合成データＢ１３を生成し（ステップＳ１０２ｃ）、データ調整部１２２ａが、通話音声Ｖ１および合成データＢ１３を調整するための調整処理を実行し（ステップＳ１０２ｄ）、音声信号符号化部１２２ｂが、通話音声Ｖ１および合成データＢ１３を符号化して符号化系列Ｃ１３とし（ステップＳ１０２ｅ）、第１音声送信部１３０が、符号化系列Ｃ１３を出力（送信）する（ステップＳ１０３）。データ調整部１２２ａおよび音声信号符号化部１２２ｂによって実行される処理（ステップＳ１０２ｄ，Ｓ１０２ｅ）は、通話音声Ｖ１と、第３音声Ｖ３と、合成データＢ１３と、のうち少なくとも一つの特徴に応じて合成データＢ１３（あるいは通話音声Ｖ１）を符号化する処理である。端末１００によれば、たとえば、データ調整部１２２ａの音声調整部１２２ａｙが、符号化に適したデータとなるように話者の音声データおよび合成データの信号の大きさやサンプリングレートなどを調整することによって、符号化処理による話者の音声データおよび合成データの品質の劣化を抑制することができる。
【００８３】
ここで、ユーザ情報は、ユーザ１またはユーザ２のプロフィール、行動履歴および資格情報の少なくとも一つを含む。そして、第１音声合成部１２１および合成指示部１２３によって、ユーザ情報に応じて合成データＢ１３を生成するか否かが判断され、合成データＢ１３を生成する場合には、ユーザ情報に応じて第３音声Ｖ３が選択される。これにより、話者であるユーザ１またはユーザ２の嗜好や資格に応じた、適切な音（たとえばＢＧＭや効果音など）を第３音声Ｖ３として選択し、合成データＢ１３を生成することができる。
【００８４】
また、たとえば、データ調整部１２２ａの符号化モード設定部１２２ａｘが、符号化するための複数の符号化モードのうち、実行すべき符号化モードを設定し、音声信号符号化部１２２ｂが、符号化モード設定部１２２ａｘによって設定された符号化モードに基づき、通話音声Ｖ１および合成データＢ１３を符号化することもできる。このように、複数の符号化モードを使い分けることによって、適切な符号化モードを用いて合成データを符号化することができる。適切な符号化モードに設定することによって、通話品質が損なわれないようにユーザ１の通話音声Ｖ１と第３音声Ｖ３とを合成することが可能になる。
【００８５】
たとえば、複数の符号化モードは、それぞれ異なる符号化アルゴリズムを用いた符号化に対応し、符号化モード設定部１２２ａｘは、第３音声Ｖ３の特徴に応じて符号化モードを設定する。これにより、第３音声Ｖ３の特徴に応じた適切な符号化アルゴリズムを用いることができる。
【００８６】
たとえば、複数の符号化モードは、間欠送信を行うモードと連続送信を行うモードとに対応し、符号化モード設定部１２２ａｘは、第３音声Ｖ３が合成された場合には連続送信を行うモードを設定する。すなわち、通話音声Ｖ１および合成データＢ１３の特徴に応じて、間欠送信を行うモードまたは連続送信を行うモードに設定する。これにより、無音または背景雑音の区間と誤判定されて間欠送信が行われることによる音質劣化を回避し、通話品質を向上させることができる。
【００８７】
また、間欠送信と連続送信の切り替えは第１音声送信部１３０で実施されてもよい。このとき、第１音声送信部１３０は、符号化モード設定部１２２ａｘによって合成データＢ１３が符号化された場合には連続送信を行う。なお、連続送信を行わない場合には、間欠送信が行われる。このように符号化された合成データ（符号化系列Ｃ１３）を連続送信することによって、無音または背景雑音の区間と誤判定されて間欠送信が行われることによる音質劣化を回避し、通話品質を向上させることができる。
【００８８】
［音声合成部の第１変形例］
図６は、音声合成部１２０（図２）の変形例を示す図である。図６に示す音声合成部１２０Ａは、音声合成部１２０（図２）と比較して、第１音声合成部１２１を含まない一方で第２音声合成部１２７を含む点、および各要素の接続関係において相違する。
【００８９】
第２音声合成部１２７は、ユーザ情報（に応じて発生した合成指示信号ＣＭ）に基づいて、通話音声Ｖ２と第３音声Ｖ３との合成データＢ２３を生成する部分である。
【００９０】
第２音声合成部１２７によって生成された合成データＢ２３は、第２音声出力部１６０（図２）に送信され、通話音声Ｖ２および第３音声Ｖ３として出力される。
【００９１】
音声合成部１２０Ａを採用した場合には、たとえば、先に説明した図５に示すフローチャートのステップＳ１０２およびステップＳ１０５において、図７に示す処理が実行される。
【００９２】
ステップＳ１０２において、まず、先に図５を参照して説明したステップＳ１０２ａおよびステップＳ１０２ｂの処理が実行される。すなわち、端末１００は、合成指示を生成し（ステップＳ１０２ａ）、第３の音声を読み込む（ステップＳ１０２ｂ）。なお、ステップＳ１０２ｂにおいて読み込まれた第３の音声は、後述のステップＳ１０５ｃで用いられる。次に、端末１００は、第１の音声を符号化する（ステップＳ１０２ｆ）。具体的に、音声信号符号化部１２２ｂが、通話音声Ｖ１を符号化し、符号化系列Ｃ１とする。
【００９３】
また、ステップＳ１０５において、まず、先に図５を参照して説明したステップＳ１０５ａの処理が実行される。すなわち、端末１００は、第２の音声の符号化系列を復号する（ステップＳ１０５ａ）。次に、端末１００は、復号した第２の音声と第３の音声を合成する（ステップＳ１０５ｃ）。具体的に、第２音声合成部１２７が、通話音声Ｖ２と第３音声Ｖ３との合成データＢ２３を生成する。そして、先に図５を参照して説明したステップＳ１０５ｂの処理が実行される。すなわち、端末１００は、音声を出力する（ステップＳ１０５ｂ）。
【００９４】
音声合成部１２０Ａによれば、ユーザ１は、ユーザ２の通話音声Ｖ２だけでなく、第３音声Ｖ３も聞くことができる。これにより、ユーザ１は、自身の情報に応じて選択された第３音声Ｖ３を確認することができる。たとえば、音声合成部１２０と音声合成部１２０Ａを切り替えて使用することで、ユーザ１が通話音声Ｖ１に第３音声Ｖ３を合成する前に、第３音声Ｖ３をプレビューすることができる。
【００９５】
［音声合成部の第２変形例］
図８は、音声合成部１２０（図２）の別の変形例を示す図である。図７に示す音声合成部１２０Ｂは、音声合成部１２０（図２）と比較して、第２音声合成部１２７をさらに含む点、および各要素の接続関係において相違する。
【００９６】
音声合成部１２０Ｂでは、第１音声合成部１２１によって通話音声Ｖ１と第３音声Ｖ３との合成データＢ１３が生成され、さらに、第２音声合成部１２７によって通話音声Ｖ２と第３音声Ｖ３との合成データＢ２３が生成される。
【００９７】
音声合成部１２０Ｂを採用した場合には、たとえば、先に説明した図５に示すフローチャートのステップＳ１０２およびステップＳ１０５において、図９に示す処理が実行される。
【００９８】
ステップＳ１０２において、先に図５を参照して説明したステップＳ１０２ａ〜Ｓ１０２ｅの処理が実行される。すなわち、端末１００は、合成指示を生成し（ステップＳ１０２ａ）、第３の音声を読み込み（ステップＳ１０２ｂ）、第１の音声と第３の音声を合成し（ステップＳ１０２ｃ）、調整処理を実行し（ステップＳ１０２ｄ）、合成した音声を符号化する（ステップＳ１０２ｅ）。
【００９９】
また、ステップＳ１０５において、先に図５および図７を参照して説明したステップＳ１０５ａ，Ｓ１０５ｃ，Ｓ１０５ｂの処理が実行される。すなわち、端末１００は、第２の音声の符号化系列を復号し（ステップＳ１０５ａ）、復号した第２の音声と第３の音声を合成し（ステップＳ１０５ｃ）、音声を出力する（ステップＳ１０５ｂ）。
【０１００】
音声合成部１２０Ｂによれば、ユーザ２はユーザ１の通話音声Ｖ１および第３音声Ｖ３を聞くことができ、さらに、ユーザ１はユーザ２の通話音声Ｖ２および第３音声Ｖ３を聞くことができる。
【０１０１】
［音声合成部の第３変形例］
図１０は、音声合成部１２０（図２）の別の変形例を示す図である。図１０に示す音声合成部１２０Ｃは、音声合成部１２０（図２）と比較して、各要素の接続関係において相違する。
【０１０２】
音声合成部１２０Ｃでは、合成指示部１２３は、第２音声復号部１２６からの通話音声Ｖ２を受けて合成指示信号ＣＭを発生する。そして、第１音声合成部１２１によって通話音声Ｖ１と第３音声Ｖ３との合成データＢ１３が生成される。
【０１０３】
音声合成部１２０Ｃを採用した場合には、たとえば、先に説明した図５に示すフローチャートのステップＳ１０２およびステップＳ１０５において、図１１に示す処理が実行される。
【０１０４】
ステップＳ１０２において、後述のステップＳ１０５ｅにおいて読み込まれた第３の音声を用いて、先に図５を参照して説明したステップＳ１０２ｃ〜Ｓ１０２ｅの処理が実行される。すなわち、端末１００は、第１の音声と第３の音声を合成し（ステップＳ１０２ｃ）、調整処理を実行し（ステップＳ１０２ｄ）、合成した音声を符号化する（ステップＳ１０２ｅ）。
【０１０５】
また、ステップＳ１０５において、まず、先に図５を参照して説明したステップＳ１０５ａの処理が実行される。すなわち、端末１００は、第２の音声の符号化系列を復号する（ステップＳ１０５ａ）。次に、端末１００は、合成指示を生成する（ステップＳ１０５ｄ）。具体的に、合成指示部１２３が、ユーザ情報（たとえばユーザ２の通話音声Ｖ２）に応じた合成指示信号ＣＭを発生する。次に、端末１００は、第３の音声を読み込む（ステップＳ１０５ｅ）。具体的に、第１音声合成部１２１が、第３音声保持部１４０に記憶されている第３音声のうち、ユーザ情報に基づいて選択された第３音声Ｖ３を、第３音声保持部１４０から取得する。そして、先に図５を参照して説明したステップＳ１０５ｂの処理が実行される。すなわち、端末１００は、音声を出力する（ステップＳ１０５ｂ）。
【０１０６】
音声合成部１２０Ｃによれば、ユーザ１の端末１００において、ユーザ２の通話音声Ｖ２を受けたことに応じて（ユーザ２の情報に応じて）、通話音声Ｖ１と第３音声Ｖ３との合成データＢ１３が生成されて出力される。これにより、ユーザ２は、ユーザ１の通話音声Ｖ１および第３音声Ｖ３を聞くことができる。
【０１０７】
［音声合成部の第４変形例］
図１２は、音声合成部１２０（図２）の別の変形例を示す図である。図１２に示す音声合成部１２０Ｄは、音声合成部１２０（図２）と比較して、第１音声合成部１２１を含まない一方で第２音声合成部１２７を含む点、および各要素の接続関係において相違する。
【０１０８】
音声合成部１２０Ｄでは、合成指示部１２３は、第２音声復号部１２６からの通話音声Ｖ２を受けて合成指示信号ＣＭを発生する。そして、第２音声合成部１２７によって通話音声Ｖ２と第３音声Ｖ３とが合成されて出力される。
【０１０９】
音声合成部１２０Ｄを採用した場合には、たとえば、先に説明した図５に示すフローチャートのステップＳ１０２およびステップＳ１０５において、図１３に示す処理が実行される。
【０１１０】
ステップＳ１０２において、先に図７を参照して説明したステップＳ１０２ｆの処理が実行される。すなわち、端末１００は、第１の音声を符号化する（ステップＳ１０２ｆ）。
【０１１１】
また、ステップＳ１０５において、先に図５、図９および図１１を参照して説明したステップＳ１０５ａ，Ｓ１０５ｄ，１０５ｅ，１０５ｃ，１０５ｂの処理が実行される。すなわち、端末１００は、第２の音声の符号化系列を復号し（ステップＳ１０５ａ）、合成指示を生成し（ステップＳ１０５ｄ）、第３の音声を読み込み（ステップＳ１０５ｅ）、復号した第２の音声と第３の音声を合成し（ステップＳ１０５ｃ）、音声を出力する（ステップＳ１０５ｂ）。
【０１１２】
音声合成部１２０Ｄによれば、ユーザ１の端末１００において、ユーザ２の通話音声Ｖ２を受けたことに応じて（ユーザ２の情報に応じて）、通話音声Ｖ２と第３音声Ｖ３とが合成されて出力される。これにより、ユーザ１は、ユーザ２の通話音声Ｖ２および第３音声Ｖ３を聞くことができる。
【０１１３】
［音声合成部の第５変形例］
図１４は、音声合成部１２０（図２）の別の変形例を示す図である。図１４に示す音声合成部１２０Ｅは、音声合成部１２０（図２）と比較して、合成指示部１２３を含まない一方で、第１合成指示部１２３１と、第２合成指示部１２３２と、第２音声合成部１２７とを含む点、および各要素の接続関係において相違する。
【０１１４】
第１合成指示部１２３１は、通話音声Ｖ１を受けて、合成指示信号ＣＭ１を発生する部分である。発生した合成指示信号ＣＭ１は、第１音声合成部１２１に入力される。そして、第１音声合成部１２１によって通話音声Ｖ２と第３音声Ｖ３との合成データＢ１３が生成される。第２合成指示部１２３２は、通話音声Ｖ２を受けて、合成指示信号ＣＭ２を発生する部分である。発生した合成指示信号ＣＭ２は、第２音声合成部１２７に入力される。そして、第２音声合成部１２７によって通話音声Ｖ２と第３音声Ｖ３とが合成されて出力される。なお、第１合成指示部１２３１および第２合成指示部１２３２は一つの要素で構成されていてもよい。
【０１１５】
音声合成部１２０Ｅを採用した場合には、たとえば、先に説明した図５に示すフローチャートのステップＳ１０２およびステップＳ１０５において、図１５に示す処理が実行される。
【０１１６】
ステップＳ１０２において、先に図５を参照して説明したステップＳ１０２ａ〜Ｓ１０２ｅの処理が実行される。すなわち、端末１００は、合成指示を生成し（ステップＳ１０２ａ）、第３の音声を読み込み（ステップＳ１０２ｂ）、第１の音声と第３の音声を合成し（ステップＳ１０２ｃ）、調整処理を実行し（ステップＳ１０２ｄ）、合成した音声を符号化する（ステップＳ１０２ｅ）。なお、ステップＳ１０２ａの処理は、第１合成指示部１２３１によって実行される。
【０１１７】
また、ステップＳ１０５において、先に図１３を参照して説明したステップＳ１０５ａ，Ｓ１０５ｄ，Ｓ１０５ｅ，Ｓ１０５ｃ，Ｓ１０５ｂの処理が実行される。すなわち、端末１００は、第２の音声の符号化系列を復号し（ステップＳ１０５ａ）、合成指示を生成し（ステップＳ１０５ｄ）、第３の音声を読み込み（ステップＳ１０５ｅ）、復号した第２の音声と第３の音声を合成する（ステップＳ１０５ｃ）、音声を出力する（ステップＳ１０５ｂ）。なお、ステップＳ１０５ｄの処理は、第２合成指示部１２３２によって実行される。
【０１１８】
先に図１４を参照して説明したように、第１合成指示部１２３１および第２合成指示部１２３２が一つの要素で構成される場合には、それによって、ステップＳ１０２ａ，Ｓ１０２ｂおよびステップＳ１０５ｄ，Ｓ１０５ｅの処理が実行されてもよい。
【０１１９】
音声合成部１２０Ｅによれば、ユーザ１の端末１００において、ユーザ２の通話音声Ｖ２を受けたことに応じて、通話音声Ｖ１と第３音声Ｖ３との合成データＢ１３が生成されて出力されるとともに、通話音声Ｖ２と第３音声Ｖ３とが合成されて出力される。これにより、ユーザ２はユーザ１の通話音声Ｖ１および第３音声Ｖ３を聞くことができ、さらに、ユーザ１はユーザ２の通話音声Ｖ２および第３音声Ｖ３を聞くことができる。
【０１２０】
次に、図１６〜２５を参照して、合成指示部１２３の構成例について説明する。先に説明したように、合成指示部１２３は、ユーザ情報に基づいて、合成データＢ１３を生成する。
【０１２１】
［合成指示部の第１構成例］
図１６は、合成指示部の構成の一例を示す図である。図１６に示す例では、合成指示部１２３Ａは、音声認識部１２３ａと、合成指示生成部１２３ｂとを含む。合成指示部１２３Ａにおいては、音声認識部１２３ａによる認識結果（つまり音声の分析結果）がユーザ情報とされ、そのユーザ情報に基づいて、合成データＢ１３が生成される。
【０１２２】
音声認識部１２３ａは、入力された音声（たとえば通話音声Ｖ１）に対して音声認識処理を実行する部分である。音声認識の手法はとくに限定されるものではないが、たとえば、入力された音声データを文字データに変換し、変換した文字データに基づいて通話音声Ｖ１の内容（意味）を分析してもよい。分析は、たとえば、変換された文字データをたとえば単語ごとに整理し、通話音声Ｖ１に所定の語彙（キーワード）が含まれるか否かといった判断に基づいて行われてもよい。
【０１２３】
合成指示生成部１２３ｂは、音声認識部１２３ａの認識結果に基づいて合成指示信号ＣＭを発生する部分である。たとえば、音声認識部１２３ａによって認識された音声が第３音声Ｖ３との合成に適したものである場合に、合成指示信号ＣＭが発生される。その場合、合成するのに適した音声および第３音声Ｖ３の組み合わせを記述したデータテーブルを含むデータベースを予め用意しておくことで、そのデータベースを参照することによって、合成指示生成部１２３ｂは、音声認識部１２３ａによって認識された音声に対応する第３音声Ｖ３の合成を指示する合成指示信号ＣＭを発生することができる。対応する第３音声Ｖ３がデータベースにない場合は合成指示信号ＣＭは発生しなくてよい。
【０１２４】
合成指示部１２３Ａを採用した場合には、たとえば、先に説明した図５に示すフローチャートのステップＳ１０２ａにおいて、より具体的に、図１７に示す処理が実行される。すなわち、まず、端末１００は、音声認識を実施する（ステップＳ１）。具体的に、音声認識部１２３ａが、たとえば通話音声Ｖ１に対して音声認識処理を実行する。次に、端末１００は、合成指示を生成する（ステップＳ２）。具体的に、合成指示生成部１２３ｂが、先のステップＳ１における音声認識処理の結果を受けて、合成指示信号ＣＭを発生（生成）する。
【０１２５】
合成指示部１２３Ａによれば、入力された音声（たとえば通話音声Ｖ１）に対して音声認識処理を実行し、その結果に基づいて、合成指示信号ＣＭを発生させるか否か、つまり音声を合成するか否かを決定することができる。また、合成する場合には、どの音声を合成するかを合成指示信号ＣＭにより指示することができる。
【０１２６】
［合成指示部の第２構成例］
図１８は、合成指示部の構成の一例を示す図である。図１８に示す例では、合成指示部１２３Ｂは、有音無音判定部１２３ａｘと、合成指示生成部１２３ｂとを含む。合成指示部１２３Ｂにおいては、有音無音判定部１２３ａｘによる判定結果（つまり音声の分析結果）がユーザ情報とされ、そのユーザ情報に基づいて、合成データＢ１３が生成される。
【０１２７】
有音無音判定部１２３ａｘは、入力された音声に対して有音無音判定処理を実行する部分である。有音無音判定の手法はとくに限定されるものではないが、たとえば所定レベル以上の音量を有する音が入力された場合には有音と判定し、所定レベル未満の音量を有する音が入力された場合には無音と判定してよい。なお、有音無音判定部１２３ａｘに代えて音声区間検出部（ＶＡＤ：Voice  Activity  Detector）を採用してもよく、これについては後に図２０等を参照して説明する。
【０１２８】
図１８に示す例では、合成指示生成部１２３ｂは、有音無音判定部１２３ａｘの判定結果に基づいて合成指示信号ＣＭを発生する。たとえば、有音無音判定部１２３ａｘによって有音と判定された場合に合成指示信号ＣＭを発生しないようにし、そうでない場合には合成指示信号ＣＭを発生するようにしてもよい。
【０１２９】
合成指示部１２３Ｂを採用した場合には、たとえば、先に説明した図５に示すフローチャートのステップＳ１０２ａにおいて、より具体的に、図１９に示す処理が実行される。すなわち、まず、端末１００は、有音無音判定を実施する（ステップＳ３）。具体的に、有音無音判定部１２３ａｘが、たとえば通話音声Ｖ１に対して有音無音判定処理を実行する。次に、端末１００は、有音無音判定結果に基づき合成指示を生成する（ステップＳ３）。具体的に、合成指示生成部１２３ｂが、先のステップＳ３における有音無音判定処理の結果を受けて、合成指示信号ＣＭを発生する。
【０１３０】
合成指示部１２３Ｂによれば、入力された音声（たとえば通話音声Ｖ１）に対して有音無音判定処理を実行し、その結果に基づいて、合成指示信号ＣＭを発生させるか否か、つまり音声を合成するか否かを決定することができる。
【０１３１】
先に説明したように、合成指示部１２３Ｂ（図１８）において、有音無音判定部１２３ａｘに代えて音声区間検出部（ＶＡＤ：Voice  Activity  Detector）を採用してもよい。ここで、一般的な音声の符号化処理においては、入力信号に対してＶＡＤ処理を実行した後に符号化処理を行うことも少なくない。たとえば図２に示す第１音声符号化部１２２が、ＶＡＤ処理の機能を有するように構成されていてもよい。その場合、合成指示部１２３Ｂの音声区間検出部の機能を、第１音声符号化部１２２の有するＶＡＤ処理の機能によって実現することもできる。これについて、次に図２０を参照して説明する。
【０１３２】
図２０に示す音声合成部１２０Ｆは、音声合成部１２０（図２）と比較して、第１音声符号化部１２２に代えて第１音声符号化部１２２Ｆを含み、合成指示部１２３に代えて合成指示部１２３Ｆを含む点、および各要素の接続関係において相違する。
【０１３３】
第１音声符号化部１２２Ｆは、音声区間検出部１２２ｆと、符号化部１２２ｇとを含む。合成指示部１２３Ｆは、音声区間検出部１２２ｆと、合成指示生成部１２３ｂとを含む。すなわち、第１音声符号化部１２２Ｆおよび合成指示部１２３Ｆは、音声区間検出部１２２ｆを共有する。合成指示部１２３Ｆにおいては、音声区間検出部１２２ｆによる検出結果がユーザ情報とされ、そのユーザ情報に基づいて、合成データＢ１３が生成される。
【０１３４】
音声区間検出部１２２ｆは、入力された音声に対して音声区間検出処理を実行する部分である。音声区間検出処理の手法はとくに限定されるものではないが、たとえば所定レベル以上の音量を有する音が入力された時点から、所定レベル以上の音量を有する音が所定時間入力されなくなった時点までを、音声区間として検出してもよい。
【０１３５】
図２０に示す例では、符号化部１２２ｇは、音声区間検出部１２２ｆの検出結果を受けて、合成データＢ１３を符号化する。
【０１３６】
また、合成指示生成部１２３ｂは、音声区間検出部１２２ｆの検出結果に基づいて合成指示信号ＣＭを発生する。たとえば、音声区間検出部１２２ｆによって検出された音声区間においては合成指示信号ＣＭを発生しないようにし、それ以外の区間においては合成指示信号ＣＭを発生するようにしてもよい。また、音声区間あるいは無音区間（音声区間でない区間）が継続する時間に対応した、第３音声Ｖ３の合成を指示する合成指示信号ＣＭを発生するようにしてもよい。
【０１３７】
合成指示部１２３Ｆを採用した場合には、たとえば、先に説明した図５に示すフローチャートのステップＳ１０２ａにおいて、より具体的に、図２１に示す処理が実行される。すなわち、まず、端末１００は、音声区間検出を実施する（ステップＳ５）。具体的に、音声区間検出部１２２ｆが、たとえば通話音声Ｖ１に対して音声区間検出処理を実行する。次に、端末１００は、音声区間検出結果に基づき合成指示を生成する（ステップＳ６）。具体的に、合成指示生成部１２３ｂが、先のステップＳ５における音声区間検出処理の結果を受けて、合成指示信号ＣＭを発生する。
【０１３８】
合成指示部１２３Ｆによれば、入力された音声（たとえば通話音声Ｖ１）に対して音声区間検出処理を実行し、その結果に基づいて、合成指示信号ＣＭを発生させるか否か、つまり音声を合成するか否かを決定することができる。また、音声区間あるいは無音区間が継続する時間に対応した第３音声Ｖ３の合成を指示することができる。また、合成指示部１２３Ｆにおいては、音声区間検出処理を実行するための要素として第１音声符号化部１２２Ｆの音声区間検出部１２２ｆを利用するので、別途音声区間検出処理を実行するための機能を設ける必要がない。これにより、装置の小型化等を図ることもできる。
【０１３９】
［合成指示部の第３構成例］
図２２は、合成指示部の構成の一例を示す図である。図２２に示す例では、合成指示部１２３Ｃは、話者情報保持部１２３ａｙと、話者識別子発生部１２３ｃと、合成指示生成部１２３ｂとを含む。合成指示部１２３Ｃにおいては、話者情報保持部１２３ａｙに保持されている情報がユーザ情報とされ、そのユーザ情報に基づいて、合成データＢ１３が生成される。
【０１４０】
話者識別子発生部１２３ｃは、話者識別子（ＩＤ）を発生する部分である。話者の識別方法はとくに限定されるものではないが、たとえば、端末１００と端末２００とを用いた通話時には、ユーザ１およびユーザ２が話者であるので、話者識別子発生部１２３ｃは、ユーザ１あるいはユーザ２を識別するためのＩＤを発生する。話者の識別方法として、通話の前段に行われるユーザ操作に基づいて行われてもよい。たとえばユーザ1（図1）がユーザ２に対して発呼操作をしたという情報から、話者はユーザ1とユーザ２であると識別することができる。
また、話者識別子発生部１２３ｃに話者の音声が入力され、それに基づいて話者が識別されてもよい。たとえば、ユーザ１の音声（通話音声Ｖ１）が入力された場合には、ユーザ１が話者として識別される。また、ユーザ２の音声（通話音声Ｖ２）が入力された場合には、ユーザ２が話者として識別される。話者識別子発生部１２３ｃによって発生した識別子は、話者情報保持部１２３ａｙに送信される。
【０１４１】
また、一度ユーザを識別した後は、以降に入力された音声がユーザ１のものであるかユーザ２のものであるかに依存せず、音声入力そのものに基づいて合成が行われてもよい。このような場合には、話者識別子発生部１２３ｃはなくてもよく、ユーザ１の音声（通話音声Ｖ１）あるいはユーザ２の音声（通話音声Ｖ２）が話者情報保持部１２３ａｙに入力されてもよい。
【０１４２】
話者情報保持部１２３ａｙは、話者に関する情報を保持（記憶）する部分である。ここでの話者には、ユーザ１（図１）およびユーザ２に限らず、ユーザ１と通話する機会を有し得る複数のユーザが含まれる。話者情報保持部１２３ａｙは、たとえば、話者識別子発生部１２３ｃから送信される話者識別子と、その話者識別子に対応する話者の情報とを関連付けて記憶している。これにより、話者識別子発生部１２３ｃから送信される話者識別子に応じた話者の情報を参照することができる。
【０１４３】
図２２に示す例では、合成指示生成部１２３ｂは、話者情報保持部１２３ａｙによって保持されているユーザ情報に基づいて合成指示信号ＣＭを発生する。
【０１４４】
合成指示部１２３Ｃの別の構成として、話者識別子発生部１２３ｃから送信される話者識別子（ＩＤ）が、合成指示生成部１２３ｂに入力されてもよい。この場合、合成指示生成部１２３ｂが話者識別子とユーザ情報に基づいて、合成指示を生成する。さらに、話者識別子発生部１２３ｃが不要の場合は、ユーザ１の音声（通話音声Ｖ１）あるいはユーザ２の音声（通話音声Ｖ２）が合成指示生成部１２３ｂに入力されてもよい。この場合、合成指示生成部１２３ｂがユーザ音声とユーザ情報に基づいて、合成指示を生成する。
【０１４５】
話者情報保持部１２３ａｙによって保持される話者に関する情報の例について説明すると、たとえばユーザ１に関する情報としては、ユーザ１のプロフィール、行動履歴、資格情報等が挙げられる。プロフィールは、たとえばユーザ１が有する端末１００の記憶部（たとえば電話帳）に記憶された情報とすることができる。端末１００の電話帳には、ユーザ１のプロフィールだけでなく、ユーザ１が端末１００を利用して通話しようとする相手（たとえばユーザ２）のプロフィールも登録されているので、電話帳に記憶された情報をプロフィールとすることで、多くのプロフィールを取得することができる。プロフィールは、ユーザ１が通話相手（たとえばユーザ２）に聞かせたい音楽（曲名やジャンル）を含んでよい。これにより、通話相手に応じて適切な音を第３音声Ｖ３として選択し、通話音声Ｖ１に合成して出力することができる。また、たとえばビジネス関係として登録されている相手には通話音声に音を合成しないようにしてもよい。
【０１４６】
行動履歴は、たとえば端末１００やサーバ（図１のサーバ３００など）で管理されている、ユーザ１による（音楽などの）プレイリストの再生回数情報、商品購入情報およびｗｅｂページの閲覧情報とすることができる。これにより、たとえば、ユーザ１が過去の一定期間において再生した回数の多い音楽を、第３音声Ｖ３として選択し、通話音声Ｖ１に合成して出力することができる。また、ユーザ１が過去に購入した音楽（もしくは商品）、またはそれと同じジャンルの音楽を第３音声Ｖ３として選択し、通話音声Ｖ１に合成して出力することができる。また、ユーザ１が過去の一定期間において閲覧したｗｅｂページに関連する音を第３音声Ｖ３として選択し、通話音声Ｖ１に合成して出力することができる。さらには、閲覧回数に応じて第３音声Ｖ３を選択してもよく、たとえば閲覧回数の多いｗｅｂページに関連する音を優先して第３音声Ｖ３として選択してもよい。
【０１４７】
資格情報は、たとえばユーザ１が購入済みの第３音声Ｖ３についてのライセンスの情報や、ユーザ１またはユーザ２の年齢情報とすることができる。これにより、たとえば、ライセンス購入済みでない音や利用期限を過ぎた音が第３音声Ｖ３として選択され、通話音声Ｖ１に合成されて出力されることを防ぐことができる。また、ユーザ１またはユーザ１の年齢が所定の年齢に満たない場合には、第３音声Ｖ３を通話音声Ｖ１に合成して出力するというサービスを利用できないようにすることもできる。
【０１４８】
合成指示部１２３Ｃを採用した場合には、たとえば、先に説明した図５に示すフローチャートのステップＳ１０２ａにおいて、より具体的に、図２３に示す処理が実行される。すなわち、まず、端末１００は、話者情報を読み込む（ステップＳ７）。具体的に、話者情報保持部１２３ａｙに記憶されている話者情報のうち、話者識別子発生部１２３ｃによって発生した話者識別子に対応する情報（たとえばユーザ１の情報）が、話者情報保持部１２３ａｙから読み出される。次に、端末１００は、話者情報に基づき合成指示を生成する（ステップＳ８）。具体的に、合成指示生成部１２３ｂが、先のステップＳ７において話者情報保持部１２３ａｙから読み出された話者情報に基づいて、合成指示信号ＣＭを発生する。
【０１４９】
合成指示部１２３Ｃによれば、話者の情報に基づいて、合成指示信号ＣＭを発生させるか否か、つまり音声を合成するか否かを決定することができる。また、合成する場合には、どの音声を合成するかを合成指示信号ＣＭにより指示することができる。
【０１５０】
［合成指示部の第４構成例］
図２４は、合成指示部の構成の一例を示す図である。図２４に示す例では、合成指示部１２３Ｄは、音声認識部１２３ａと、有音無音判定部１２３ａｘと、話者情報保持部１２３ａｙと、合成指示生成部１２３ｂと、話者識別子発生部１２３ｃとを含む。各要素については先に図１６、図１８および図２２を参照して説明したとおりである。話者識別子（ＩＤ）が話者情報保持部１２３ａｙではなく、合成指示生成部１２３ｂに入力されてもよい点、話者識別子発生部がなくてもよい点についても図２２を参照して説明したとおりである。
【０１５１】
合成指示部１２３Ｄを採用した場合には、たとえば、先に説明した図５に示すフローチャートのステップＳ１０２ａにおいて、より具体的に、図２５に示す処理が実行される。まず、先に図１７、図１９および図２３を参照して説明したステップＳ１，Ｓ３およびＳ７の処理が実行される。すなわち、端末１００は、音声認識を実施し（ステップＳ１）、有音無音判定を実施し（ステップＳ３）、話者情報を読み込む（ステップＳ７）。そして、端末１００は、音声認識結果、有音有無判定結果、話者情報のうち少なくとも一つに基づいて合成指示を生成する（ステップＳ９）。具体的に、合成指示生成部１２３ｂが、先のステップＳ１における音声認識結果、ステップＳ３における有音無音判定処理の結果、およびステップＳ７において話者情報保持部１２３ａｙから読み出された話者情報の少なくとも一つに基づいて合成指示信号ＣＭを発生する。
【０１５２】
合成指示部１２３Ｄによれば、音声認識部１２３ａおよび合成指示生成部１２３ｂによって、入力された音声（たとえば通話音声Ｖ１）に対して音声認識処理を実行し、その結果に基づいて、合成指示信号ＣＭを発生させるか否かを決定することができる。合成指示信号ＣＭを発生させる、すなわち合成する場合には、どの音声を合成するかを合成指示信号ＣＭにより指示することができる。また、有音無音判定部１２３ａｘおよび合成指示生成部１２３ｂによって、入力された音声（たとえば通話音声Ｖ１）に対して有音無音判定処理を実行し、その結果に基づいて、合成指示信号ＣＭを発生させるか否かを決定することも、さらに、話者情報保持部１２３ａｙおよび合成指示生成部１２３ｂによって、話者情報に基づいて、合成指示信号ＣＭを発生させるか否かを決定することもできる。合成指示信号ＣＭを発生させる、すなわち合成する場合には、どの音声を合成するかを合成指示信号ＣＭにより指示することができる。
【０１５３】
［第１音声合成部の変形例］
図２６は、第１音声合成部１２１（図２）の変形例を示す図である。図２６に示す第１音声合成部１２１Ａは、第１音声合成可否判断部１２１Ａａの判断結果に応じて、合成データＢ１３を生成する。
【０１５４】
第１音声合成可否判断部１２１Ａａは、通話音声Ｖ１と第３音声Ｖ３との合成データＢ１３を生成すべきか否かを判断する。具体的に、第１音声合成部１２１Ａに合成指示信号ＣＭが入力された場合、第１音声合成可否判断部１２１Ａａは、ユーザ認証処理を実行する。たとえば、端末１００のディスプレイ（図４の出力装置２９など）に、ユーザ認証に必要な情報（ユーザ名やパスワードなど）を問い合わせる表示が出力される。ユーザ認証に必要な情報が入力されると、ユーザ認証が完了し、第１音声合成可否判断部１２１Ａａは、合成データＢ１３を生成すべきと判断する。そして、第１音声合成部１２１Ａは、合成データＢ１３を生成する。一方、ユーザ認証が完了しなければ、第１音声合成可否判断部１２１Ａａは、合成データＢ１３を生成すべきでないと判断する。そして、第１音声合成部１２１Ａは、合成データＢ１３を生成しない。
【０１５５】
たとえば、ユーザ認証に必要な情報を記憶したデータベースを用意しておけば、そのデータベースを参照することによって、ユーザ認証を行うことができる。そのようなデータベースは、たとえば端末１００の記憶装置（図４の補助記憶装置２７など）に記憶させておくことができる。
【０１５６】
第１音声合成部１２１Ａを採用した場合には、たとえば、先に説明した図５に示すフローチャートのステップＳ１０２において、図２７に示す処理が実行される。
【０１５７】
まず、先に図５を参照して説明したステップＳ１０２ａおよびＳ１０２ｂの処理が実行される。すなわち、端末１００は、合成指示を生成し（ステップＳ１０２ａ）、第３の音声を読み込む（ステップｓ１０２ｂ）。次に、端末１００は、第３の音声の合成可否を判断する（ステップＳ１０２ｇ）。具体的に、第１音声合成可否判断部１２１Ａａが、ユーザ認証が完了したか否かに基づいて、通話音声Ｖ１と第３音声Ｖ３との合成データＢ１３を合成すべきか否か判断する。そして、合成データＢ１３を合成すべきと判断された場合には、先に図５を参照して説明したステップＳ１０２ｃ〜Ｓ１０２ｅの処理が実行される。すなわち、端末１００は、第１の音声と第３の音声を合成し（ステップＳ１０２ｃ）、調整処理を実行し（ステップＳ１０２ｄ）、合成した音声を符号化する（ステップＳ１０２ｅ）。なお、合成データＢ１３を生成すべきでないと判断された場合には、ステップＳ１０２ｃの処理はスキップしてよい。その場合、ステップＳ１０４ｅにおいては、通話音声Ｖ１のみが符号化される。
【０１５８】
第１音声合成部１２１Ａによれば、ユーザ認証が完了した場合にのみ、通話音声Ｖ１と第３音声Ｖ３との合成データＢ１３を生成することができる。そのため、たとえば、通話中に不用意に第３音声Ｖ３を発生させてしまうことを防ぐことができる。
【０１５９】
［第２音声合成部の変形例］
図２８は、第２音声合成部１２７（図６）の変形例を示す図である。図２８に示す第２音声合成部１２７Ａは、第２音声合成可否判断部１２７Ａａの判断結果に応じて、合成データＢ２３を生成する。
【０１６０】
第２音声合成可否判断部１２７Ａａの基本的な機能は、先に図２６を参照して説明した第１音声合成可否判断部１２１Ａａと同様である。すなわち、ユーザ認証が完了すると、第２音声合成可否判断部１２７Ａａは、合成データＢ２３を生成すべきと判断する。そして、第２音声合成部１２７Ａは、合成データＢ２３を生成する。一方、ユーザ認証が完了しなければ、第２音声合成可否判断部１２７Ａａは、合成データＢ２３を生成すべきでないと判断する。そして、第２音声合成部１２７Ａは、合成データＢ２３を生成しない。
【０１６１】
第２音声合成部１２７Ａを採用した場合には、たとえば、先に説明した図５に示すフローチャートのステップＳ１０５において、図２９に示す処理が実行される。
【０１６２】
ステップＳ１０５において、まず、先に図５を参照して説明したステップＳ１０５ａの処理が実行される。すなわち、端末１００は、第２の音声の符号化系列を復号する（ステップＳ１０５ａ）。次に、端末１００は、第３の音声の合成可否を判断する（ステップＳ１０５ｆ）。具体的に、第２音声合成可否判断部１２７Ａａが、ユーザ認証が完了したか否かに基づいて、通話音声Ｖ２と第３音声Ｖ３との合成データＢ２３を合成すべきか否か判断する。そして、合成データＢ２３を合成すべきと判断された場合には、先に図７を参照して説明したステップＳ１０５ｃの処理が実行される。すなわち、端末１００は、復号した第２の音声と第３の音声を合成する（ステップＳ１０５ｃ）。そして、先に図５を参照して説明したステップＳ１０５ｂの処理が実行される。すなわち、端末１００は、音声を出力する（ステップＳ１０５ｂ）。なお、合成データＢ２３を生成すべきでないと判断された場合には、ステップＳ１０５ｃの処理はスキップしてよい。その場合、ステップＳ１０５ｂにおいては、通話音声Ｖ２のみが出力される。
【０１６３】
第２音声合成部１２７Ａによれば、ユーザ認証が完了した場合にのみ、通話音声Ｖ２と第３音声Ｖ３との合成データＢ２３を生成することができる。これによっても、たとえば、通話中に不用意に第３音声Ｖ３を発生させてしまうことを防ぐことができる。
【０１６４】
［第１および第２音声合成部の変形例］
図３０は、第１音声合成部１２１（図２）および第２音声合成部１２７（図６）の変形例を示す図である。
【０１６５】
図３０に示す第１音声合成部１２１Ａは、第１音声合成可否判断部１２１Ａａの判断結果に応じて合成データＢ１３を生成し、第２音声合成部１２７Ａは、第２音声合成可否判断部１２７Ａａの判断結果に応じて合成データＢ２３を生成する。第１音声合成部１２１Ａについては先に図２６を参照して説明したとおりであり、第２音声合成部１２７Ａについては先に図２８を参照して説明したとおりである。
【０１６６】
ここで、第１音声合成可否判断部１２１Ａａおよび第２音声合成可否判断部１２７Ａａは、合成データ（Ｂ１３またはＢ２３）を生成すべきか判断する機能を有する点で共通する。したがって、第１音声合成可否判断部１２１Ａａおよび第２音声合成可否判断部１２７Ａａの一方の機能を、他方の機能に包含させてもよい。これにより、第１音声合成可否判断部１２１Ａａおよび第２音声合成可否判断部１２７Ａａのいずれかを省略した構成とすることができる。
【０１６７】
また、第１音声合成可否判断部１２１Ａａおよび第２音声合成可否判断部１２７Ａａは、端末１００の外部に設けられてもよい。たとえば、第１音声合成可否判断部１２１Ａａおよび第２音声合成可否判断部１２７Ａａの機能を、外部サーバで実現してもよい。その場合には、端末１００が外部サーバにアクセスすることによって、合成データ（Ｂ１３またはＢ２３）を生成すべきか否かが判断される。
【０１６８】
第１音声合成部１２１Ａおよび第２音声合成部１２７Ａを採用した場合には、たとえば、先に説明した図５に示すフローチャートのステップＳ１０２において、先に説明した図２７に示すフローチャートの処理が実行される。また、図５に示すフローチャートのステップＳ１０５において、先に説明した図２９に示すフローチャートの処理が実行される。
【０１６９】
図３０に示す第１音声合成部１２１Ａおよび第２音声合成部１２７Ａの構成によっても、たとえば、通話中に不用意に第３音声Ｖ３を発生させてしまうことを防ぐことができる。
【０１７０】
上述の第１音声合成部１２１および１２１Ａ、第２音声合成部１２７および１２７Ａは、第３音声Ｖ３を合成した際に、合成が行われたことを通知する音声をさらに合成してもよい。あるいは、合成が行われたことを通知する情報を第２の端末に送信してもよい。
【０１７１】
上述の第１音声合成可否判断部１２１Ａａ、および第２音声合成可否判断部１２７Ａａは、第３音声Ｖ３を解析し、法的あるいは倫理的に問題があるパターン、あるいは特定のユーザに不適切なパターンを含まない音声のみを合成すべきと判断しても良い。さらに、上述の第１音声合成部１２１Ａ、第２音声合成部１２７Ａは、合成データを生成すべきでないと判断された場合、合成処理をスキップする代わりに、警告音を合成してもよい。
【０１７２】
［第２実施形態］
図３１は、第２実施形態に係る通話システム１０Ａの機能ブロックを示す図である。通話システム１０Ａでは、第１の通話装置である端末１００Ａ（第１端末）と、サーバ３００と、第２の通話装置である端末２００（第２端末）とによって、ユーザ１とユーザ２（図１）との音声通話が実現される。この通話システム１０Ａでは、第３音声Ｖ３がサーバ３００で保持される。
【０１７３】
端末１００Ａは、端末１００（図２）と比較して、第３音声保持部１４０を含まない一方で、合成指示送信部１７０と、第３音声受信部１８０と、第３音声復号部１９０とを含む点において相違する。合成指示送信部１７０、第３音声受信部１８０、および第３音声復号部１９０は、サーバ３００にアクセスすることによって第３音声Ｖ３を取得する取得手段として機能する。
【０１７４】
まず、端末１００に含まれる部分のうち、合成指示送信部１７０について説明する。
【０１７５】
合成指示送信部１７０は、合成指示信号ＣＭを、サーバ３００の合成指示受信部３１０に送信する部分である。なお、合成指示送信部１７０は、合成指示信号ＣＭに対して符号化等の処理を実行してから送信してもよい。
【０１７６】
次に、サーバ３００について説明すると、サーバ３００は、合成指示受信部３１０と、第３音声符号化部３２０と、第３音声送信部３３０と、第３音声保持部３４０とを含む。
【０１７７】
合成指示受信部３１０は、端末１００Ａの合成指示送信部１７０から送信された合成指示信号ＣＭを受信する部分である。受信した合成指示信号ＣＭは、第３音声符号化部３２０に送信される。なお、合成指示送信部１７０が合成指示信号ＣＭに対して符号化等の処理を実行してから送信した場合は、合成指示受信部３１０は、それに対応する復号等の処理も実行する。
【０１７８】
第３音声符号化部３２０は、合成指示受信部３１０が受信した合成指示信号ＣＭに応じた第３音声Ｖ３を後述の第３音声保持部３４０から取得し、取得した第３音声Ｖ３を符号化する部分である。
【０１７９】
第３音声送信部３３０は、第３音声符号化部３２０によって符号化された第３音声Ｖ３（つまり符号化系列Ｃ３）を、端末１００Ａの第３音声受信部１８０に送信する部分である。
【０１８０】
第３音声保持部３４０は、先に図２を参照して説明した第３音声保持部１４０と同様に、種々の第３音声Ｖ３のデータを保持（記憶）する部分（記憶手段）である。
【０１８１】
次に、端末１００Ａに含まれる部分のうち、第３音声受信部１８０と、第３音声復号部１９０とについて説明する。
【０１８２】
第３音声受信部１８０は、サーバ３００の第３音声送信部３３０から送信された符号化系列Ｃ３を受信する部分である。
【０１８３】
第３音声復号部１９０は、第３音声受信部１８０が受信した符号化系列Ｃ３を復号する部分である。復号された符号化系列Ｃ３（つまり第３音声Ｖ３）は、第１音声合成部１２１に送信される。
【０１８４】
通話システム１０Ａのその他の部分については、先に図２を参照して説明した通話システム１０の対応する部分と同様であるので、ここでは説明を省略する。
【０１８５】
次に、図３２を参照して、通話システム１０Ａの動作について説明する。図３２は、通話システム１０Ａにおいて実行される処理の一例を示すフローチャートである。このフローチャートの処理は、端末１００Ａのユーザ１と、端末２００のユーザ２との通話中に実行される。
【０１８６】
まず、先に図５を参照して説明したステップＳ１０１およびステップＳ１０２ａと同様の処理が実行される。すなわち、端末１００Ａにおいて第１の音声を入力し（ステップＳ３０１）、端末１００Ａは合成指示を生成する（ステップＳ３０２）。
【０１８７】
さらに、端末１００Ａは、合成指示を送信する（ステップＳ３０３）。具体的に、合成指示送信部１７０が、合成指示信号ＣＭを、サーバ３００の合成指示受信部３１０に送信する。
【０１８８】
次に、サーバ３００は、合成指示を受信する（ステップＳ４０１ａ）。具体的に、合成指示受信部３１０が、端末１００Ａの合成指示送信部１７０から送信された合成指示信号ＣＭを受信する。
【０１８９】
次に、サーバ３００は、第３の音声を読み込む（ステップＳ４０２）。具体的に、第３音声符号化部３２０が、合成指示信号ＣＭに応じた第３音声Ｖ３を、第３音声保持部３４０から取得する。
【０１９０】
次に、サーバ３００は、第３の音声を符号化する（ステップＳ４０３）。具体的に、第３音声符号化部３２０が、第３音声Ｖ３を符号化し、符号化系列Ｃ３とする。
【０１９１】
そして、サーバ３００は、符号化系列を送信する（ステップＳ４０４）。具体的に、第３音声送信部３３０が、符号化系列Ｃ３を、端末１００Ａの第３音声受信部１８０に送信する。
【０１９２】
次に、端末１００Ａは、符号化系列を受信する（ステップＳ３０４）。具体的に、第３音声受信部１８０が、サーバ３００の第３音声送信部３３０から送信された符号化系列Ｃ３を受信する。
【０１９３】
次に、端末１００Ａは、第３の音声の符号化系列を復号する（ステップＳ３０５）。具体的に、第３音声復号部１９０が、符号化系列Ｃ３を復号する。
【０１９４】
次に、先に図５を参照して説明したステップＳ１０２ｃ〜Ｓ１０２ｅおよびステップＳ１０３と同様の処理が実行される。すなわち、端末１００Ａは、第１の音声と復号した第３の音声を合成し（ステップＳ３０６ａ）、調整処理を実行し（ステップＳ３０６ｂ）、合成した音声を符号化し（ステップＳ３０６ｃ）、符号化系列を送信する（ステップＳ３０７）。
【０１９５】
次に、先に図５を参照して説明したステップＳ２０１〜Ｓ２０５の処理が実行される。すなわち、端末２００は、符号化系列を受信し（ステップＳ２０１）、合成した音声の符号化系列を復号し（ステップＳ２０２）、音声を出力し（ステップＳ２０３）、第２の音声を符号化し（ステップＳ２０４）、符号化系列を送信する（ステップＳ２０５）。
【０１９６】
次に、先に図５を参照して説明したステップＳ１０４、ステップＳ１０５ａおよびステップＳ１０５ｂと同様の処理が実行される。すなわち、端末１００Ａは、符号化系列を受信し（ステップＳ３０８）、第２の音声の符号化系列を復号し（ステップＳ３０９ａ）、音声を出力する（ステップＳ３０９ｂ）。
【０１９７】
次に、端末１００Ａの作用効果について説明する。端末１００Ａは、サーバ３００にアクセスすることによって、第３音声Ｖ３を取得する（ステップＳ３０３，Ｓ３０４）。この処理は、合成指示送信部１７０、第３音声受信部１８０および第３音声復号部１９０等の取得手段によって実行される。サーバ３００では、端末１００Ａよりも多くのデータを保持することが容易である。第３音声Ｖ３をサーバ３００が保持することによって、たとえば、端末１００Ａが第３音声Ｖ３を保持しておく場合よりも、より多くの音を第３音声Ｖ３として選択することができる。
【０１９８】
［合成指示受信部の変形例］
図３３は、合成指示受信部３１０（図３１）の変形例を示す図である。図３３に示す合成指示受信部３１０Ａは、合成可否判断部３１０Ａａの判断結果に応じて、合成指示信号ＣＭを第３音声符号化部３２０（図３１）に送信する。
【０１９９】
合成可否判断部３１０Ａａは、第３音声Ｖ３を端末１００Ａに送信すべきか否かを判断する。この判断は、先に説明した図２６の第１音声合成可否判断部１２１Ａａと同様に、ユーザ認証の完了の有無に応じて行うことができる。ユーザ認証が完了すると、合成可否判断部３１０Ａａは、第３音声Ｖ３を端末１００Ａに送信すべきと判断する。そして、合成指示受信部３１０Ａは、合成指示信号ＣＭを第３音声符号化部３２０に送信する。一方、ユーザ認証が完了しなければ、合成可否判断部３１０Ａａは、第３音声Ｖ３を端末１００Ａに送信すべきでないと判断する。そして、合成指示受信部３１０Ａは、合成指示信号ＣＭを第３音声符号化部３２０に送信しない。なお、ユーザ認証のための情報（ユーザ名やパスワードなど）は、たとえば合成指示信号ＣＭと同様にして、端末１００Ａからサーバ３００に送信することができる。
【０２００】
さらには、サーバ３００においてユーザの資格情報を保持し、先に説明した図２２の合成指示生成部１２３ｂの資格情報に基づく音声合成可否の判断と同様に、ライセンスや年齢情報に応じて第３音声Ｖ３を端末１００Ａに送信すべきか否かを判断してもよい。
【０２０１】
上述の合成可否判断部３１０Ａａは、第３音声Ｖ３を解析し、法的あるいは倫理的に問題があるパターン、あるいは特定のユーザに不適切なパターンを含まない音声のみを合成すべきと判断しても良い。さらに、上述の合成指示受信部３１０Ａは、合成データを生成すべきでないと判断された場合、合成指示信号ＣＭを第３音声符号化部３２０に送信しない代わりに、警告音等の第３音声Ｖ３を合成しないことを示す音を合成するための指示を行ってもよい。
【０２０２】
この変形例の合成指示受信部３１０Ａによれば、たとえば、先に説明した図３２に示すフローチャートのステップＳ４０１において、図３４に示す処理が実行される。
【０２０３】
ステップＳ４０１において、まず、先に説明した図３２のステップＳ４０１ａの処理が実行される。すなわち、サーバ３００は、合成信号を受信する（ステップＳ４０１ａ）。この処理は、合成指示受信部３１０Ａによって実行される。
【０２０４】
そして、サーバ３００は、第３の音声の合成可否を判断する（ステップＳ４０１ｂ）。具体的に、合成可否判断部３１０Ａａが、ユーザ認証が完了したか否かに基づいて、第３音声Ｖ３を端末１００Ａに送信すべきか否かを判断する。送信すべきと判断された場合には、先に図３２を参照して説明したステップＳ４０２以降の処理が実行される。なお、第３音声Ｖ３を端末１００Ａにすべきでないと判断された場合には、サーバ３００から端末１００Ａには第３音声Ｖ３は送信されない。その場合には、たとえば後のステップＳ３０６ｃ（図３２）において通話音声Ｖ１のみが符号化される。
【０２０５】
この変形例の合成指示受信部３１０Ａによれば、ユーザ認証が完了した場合にのみ、通話音声Ｖ１と第３音声Ｖ３との合成データを生成することができる。そのため、たとえば、通話中に不用意に第３音声Ｖ３を発生させてしまうことを防ぐことができる。
【０２０６】
［音声合成部の第１変形例］
端末１００Ａにおいても、先に図６を参照して説明した音声合成部１２０Ａを採用することもできる。音声合成部１２０Ａの詳細については、先に図６および図７を参照して説明したので、ここでは説明を省略する。
【０２０７】
［音声合成部の第２変形例］
また、端末１００Ａにおいても、先に図８を参照して説明した音声合成部１２０Ｂを採用することもできる。音声合成部１２０Ｂの詳細については、先に図８および図９を参照して説明したので、ここでは説明を省略する。
【０２０８】
［音声合成部の第３変形例］
また、端末１００Ａにおいても、先に図１０を参照して説明した音声合成部１２０Ｃを採用することもできる。音声合成部１２０Ｃの詳細については、先に図１０および図１１を参照して説明したので、ここでは説明を省略する。
【０２０９】
［音声合成部の第４変形例］
また、端末１００Ａにおいても、先に図１２を参照して説明した音声合成部１２０Ｄを採用することもできる。音声合成部１２０Ｄの詳細については、先に図１２および図１３を参照して説明したので、ここでは説明を省略する。
【０２１０】
［音声合成部の第５変形例］
また、端末１００Ａにおいても、先に図１４を参照して説明した音声合成部１２０Ｅを採用することもできる。音声合成部１２０Ｅの詳細については、先に図１４および図１５を参照して説明したので、ここでは説明を省略する。
【０２１１】
［合成指示部の第１構成例］
また、端末１００Ａにおいても、先に図１６を参照して説明した合成指示部１２３Ａを採用することもできる。合成指示部１２３Ａの詳細については先に図１６および図１７を参照して説明したので、ここでは説明を省略する。
【０２１２】
［合成指示部の第２構成例］
また、端末１００Ａにおいても、先に図１８を参照して説明した合成指示部１２３Ｂを採用することもできる。合成指示部１２３Ｂの詳細については先に図１８および図１９を参照して説明したので、ここでは説明を省略する。
【０２１３】
また、端末１００Ａにおいても、先に図２０を参照して説明した音声合成部１２０Ｆを採用することもできる。音声合成部１２０Ｆの詳細については先に図２０および図２１を参照して説明したので、ここでは説明を省略する。
【０２１４】
［合成指示部の第３構成例］
また、端末１００Ａにおいても、先に図２２を参照して説明した合成指示部１２３Ｃを採用することもできる。合成指示部１２３Ｃの詳細については先に図２２および図２３を参照して説明したので、ここでは説明を省略する。
【０２１５】
［合成指示部の第４構成例］
また、端末１００Ａにおいても、先に図２４を参照して説明した合成指示部１２３Ｄを採用することもできる。合成指示部１２３Ｄの詳細については先に図２４および図２５を参照して説明したので、ここでは説明を省略する。
【０２１６】
［第１音声合成部の変形例］
また、端末１００Ａにおいても、先に図２６を参照して説明した第１音声合成部１２１Ａを採用することもできる。第１音声合成部１２１Ａの詳細については、先に図２６および図２７を参照して説明したので、ここでは説明を省略する。
【０２１７】
［第２音声合成部の変形例］
また、端末１００Ａにおいても、先に図２８を参照して説明した第２音声合成部１２７Ａを採用することもできる。第２音声合成部１２７Ａの詳細については、先に図２８および図２９を参照して説明したので、ここでは説明を省略する。
【０２１８】
［第１および第２音声合成部の変形例］
また、端末１００Ａにおいても、先に図３０を参照して説明した第１音声合成部１２１Ａおよび第２音声合成部１２７Ａを採用することもできる。これについても先に図３０を参照して説明したので、ここでは説明を省略する。
【０２１９】
［第３実施形態］
図３５は、第３実施形態に係る通話システム１０Ｂの機能ブロックを示す図である。通話システム１０Ｂでは、第１の通話装置である端末１００Ｂ（第１端末）と、サーバ４００と、第２の通話装置である端末２００Ｂ（第２端末）とによって、ユーザ１とユーザ２（図１）との音声通話が実現される。通話システム１０Ｂでは、合成指示信号ＣＭを生成するための処理は端末１００Ｂにおいて実行され、通話音声Ｖ１と第３音声Ｖ３との合成データＢ１３を生成するための処理はサーバ４００で実行される。
【０２２０】
端末１００Ｂは、端末１００（図２）と比較して、第１音声合成部１２１および第３音声保持部１４０を含まず、第２音声受信部１５０に代えて第４音声受信部１９５を含み、さらに合成指示送信部１７０を含む点において相違する。
【０２２１】
まず、端末１００Ｂに含まれる部分のうち、合成指示送信部１７０について説明する。通話システム１０Ｂにおいて、合成指示送信部１７０は、合成指示信号ＣＭを、サーバ４００の合成指示受信部４１０に送信する。
【０２２２】
次に、サーバ４００について説明すると、サーバ４００は、合成指示受信部４１０と、第１音声受信部４２０と、音声合成部４３０と、第３音声保持部４４０と、第３音声送信部４５０と、第２音声受信部４６０と、第４音声送信部４７０とを含む。
【０２２３】
まず、サーバ４００に含まれる部分のうち、合成指示受信部４１０、第１音声受信部４２０、音声合成部４３０、第３音声保持部４４０、および第３音声送信部４５０について説明する。
【０２２４】
合成指示受信部４１０は、端末１００Ｂの合成指示送信部１７０から送信された合成指示信号ＣＭを受信する部分である。
【０２２５】
第１音声受信部４２０は、端末１００Ｂの第１音声送信部１３０から送信された符号化系列Ｃ１を受信する部分である。
【０２２６】
音声合成部４３０は、音声を合成する部分であり、第１音声復号部４３１と、第１音声合成部４３２と、第３音声符号化部４３３とを含む。
【０２２７】
第１音声復号部４３１は、第１音声受信部４２０が受信した符号化系列Ｃ１を復号する部分である。
【０２２８】
第１音声合成部４３２は、合成指示信号ＣＭに基づいて、第３音声Ｖ３を後述の第３音声保持部４４０から取得し、通話音声Ｖ１と第３音声Ｖ３との合成データＢ１３を生成する部分（合成手段）である。
【０２２９】
第３音声符号化部４３３は、第１音声合成部４３２によって生成された合成データＢ１３を符号化する部分である。ここで、図３を参照して、第３音声符号化部４３３の詳細について説明すると、図３に示すように、第３音声符号化部４３３は、データ調整部４３３ａと、音声信号符号化部４３３ｂとを含む。データ調整部４３３ａは、合成データＢ１３（あるいは通話音声Ｖ１）を調整するための調整処理を実行する部分（データ調整手段）である。データ調整部４３３ａによる調整処理は、先に説明したデータ調整部１２２ａと同様に実行される。すなわち、データ調整部４３３ａは、符号化モード設定部４３３ａｘおよび音声調整部４３３ａｙを含み、それらは、先に説明した符号化モード設定部１２２ａｘおよび音声調整部１２２ａｙと同様の機能を有する。また、音声信号符号化部４３３ｂは、データ調整部４３３ａの調整結果を受けて通話音声Ｖ１および合成データＢ１３を符号化する部分（符号化手段）である。
【０２３０】
再び図３５に戻り、第３音声保持部４４０は、先に図２を参照して説明した第３音声保持部１４０と同様に、種々の第３音声Ｖ３のデータを保持（記憶）する部分（記憶手段）である。したがって、第３音声Ｖ３は、通話音声Ｖ１および通話音声Ｖ２のうち少なくとも一方に加工処理などを施した音声を利用してもよい。加工処理などを施される通話音声は、現在の通話音声でもよく、過去の通話音声でもよい。
【０２３１】
第３音声送信部４５０は、第３音声符号化部４３３によって符号化された合成データＢ１３（符号化系列Ｃ１３）を、端末２００Ｂの第３音声受信部２７０に送信する部分である。
【０２３２】
次に、端末２００Ｂについて説明すると、端末２００Ｂは、端末２００（図２，図３１）と比較して、第１音声受信部２１０に代えて第３音声受信部２７０を含む点において相違する。
【０２３３】
第３音声受信部２７０は、サーバ４００の第３音声送信部４５０から送信される符号化系列Ｃ１３を受信する部分である。第３音声受信部２７０が受信した符号化系列Ｃ１３は、第１音声復号部２２０によって復号されて合成データＢ１３とされる。合成データＢ１３は第１音声出力部２３０によって、通話音声Ｖ１および第３音声Ｖ３として出力される。
【０２３４】
また、端末２００Ｂにおいて、第２音声入力部２４０に通話音声Ｖ２が入力されると、通話音声Ｖ２が第２音声符号化部２５０によって符号化されて符号化系列Ｃ２とされる。符号化系列Ｃ２は、第２音声送信部２６０によって、サーバ４００の第２音声受信部４６０に送信される。
【０２３５】
次に、サーバ４００に含まれる部分のうち、第２音声受信部４６０および第４音声送信部４７０について説明する。
【０２３６】
第２音声受信部４６０は、端末２００Ｂの第２音声送信部２６０から送信された符号化系列Ｃ２を受信する部分である。
【０２３７】
第４音声送信部４７０は、第２音声受信部４６０が受信した第２音声のデータを、符号化系列Ｃ４として端末１００Ｂの第４音声受信部１９５に送信する部分である。なお、符号化系列Ｃ２および符号化系列Ｃ４は同じあってもよいし、異なっていてもよい。符号化系列Ｃ２および符号化系列Ｃ４が同じである場合には、第３音声送信部４５０は、第２音声受信部４６０が受信した符号化系列Ｃ２をそのまま端末１００Ｂの第４音声受信部１９５に送信する。符号化系列Ｃ２と符号化系列Ｃ４とが異なる例については、後に図３７〜図４０を参照して説明する。
【０２３８】
本実施形態においては、第２音声受信部４６０および第４音声送信部４７０はサーバ４００になくてもよい。すなわち、サーバ４００とは異なるサーバにあってもよいし、第２音声送信部２６０から送信された符号化系列Ｃ２を、そのまま端末１００Ｂの第４音声受信部１９５が受信してもよい。
【０２３９】
次に、端末１００Ｂに含まれる部分のうち、第４音声受信部１９５について説明する。
【０２４０】
第４音声受信部１９５は、サーバ４００の第４音声送信部４７０から送信された符号化系列Ｃ４を受信する部分である。
【０２４１】
次に、図３６を参照して、通話システム１０Ｂの動作について説明する。図３６は、通話システム１０Ｂにおいて実行される処理の一例を示すフローチャートである。このフローチャートの処理は、端末１００Ｂのユーザ１と、端末２００Ｂのユーザ２との通話中に実行される。
【０２４２】
まず、先に図５を参照して説明したステップＳ１０１と同様の処理が実行される。すなわち、端末１００Ｂにおいて、第１の音声を入力する（ステップＳ５０１）。
【０２４３】
次に、端末１００Ｂは、第１の音声を符号化する（ステップＳ５０２）。具体的に、第１音声符号化部１２２が、先のステップＳ５０１において入力された通話音声Ｖ１を符号化する。
【０２４４】
次に、端末１００Ｂは、符号化系列を送信する（ステップＳ５０３）。具体的に、第１音声送信部１３０が、符号化系列Ｃ１を、サーバ４００の合成指示受信部４１０に送信する。
【０２４５】
また、端末１００Ｂは、合成指示を生成する（ステップＳ５０４）。具体的に、端末１００Ｂの合成指示部１２３が、ユーザ情報に応じた合成指示信号ＣＭを発生する。
【０２４６】
また、端末１００Ｂは、合成指示を送信する（ステップＳ５０５）。具体的に、合成指示送信部１７０が、合成指示信号ＣＭを、サーバ４００の合成指示受信部４１０に送信する。
【０２４７】
なお、上記ステップＳ５０２〜Ｓ５０５の処理については、ステップＳ５０２およびステップＳ５０３の処理が実行された後にステップＳ５０４およびステップＳ５０５の処理が実行されてもよいし、ステップＳ５０４およびステップＳ５０５の処理が実行された後に、ステップＳ５０２およびステップＳ５０３の処理が実行されてもよい。
【０２４８】
次に、サーバ４００は、符号化系列を受信する（ステップＳ６０１）。具体的に、第１音声受信部４２０が、端末１００Ｂの第１音声送信部１３０から送信された符号化系列Ｃ１を受信する。
【０２４９】
また、サーバ４００は、合成指示を受信する（ステップＳ６０２）。具体的に、合成指示受信部４１０が、端末１００Ｂの合成指示送信部１７０から送信された合成指示信号ＣＭを受信する。
【０２５０】
次に、サーバ４００は、第３の音声を読み込む（ステップＳ６０３）。具体的に、第１音声合成部４３２が、合成指示信号ＣＭに基づいて、第３音声Ｖ３を第３音声保持部４４０から取得する。
【０２５１】
次に、サーバ４００は、第１の音声の符号化系列を復号する（ステップＳ６０４ａ）。具体的に、第１音声復号部４３１が、符号化系列Ｃ１を復号する。
【０２５２】
次に、サーバ４００は、復号した第１の音声と第３の音声を合成する（ステップＳ６０４ｂ）。具体的に、第１音声合成部４３２が、通話音声Ｖ１と第３音声Ｖ３との合成データＢ１３を生成する。
【０２５３】
次に、サーバ４００は、調整処理を実行する（ステップＳ６０４ｃ）。具体的に、データ調整部４３３ａ（図４）が、合成データＢ１３を調整するための調整処理を実行する。
【０２５４】
次に、サーバ４００は、合成した音声を符号化する（ステップＳ６０４ｄ）。具体的に、第３音声符号化部４３３が、先のステップＳ６０４ｃにおける調整結果を受けて、合成データＢ１３を符号化する。
【０２５５】
そして、サーバ４００は、符号化系列を送信する（ステップＳ６０５）。具体的に、第３音声送信部４５０が、符号化系列Ｃ１３を、端末２００Ｂの第３音声受信部２７０に送信する。
【０２５６】
次に、端末２００Ｂは、符号化系列を受信する（ステップＳ７０１）。具体的に、第３音声受信部２７０が、符号化系列Ｃ１３を受信する。
【０２５７】
次に、先に図５を参照して説明したステップＳ２０２〜Ｓ２０５と同様の処理が実行される。すなわち、端末２００Ｂは、合成した音声の符号化系列を復号し（ステップＳ７０２）、音声を出力する（ステップＳ７０３）。また、端末２００Ｂは、第２の音声を符号化し（ステップＳ７０４）、符号化系列を送信する（ステップＳ７０５）。
【０２５８】
次に、サーバ４００は、符号化系列を受信する（ステップＳ６０６）。具体的に、第２音声受信部４６０が、符号化系列Ｃ２を受信する。
【０２５９】
そして、サーバ４００は、符号化系列を送信する（ステップＳ６０８）。具体的に、第４音声送信部４７０が、符号化系列Ｃ４を、端末１００Ｂの第４音声受信部１９５に送信する。
【０２６０】
その後、先に図５を参照して説明したステップＳ１０４、ステップＳ１０５ａおよびステップＳ１０５ｂと同様の処理が実行される。すなわち、端末１００Ｂは、符号化系列を受信し（ステップＳ５０６）、第２の音声の符号化系列を復号し（ステップＳ５０７）、音声を出力する（ステップＳ５０７）。
【０２６１】
次に、通話システム１０Ｂの作用効果について説明する。通話システム１０Ｂでは、サーバ４００において、第１音声合成部４３２が、端末１００Ｂから送信される通話音声Ｖ１および合成指示信号ＣＭに基づいて、第３音声Ｖ３と通話音声Ｖ１との合成データＢ１３を生成し（ステップＳ６０４ｂ）、データ調整部４３３ａが、通話音声Ｖ１および合成データＢ１３を調整するための調整処理を実行し（ステップＳ６０４ｃ）、音声信号符号化部４３３ｂが、データ調整部４３３ａの調整結果を受けて通話音声Ｖ１および合成データＢ１３を符号化して符号化系列Ｃ１３とし（ステップＳ６０４ｄ）、第３音声送信部４５０が、符号化系列Ｃ１３を出力（送信）する（ステップＳ６０５）。通話システム１０Ｂによれば、合成データＢ１３を生成するための合成処理をサーバ４００で実行するので、たとえば、端末１００Ｂで合成処理を実行する場合よりも、端末１００Ｂにおける第３音声Ｖ３の受信や合成にかかる演算負荷を抑制して使用時間を延ばすことができる。また、合成前に第３音声Ｖ３を送信するために必要な符号化処理に伴う音質低下を避けることができ、これにより高音質なまま第３音声の合成を行うことができる。
【０２６２】
［音声合成部の第１変形例］
図３７は、音声合成部４３０（図３５）の変形例を示す図である。図３５に示す音声合成部４３０Ａは、音声合成部４３０（図３５）と比較して、第１音声復号部４３１と、第１音声合成部４３２と、第３音声符号化部４３３とを含まない一方で、第２音声復号部４３６と、第２音声合成部４３７と、第４音声符号化部４３８とを含む点において相違する。
【０２６３】
第２音声復号部４３６は、第２音声受信部４６０が受信した符号化された通話音声Ｖ２（つまり符号化系列Ｃ２）を復号する部分である。
【０２６４】
第２音声合成部４３７は、通話音声Ｖ２と、第３音声Ｖ３との合成データＢ２３を生成する部分である。
【０２６５】
第４音声符号化部４３８は、第２音声合成部４３７によって生成された合成データＢ２３を符号化する部分である。ここで、図３を参照して、第４音声符号化部４３８の詳細について説明すると、図３に示すように、第４音声符号化部４３８は、データ調整部４３８ａと、音声信号符号化部４３８ｂとを含む。データ調整部４３８ａは、合成データＢ２３（あるいは通話音声Ｖ２）を調整するための調整処理を実行する部分（データ調整手段）である。データ調整部４３８ａによる調整処理は、先に説明したデータ調整部１２２ａと同様に実行される。すなわち、データ調整部４３８ａは、符号化モード設定部４３８ａｘおよび音声調整部４３８ａｙを含み、それらは、先に説明した符号化モード設定部１２２ａｘおよび音声調整部１２２ａｙと同様の機能を有する。
【０２６６】
本変形例においては、第１音声受信部４２０および第３音声送信部４５０はサーバ４００になくてもよい。すなわち、サーバ４００とは異なるサーバにあってもよいし、第１音声送信部１３０から送信された符号化系列Ｃ１を、そのまま端末２００Ｂの第３音声受信部２７０が受信してもよい。
【０２６７】
この変形例の音声合成部４３０Ａによれば、たとえば、先に説明した図３６に示すフローチャートのステップＳ６０３およびステップＳ６０７において、図３８に示す処理が実行される。
【０２６８】
ステップＳ６０３においてサーバ４００が第３の音声を読み込むと、サーバ４００は、ステップＳ６０５に処理を進める。つまり、ステップＳ６０４では何ら処理が実行されない。また、ステップＳ６０３において読み込まれた第３の音声は、後述のステップＳ６０７ｂにおいて用いられる。
【０２６９】
また、ステップＳ６０７において、まず、サーバ４００は、第２の音声の符号化系列を復号する（ステップＳ６０７ａ）。具体的に、第２音声復号部４３６が、符号化系列Ｃ２を復号する。
【０２７０】
次に、サーバ４００は、復号した第２の音声と第３の音声を合成する（ステップＳ６０７ｂ）。具体的に、第２音声合成部４３７が、通話音声Ｖ２と、先のステップＳ６０３において読み込まれた第３音声Ｖ３との合成データＢ２３を生成する。
【０２７１】
次に、サーバ４００は、調整処理を実行する（ステップＳ６０７ｃ）。具体的に、データ調整部４３８ａが、合成データＢ２３を調整するための調整処理を実行する。
【０２７２】
次に、サーバ４００は、合成した音声を符号化する（ステップＳ６０７ｄ）。具体的に、音声信号符号化部４３８ｂが、データ調整部４３８ａの調整結果を受けて、合成データＢ２３を符号化する。
【０２７３】
この変形例の音声合成部４３０Ａによれば、ユーザ１は、ユーザ２の通話音声Ｖ２だけでなく、第３音声Ｖ３も聞くことができる。これにより、ユーザ１は、自身が選択した第３音声Ｖ３を確認することができる。たとえば、音声合成部４３０と音声合成部４３０Ａを切り替えて使用することで、ユーザ１が通話音声Ｖ１に第３音声Ｖ３を合成する前に、第３音声Ｖ３をプレビューすることができる。
【０２７４】
［音声合成部の第２変形例］
図３９は、音声合成部４３０（図３５）の別の変形例を示す図である。図３９に示す音声合成部４３０Ｂは、先に図３５を参照して説明した音声合成部４３０の構成要素である第１音声復号部４３１と、第１音声合成部４３２と、第３音声符号化部４３３とを含み、さらに、先に図３７を参照して説明した音声合成部４３０Ａの構成要素である第２音声復号部４３６と、第２音声合成部４３７と、第４音声符号化部４３８とを含む。
【０２７５】
この変形例の音声合成部４３０Ｂによれば、たとえば、先に説明した図３６に示すフローチャートのステップＳ６０３、ステップＳ６０４およびステップＳ６０７において、図４０に示す処理が実行される。
【０２７６】
ステップＳ６０３の処理が完了した後、ステップＳ６０４において、まず、サーバ４００は、第１の音声の符号化系列を復号する（ステップＳ６０４ａ）。具体的に、第１音声復号部４３１が、符号化系列Ｃ１を復号する。
次に、サーバ４００は、復号した第１の音声と第３の音声を合成する（ステップＳ６０４ｂ）。具体的に、第１音声合成部４３２が、通話音声Ｖ１と第３音声Ｖ３との合成データＢ１３を生成する。
【０２７７】
次に、サーバ４００は、調整処理を実行する（ステップＳ６０４ｃ）。具体的に、データ調整部４３３ａ（図３）が、合成データＢ１３を調整するための調整処理を実行する。
【０２７８】
次に、サーバ４００は、合成した音声を符号化する（ステップＳ６０４ｄ）。具体的に、第３音声符号化部４３３が、データ調整部４３３ａの調整結果を受けて、合成データＢ１３を符号化する。
【０２７９】
また、ステップＳ６０７において、先に図３８を参照して説明したステップＳ６０７ａ〜Ｓ６０７ｄの処理が実行される。すなわち、サーバ４００は、第２の音声の符号化系列を復号し（ステップＳ６０７ａ）、復号した第２の音声と第３の音声を合成し（ステップＳ６０７ｂ）、調整処理を実行し（ステップＳ６０７ｃ）、合成した音声を符号化する（ステップＳ６０７ｄ）。
【０２８０】
この変形例の音声合成部４３０Ｂによれば、ユーザ２はユーザ１の通話音声Ｖ１および第３音声Ｖ３を聞くことができ、また、ユーザ１はユーザ２の通話音声Ｖ２および第３音声Ｖ３を聞くことができる。
【０２８１】
［第１音声合成部の変形例］
サーバ４００において、第１音声合成部４３２（図３５）の変形例として図２６に示す第１音声合成部４３２Ａを採用することができる。すなわち、第１音声合成部４３２Ａは、第１音声合成可否判断部４３２Ａａの判断結果に応じて、合成データＢ１３を生成する。詳細については、先に図２６および図２７を参照して説明した第１音声合成部１２１Ａおよび第１音声合成可否判断部１２１Ａａと同様であるので、ここでは説明を省略する。
【０２８２】
［第２音声合成部の変形例］
また、サーバ４００において、第２音声合成部４３７（図３７）の変形例として図２８に示す第２音声合成部４３７Ａを採用することもできる。すなわち、第２音声合成部４３７Ａは、第２音声合成可否判断部４３７Ａａの判断結果に応じて、合成データＢ２３を生成する。詳細については、先に図２８および図２９を参照して説明した第２音声合成部１２７Ａおよび第２音声合成可否判断部１２７Ａａと同様であるので、ここでは説明を省略する。
【０２８３】
［第１および第２音声合成部の変形例］
また、サーバ４００において、図３０に示す第１音声合成部４３２Ａおよび第２音声合成部４３７Ａを採用することができる。詳細については、先に図３０を参照して説明したので、ここでは説明を省略する。
【０２８４】
［合成指示受信部の変形例］
また、サーバ４００において、合成指示受信部４１０（図３５）の変形例として、図３０に示す合成指示受信部４１０Ａを採用することができる。すなわち、合成指示受信部４１０Ａは合成可否判断部４１０Ａａの判断結果に応じて、合成指示信号ＣＭを第１音声合成部４３２（図３５）に送信する。合成指示受信部４１０Ａおよび合成可否判断部４１０Ａａの詳細については、合成指示受信部３１０Ａおよび合成可否判断部３１０Ａａと同様であるので、ここでは説明を省略する。
【０２８５】
［第４実施形態］
図４１は、第４実施形態に係る通話システム１０Ｃの機能ブロックを示す図である。通話システム１０Ｃでは、第１の通話装置である端末１００Ｃ（第１端末）と、サーバ５００と、第２の通話装置である端末２００Ｂ（第２端末）とによって、ユーザ１とユーザ２（図１）との音声通話が実現される。通話システム１０Ｂでは、合成指示信号ＣＭを生成するための処理と、通話音声Ｖ１および第３音声Ｖ３の合成データＢ１３を生成するための処理とは、いずれもサーバ５００で実行される。
【０２８６】
端末１００Ｃは、端末１００Ｂ（図３５）と比較して、合成指示部１２３および合成指示送信部１７０を含まない点において相違する。
【０２８７】
通話システム１０Ｃにおいては、端末１００Ｃの第１音声送信部１３０は、符号化系列Ｃ１を後述のサーバ５００の第１音声受信部５１０に送信する。
【０２８８】
５００について説明すると、サーバ５００は、第１音声受信部５１０と、第１音声復号部５２０と、音声合成部５３０と、第３音声保持部５４０と、第３音声送信部５５０と、第２音声受信部５６０と、第４音声送信部５７０とを含む。第３音声保持部５４０、第３音声送信部５５０、第２音声受信部５６０および第４音声送信部５７０については、サーバ４００（図３５）の第３音声保持部４４０、第３音声送信部４５０、第２音声受信部４６０および第４音声送信部４７０と同様であるので、ここでは説明を省略する。
【０２８９】
第１音声受信部５１０は、端末１００Ｃの第１音声送信部１３０から送信された符号化系列Ｃ１を受信する部分である。第１音声受信部５１０が受信した符号化系列Ｃ１は、音声合成部５３０の第１音声復号部５２０に送信される。
【０２９０】
音声合成部５３０は、第１音声合成部５３１と、第３音声符号化部５３２と、合成指示部５３３とを含む。第１音声復号部５２０および第１音声合成部５３１については、サーバ４００の第１音声復号部４３１および第１音声合成部４３２と同様であるので、ここでは説明を省略する。
【０２９１】
第３音声符号化部５３２は、第１音声合成部５３１によって生成された合成データＢ１３を符号化する部分である。ここで、図３を参照して、第３音声符号化部５３２の詳細について説明すると、図３に示すように、第３音声符号化部５３２は、データ調整部５３２ａと、音声信号符号化部５３２ｂとを含む。データ調整部５３２ａは、合成データＢ１３（あるいは通話音声Ｖ１）を調整するための調整処理を実行する部分（データ調整手段）である。データ調整部５３２ａによる調整処理は、先に説明したデータ調整部１２２ａと同様に実行される。すなわち、データ調整部５３２ａは、符号化モード設定部５３２ａｘおよび音声調整部５３２ａｙを含み、それらは、先に説明した符号化モード設定部１２２ａｘおよび音声調整部１２２ａｙと同様の機能を有する。また、音声信号符号化部５３２ｂは、データ調整部５３２ａの調整結果を受けて通話音声Ｖ１および合成データＢ１３を符号化する部分（符号化手段）である。
【０２９２】
再び図４１に戻り、合成指示部５３３は、第１音声復号部５２０によって復号された符号化系列Ｃ１（つまり通話音声Ｖ１）を受けて、合成指示信号ＣＭを発生する部分である。合成指示部５３３は、先に図２を参照して説明した合成指示部１２３と同様の機能を含んでいてもよい。合成指示部５３３によって発生した合成指示信号ＣＭは、第１音声合成部５３１に送信される。
【０２９３】
通話システム１０Ｃのその他の部分については、先に図３５を参照して説明した１０Ｂの対応する部分と同様であるので、ここでは説明を省略する。
【０２９４】
次に、図４２を参照して、通話システム１０Ｃの動作について説明する。図４２は、通話システム１０Ａにおいて実行される処理の一例を示すフローチャートである。このフローチャートの処理は、端末１００Ｃのユーザ１と、端末２００Ｂのユーザ２との通話中に実行される。
【０２９５】
まず、先に図３６を参照して説明したステップＳ５０１〜Ｓ５０３と同様の処理が実行される。すなわち、端末１００Ｃにおいて第１の音声を入力し（ステップＳ８０２）、端末１００Ｃが第１の音声を符号化し（ステップＳ８０２）、符号化系列を送信する（ステップＳ８０３）。
【０２９６】
次に、先に図３６を参照して説明したステップＳ６０１と同様の処理が実行される。すなわち、サーバ５００は、符号化系列を受信する（ステップＳ９０１）。
【０２９７】
次に、サーバ５００は、第１の音声の符号化系列を復号する（ステップＳ９０２ａ）。具体的に、第１音声復号部５２０が、符号化系列Ｃ１を復号し、通話音声Ｖ１とする。
【０２９８】
次に、サーバ５００は、合成指示を生成する（ステップＳ９０２ｂ）。具体的に、合成指示部５３３が合成指示信号ＣＭを発生する。
【０２９９】
次に、先に図３６を参照して説明したステップＳＳ６０３と同様の処理が実行される。すなわち、サーバ５００は、第３の音声を読み込む（ステップＳ９０２ｃ）。
【０３００】
次に、先に図３６を参照して説明したステップＳ６０４ｂ〜Ｓ６０４ｄおよびステップＳ６０５と同様の処理が実行される。すなわち、サーバ５００は、復号した第１の音声と第３の音声を合成し（ステップＳ９０２ｄ）、調整処理を実行し（ステップＳ９０２ｅ）、合成した音声を符号化し（ステップＳ９０２ｆ）、符号化系列を送信する（ステップＳ９０３）。
【０３０１】
次に、先に図３６を参照して説明したステップＳ７０１〜Ｓ７０５の処理が実行される。すなわち、端末２００Ｂは、符号化系列を受信し（ステップＳ７０１）、合成した音声の符号化系列を復号し（ステップＳ７０２）、音声を出力する（ステップＳ７０３）。また、端末２００Ｂは、第２の音声を符号化し（ステップＳ７０４）、符号化系列を送信する（ステップＳ７０５）。
【０３０２】
次に、先に図３６を参照して説明したステップＳ６０６およびステップＳ６０８と同様の処理が実行される。すなわち、サーバ５００は、符号化系列を受信し（ステップＳ９０４）、符号化系列を送信する（ステップＳ９０５）。
【０３０３】
次に、先に図３６を参照して説明したステップＳ５０６〜Ｓ５０８と同様の処理が実行される。すなわち、サーバ５００は、符号化系列を受信し（ステップＳ８０４）、第２の音声の符号化系列を復号し（ステップＳ８０５）、音声を出力する（ステップＳ８０６）。
【０３０４】
次に、通話システム１０Ｃの作用効果について説明する。通話システム１０Ｃでは、サーバ５００において、合成指示部５３３が、端末１００Ｃから送信される通話音声Ｖ１に基づいて合成指示信号ＣＭを発生する（ステップＳ９０２ｂ）。さらに、第１音声合成部５３１が合成指示信号ＣＭに基づいて第３音声Ｖ３を第３音声保持部５４０から取得する（ステップＳ９０２ｃ）。そして、第１音声合成部５３１が、通話音声Ｖ１および合成指示信号ＣＭに基づいて、第３音声Ｖ３と通話音声Ｖ１との合成データＢ１３を生成し（ステップＳ９０２ｄ）、データ調整部５３２ａが、通話音声Ｖ１および合成データＢ１３を調整するための調整処理を実行し（ステップＳ９０２ｅ）、音声信号符号化部５３２ｂが、データ調整部５３２ａの調整結果を受けて通話音声Ｖ１および合成データＢ１３を符号化して符号化系列Ｃ１３とし（ステップＳ９０２ｆ）、第３音声送信部５５０が、符号化系列Ｃ１３を出力（送信）する（ステップＳ９０３）。通話システム１０Ｃによれば、合成データＢ１３を生成するための合成処理だけでなく合成指示信号ＣＭを発生するための処理もサーバ５００で実行するので、たとえば、端末１００Ｃでそれらの処理を実行する場合よりも、端末１００Ｃにおける第３音声Ｖ３の受信や合成にかかる演算負荷を抑制して使用時間を延ばすことができる。また、合成前に第３音声Ｖ３を送信するために必要な符号化処理に伴う音質低下を避けることができ、これにより高音質なまま第３音声の合成を行うことができる。
【０３０５】
サーバ５００の音声合成部５３０についても、先に図２を参照して説明した端末１００の音声合成部１２０と同様の変形例を採用することができる。これについて、次に、図６、図８、図１０、図１２および図１４を再び参照して説明する。
【０３０６】
［音声合成部の第１変形例］
サーバ５００において、音声合成部５３０（図４１）の変形例として図６に示す音声合成部５３０Ａを採用することができる。すなわち、音声合成部５３０Ａは、第３音声符号化部５３２と、合成指示部５３３と、第２音声復号部５３６と、第２音声合成部５３７とを含む。詳細については、先に図６および図７を参照して説明した音声合成部１２０Ａと同様であるので、ここでは説明を省略する。
【０３０７】
［音声合成部の第２変形例］
また、サーバ５００において、音声合成部５３０（図４１）の変形例として図８に示す音声合成部５３０Ｂを採用することもできる。すなわち、音声合成部５３０Ｂは、第１音声合成部５３１と、第３音声符号化部５３２と、合成指示部５３３と、第２音声復号部５３６と、第２音声合成部５３７とを含む。詳細については、先に図８および図９を参照して説明した音声合成部１２０Ｂと同様であるので、ここでは説明を省略する。
【０３０８】
［音声合成部の第３変形例］
また、サーバ５００において、音声合成部５３０（図４１）の変形例として図１０に示す音声合成部５３０Ｃを採用することもできる。すなわち、音声合成部５３０Ｃは、第１音声合成部５３１と、第３音声符号化部５３２と、合成指示部５３３と、第２音声復号部５３６と、第２音声合成部５３７とを含む。詳細については、先に図１０および図１１を参照して説明した音声合成部１２０Ｃと同様であるので、ここでは説明を省略する。
【０３０９】
［音声合成部の第４変形例］
また、サーバ５００において、音声合成部５３０（図４１）の変形例として図１２に示す音声合成部５３０Ｄを採用することもできる。すなわち、音声合成部５３０Ｄは、第３音声符号化部５３２と、合成指示部５３３と、第２音声復号部５３６と、第２音声合成部５３７とを含む。詳細については、先に図１２および図１３を参照して説明した音声合成部１２０Ｄと同様であるので、ここでは説明を省略する。
【０３１０】
［音声合成部の第５変形例］
また、サーバ５００において、音声合成部５３０（図４１）の変形例として図１４に示す音声合成部５３０Ｅを採用することもできる。すなわち、音声合成部５３０Ｅは、第１音声合成部５３１と、第３音声符号化部５３２と、第１合成指示部５３３１と、第２合成指示部５３３２と、第２音声復号部５３６と、第２音声合成部５３７とを含む。詳細については、先に図１４および図１５を参照して説明した音声合成部１２０Ｅと同様であるので、ここでは説明を省略する。
【０３１１】
［合成指示部の第１構成例］
また、サーバ５００において、合成指示部５３３（図４１）の変形例として図１６に示す合成指示部５３３Ａを採用することができる。すなわち、合成指示部５３３Ａは、音声認識部５３３ａと、合成指示生成部５３３ｂとを含む。詳細については先に図１６および図１７を参照して説明した音声認識部１２３ａおよび合成指示生成部１２３ｂと同様であるので、ここでは説明を省略する。
【０３１２】
［合成指示部の第２構成例］
また、サーバ５００において、合成指示部５３３（図４１）の変形例として図１８に示す合成指示部５３３Ｂを採用することもできる。すなわち、合成指示部５３３Ｂは、有音無音判定部５３３ａｘと、合成指示生成部５３３ｂとを含む。詳細については、先に図１８および図１９を参照して説明した有音無音判定部１２３ａｘおよび合成指示生成部１２３ｂと同様であるので、ここでは説明を省略する。
【０３１３】
また、有音無音判定部１２３ａｘと同様に、有音無音判定部５３３ａｘに代えて音声区間検出部を採用してもよい。図２０に示す音声合成部５３０Ｆは、音声合成部５３０（図４１）と比較して、第３音声符号化部５３２に代えて第３音声符号化部５３２Ｆを含み、合成指示部５３３に代えて合成指示部５３３Ｆを含み、第２音声復号部５３６をさらに含む点、および各要素の接続関係において相違する。
【０３１４】
第３音声符号化部５３２Ｆは、音声区間検出部５３２ｆおよび符号化部５３２ｇを含む。合成指示部５３３Ｆは、音声区間検出部５３２ｆおよび合成指示生成部５３３ｆを含む。これらの詳細については、第１音声符号化部１２２Ｆおよび合成指示部１２３Ｆの対応する部分と同様であるので、ここでは説明を省略する。
【０３１５】
［合成指示部の第３構成例］
また、サーバ５００において、合成指示部５３３（図４１）の変形例として図２２に示す合成指示部５３３Ｃを採用することもできる。すなわち、図２２に示す合成指示部５３３Ｃは、話者情報保持部５３３ａｙと、話者識別子発生部５３３ｃと、合成指示生成部５３３ｂとを含む。これらの詳細については、先に図２２および図２３を参照して説明した音声認識部１２３ａ、話者情報保持部１２３ａｙおよび合成指示生成部１２３ｂと同様であるので、ここでは説明を省略する。
【０３１６】
［合成指示部の第４構成例］
また、サーバ５００において、合成指示部５３３（図４１）の変形例として図２４に示す合成指示部５３３Ｄを採用することもできる。すなわち、合成指示部５３３Ｄは、音声認識部５３３ａと、有音無音判定部５３３ａｘと、話者情報保持部５３３ａｙと、話者識別子発生部５３３ｃと、合成指示生成部５３３ｂとを含む。これらの詳細については、合成指示部１２３Ｄの対応する部分と同様であるので、ここでは説明を省略する。
【０３１７】
［第１音声合成部の変形例］
また、サーバ５００において、第１音声合成部５３１（図４１）の変形例として図２６に示す第１音声合成部５３１Ａを採用することができる。第１音声合成部５３１Ａの詳細については、先に図２６および図２７を参照して説明した第１音声合成部１２１Ａと同様であるので、ここでは説明を省略する。
【０３１８】
［第２音声合成部の変形例］
また、サーバ５００において、第２音声合成部５３７（図１２）の変形例として図２８に示す第２音声合成部５３７Ａを採用することもできる。第２音声合成部５３７Ａの詳細については、先に図２８および図２９を参照して説明した第２音声合成部１２７Ａと同様であるので、ここでは説明を省略する。
【０３１９】
［第１および第２音声合成部の変形例］
また、サーバ５００において、図３０に示すように第１音声合成部５３１Ａおよび第２音声合成部５３７Ａを採用することもできる。これについても、先に図３０を参照して説明したので、ここでは説明を省略する。
【０３２０】
［音声合成部の第６変形例］
さらに、サーバ５００においては、音声合成部５３０（図４１）の変形例として図４３に示す音声合成部５３０Ｆを採用することもできる。音声合成部５３０Ｆは、音声合成部５３０（図４１）と比較して、第１音声復号部５２０および合成指示部５３３の接続関係において相違する。
【０３２１】
音声合成部５３０Ｆでは、第１音声復号部５２０における復号処理の仮定で得られたパラメータｔが、第１音声復号部５２０から合成指示部５３４に送信される。
【０３２２】
パラメータｔは、たとえば、ＤＴＸのパラメータ（ＶＡＤの検出結果）および線形予測係数等である。そのようなパラメータｔを用いて、たとえば図１６の音声認識部５３３ａによる音声認識や図１８の有音無音判定部５３３ａｘによる有音無音判定を実施することができる。
【０３２３】
この変形例の音声合成部５３０Ｆによれば、たとえば、先に説明した４２に示すフローチャートのステップＳ９０２において、図４４に示す処理が実行される。
【０３２４】
すなわち、ステップＳ９０２において、ステップ９０２ｂ（図４２）の処理に代えて、ステップＳ９０２ｇの処理が実行される。具体的に、サーバ５００の第１音声復号部５２０が符号化系列Ｃ１を復号する過程で得られたパラメータに基づいて、合成指示部５３３が、合成指示信号ＣＭを生成する。
【０３２５】
音声合成部５３０Ｆによれば、音声合成部５３０（図４１）のように符号化系列Ｃ１を完全に復号した信号（つまり通話音声Ｖ１）を用いる必要はない。そして、復号した信号を再度分析することなく音声認識や有音無音判定をする分、サーバ５００における演算負荷を抑制することが期待できる。
【０３２６】
本発明は、上述した実施形態に限定されるものではない。各実施形態および各変形例の特徴部分を適宜組み合わせた構成についても、本発明の実施形態とすることができる。
【符号の説明】
【０３２７】
１０，１０Ａ，１０Ｂ，１０Ｃ…通話システム、１００，１００Ａ，１００Ｂ，１００Ｃ，２００，２００Ｂ…端末、１２０，１２０Ａ，１２０Ｂ，１２０Ｃ，１２０Ｄ，１２０Ｅ，１２０Ｆ，４３０，４３０Ａ，４３０Ｂ，５３０，５３０Ｆ…音声合成部、３００，４００，５００…サーバ。
【図１】
2016146526.tif 000003
【図２】
2016146526.tif 000004
【図３】
2016146526.tif 000005
【図４】
2016146526.tif 000006
【図５】
2016146526.tif 000007
【図６】
2016146526.tif 000008
【図７】
2016146526.tif 000009
【図８】
2016146526.tif 000010
【図９】
2016146526.tif 000011
【図１０】
2016146526.tif 000012
【図１１】
2016146526.tif 000013
【図１２】
2016146526.tif 000014
【図１３】
2016146526.tif 000015
【図１４】
2016146526.tif 000016
【図１５】
2016146526.tif 000017
【図１６】
2016146526.tif 000018
【図１７】
2016146526.tif 000019
【図１８】
2016146526.tif 000020
【図１９】
2016146526.tif 000021
【図２０】
2016146526.tif 000022
【図２１】
2016146526.tif 000023
【図２２】
2016146526.tif 000024
【図２３】
2016146526.tif 000025
【図２４】
2016146526.tif 000026
【図２５】
2016146526.tif 000027
【図２６】
2016146526.tif 000028
【図２７】
2016146526.tif 000029
【図２８】
2016146526.tif 000030
【図２９】
2016146526.tif 000031
【図３０】
2016146526.tif 000032
【図３１】
2016146526.tif 000033
【図３２】
2016146526.tif 000034
【図３３】
2016146526.tif 000035
【図３４】
2016146526.tif 000036
【図３５】
2016146526.tif 000037
【図３６】
2016146526.tif 000038
【図３７】
2016146526.tif 000039
【図３８】
2016146526.tif 000040
【図３９】
2016146526.tif 000041
【図４０】
2016146526.tif 000042
【図４１】
2016146526.tif 000043
【図４２】
2016146526.tif 000044
【図４３】
2016146526.tif 000045
【図４４】
2016146526.tif 000046