(57)【特許請求の範囲】
【請求項１】
所定の入力操作を受け付ける第１の通信端末を含む音声伝達システムであって、
複数の音声が含まれる音空間において音声を収音する１つ以上の収音部と、
前記１つ以上の収音部により収音された前記音声の音声データを記憶する記憶部と、
前記記憶部に記憶される前記音声データを、前記１つ以上の収音部と同数の種類の音声データに分離し、個々の分離音声データを生成する分離部と、
前記分離部により生成された個々の分離音声データのうち、前記第１の通信端末に対する前記所定の入力操作に応じたいずれかの分離音声データを、切替音声データとして前記第１の通信端末に送信する第１送信部と、を備え、
前記第１の通信端末は、前記切替音声データを受信し音声出力する、
音声伝達システム。
【請求項２】
請求項１に記載の音声伝達システムであって、
前記第１の通信端末に対する所定の入力操作毎に、前記個々の分離音声データを順次切り替えて、前記分離部から前記第１送信部に出力させる制御部、を更に備える、
音声伝達システム。
【請求項３】
請求項１又は２に記載の音声伝達システムであって、
前記第１の通信端末は、前記音空間において収音された音声の音声データを前記収音部と同数の種類の音声データに分離する音声分離サービスの報知信号を受信した場合に、前記音声分離サービスの開始操作に応じて、前記第１送信部から送信された前記切替音声データを受信する、
音声伝達システム。
【請求項４】
請求項１又は２に記載の音声伝達システムであって、
前記第１の通信端末は、前記音空間において収音された音声の音声データを前記収音部と同数の種類の音声データに分離する音声分離サービスの対象エリアに関する情報の報知信号を受信する、
音声伝達システム。
【請求項５】
請求項１又は２に記載の音声伝達システムであって、
前記分離部は、前記１つ以上の収音部のうち１つ以上の前記収音部を選択するための前記第１の通信端末からの選択信号に応じて、選択された１つ以上の前記収音部により収音された前記音声の音声データを用いて、選択された１つ以上の前記収音部と同数の種類の音声データに分離する、
音声伝達システム。
【請求項６】
所定の入力操作を受け付ける第１の通信端末を含む音声伝達システムにおける音声伝達方法であって、
複数の音声が含まれる音空間に配置された１つ以上の収音装置において音声を収音するステップと、
前記１つ以上の収音装置により収音された前記音声の音声データを記憶するステップと、
前記音声データを、前記１つ以上の収音装置と同数の種類の音声データに分離し、個々の分離音声データを生成するステップと、
分離後の個々の分離音声データのうち、前記第１の通信端末に対する前記所定の入力操作に応じたいずれかの分離音声データを、切替音声データとして前記第１の通信端末に送信するステップと、
前記切替音声データを受信し音声出力するステップと、を有する、
音声伝達方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、複数の音声が混じり合う音空間において収音された音声に所定の信号処理を施して伝達する音声伝達システム及び音声伝達方法に関する。
【背景技術】
【０００２】
複数の音声が混じり合う空間（以下、「音空間」という）において、複数のマイクロホンを用いて音声を収音し、収音された音声の音声信号から特定方向の音源（音声信号）を抽出する音源分離技術が検討されている（例えば特許文献１参照）。
【０００３】
特許文献１に示す音源分離装置は、音の回折の影響を考慮してマイクロホンの配置の情報を用いずに音を分離する独立成分分析と、音の回折に弱いが目的の方向を指定して音を抽出することが可能なフィルタリング処理とを並列に実行し、フィルタリング処理結果の音のパワースペクトルをリファレンス信号として、リファレンス信号との時間相関が高い音を雑音抑圧性能が高い音とみなし、リファレンス信号との時間相関が高い音を音源分離信号として選択する。これにより、音源分離装置は、例えば携帯電話のように筐体上で音が回折する場合でも、短時間に音の分離を行うことができる。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１１−１９９４７４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
特許文献１では、製品のサイズが予め規定された筐体（例えば携帯電話）に対応して、複数のマイクロホンを有するマイクアレイにより収音された音波形情報（音声信号）から任意の方向の音声が抽出可能となる。
【０００６】
しかし、特許文献１の構成では、製品のサイズを想定したマイクロホンの個数及び配置が前提となるので、数多くの話者やノイズを含む環境音が混じり合った実際の音空間では、複数のマイクロホンにより収音された音声から特定の音源を抽出することは困難であるという課題がある。
【０００７】
本発明は、上述した課題を解決するために、数多くの話者やノイズを含む環境音が混じり合った実際の音空間において、収音された音声から特定の音源を抽出し、抽出後の高品質な音声を自端末又は自端末の通話相手に伝達する音声伝達システム及び音声伝達方法を提供することを目的とする。
【課題を解決するための手段】
【０００８】
本発明は、所定の入力操作を受け付ける第１の通信端末を含む音声伝達システムであって、複数の音声が含まれる音空間において音声を収音する１つ以上の収音部と、前記１つ以上の収音部により収音された前記音声の音声データを記憶する記憶部と、前記記憶部に記憶される前記音声データを、前記１つ以上の収音部と同数の種類の音声データに分離し、個々の分離音声データを生成する分離部と、前記分離部により生成された個々の分離音声データのうち、前記第１の通信端末に対する前記所定の入力操作に応じたいずれかの分離音声データを、切替音声データとして前記第１の通信端末に送信する第１送信部と、を備え、前記第１の通信端末は、前記切替音声データを受信し音声出力する、音声伝達システムである。
【００１０】
また、本発明は、所定の入力操作を受け付ける第１の通信端末を含む音声伝達システムにおける音声伝達方法であって、複数の音声が含まれる音空間に配置された１つ以上の収音装置において音声を収音するステップと、前記１つ以上の収音装置により収音された前記音声の音声データを記憶するステップと、前記音声データを、前記１つ以上の収音装置と同数の種類の音声データに分離し、個々の分離音声データを生成するステップと、分離後の個々の分離音声データのうち、前記第１の通信端末に対する前記所定の入力操作に応じたいずれかの分離音声データを、切替音声データとして前記第１の通信端末に送信するステップと、前記切替音声データを受信し音声出力するステップと、を有する、音声伝達方法である。
【発明の効果】
【００１２】
本発明によれば、数多くの話者やノイズを含む環境音が混じり合った実際の音空間において、収音された音声から特定の音源を抽出することができるので、抽出後の高品質な音声を自端末又は自端末の通話相手に伝達することができる。
【図面の簡単な説明】
【００１３】
【図１】本実施形態の音声伝達システムのシステム構成の一例を示すブロック図
【図２】本実施形態の通信端末の内部構成の一例を示すブロック図
【図３】本実施形態の音声伝達システムの第１のユースケース例を模式的に示す説明図
【図４】本実施形態の音声伝達システムの第２のユースケース例を模式的に示す説明図
【図５】本実施形態の音声伝達システムの第３のユースケース例を模式的に示す説明図
【図６】図５に示す第３のユースケース例における音声伝達システムの時系列に沿った動作概要の一例を説明するフローチャート
【図７】本実施形態の音声伝達システムの第４のユースケース例を模式的に示す説明図
【図８】本実施形態の音声伝達システムの第１動作例の動作手順を説明するフローチャート
【図９】本実施形態の音声伝達システムの第２動作例の動作手順を説明するフローチャート
【図１０】図９の続きの動作手順を説明するフローチャート
【発明を実施するための形態】
【００１４】
以下、本発明に係る音声伝達システム及び音声伝達方法を具体的に開示した実施形態（以下、「本実施形態」という）について、図面を参照して詳細に説明する。
【００１５】
本実施形態の第１動作例では、音声伝達システムは、複数の音声（例えば複数人の声）が混じり合って含まれる音空間ＡＲに配置された１つ以上のマイクロホンにおいて音声を収音し、１つ以上のマイクロホンにより収音された音声の音声データを音空間ＡＲとは異なる場所（例えばクラウドネットワーク網上のサーバ装置）において記憶する。音声伝達システムは、通信端末のユーザによる所定の入力操作により、記憶された音声データを、１つ以上のマイクロホンと同数の種類の音声データ（以下、「分離音声データ」という）に分離し（音源分離）、音源分離後の個々の分離音声データのうちいずれかを通信端末に伝達する。
【００１６】
また、本実施形態の第２動作例では、更に、音声伝達システムは、音声伝達システムは、複数の音声（例えば複数人の声）が混じり合って含まれる音空間ＡＲに配置された１つ以上のマイクロホンにおいて音声を収音し、１つ以上のマイクロホンにより収音された音声の音声データを音空間ＡＲとは異なる場所（例えばクラウドネットワーク網上のサーバ装置）において記憶する。音声伝達システムは、第１の通信端末のユーザによる所定の入力操作により、記憶された音声データを、１つ以上のマイクロホンと同数の種類の音声データ（以下、「分離音声データ」という）に分離し（音源分離）、第１の通信端末のユーザによる所定の入力操作により、分離音声データのうちいずれかを、第１の通信端末の通話相手となる第２の通信端末に伝達する。
【００１７】
以下、本実施形態の音声伝達システムの詳細について、具体的に説明する。以下、上述した第１動作例における通信端末及び第２動作例における第１の通信端末（図１に示す通信端末Ｔ１参照）を使用するユーザを「ユーザＡ」とし、第２動作例における第２の通信端末（図１に示す通信端末Ｔ２参照）を使用するユーザを「ユーザＢ」という。
【００１８】
図１は、本実施形態の音声伝達システム１００のシステム構成の一例を示すブロック図である。図１に示す音声伝達システム１００は、上述した第１動作例では、通信端末Ｔ１と、音空間ＡＲに配置された１つ以上のマイクロホンＭ１，Ｍ２，Ｍ３，Ｍ４と、マイク信号多重伝送装置ＭＸと、クラウドネットワーク網ＮＷ１上に設けられたサーバ装置ＣＤＳと、ＬＴＥネットワーク網ＮＷ２上に設けられた第１選択部ＳＬ１とを含む構成である。なお、音声伝達システム１００は、上述した第２動作例では、上述した第１動作例に対応する構成に加え、通信端末Ｔ２と、ＬＴＥネットワーク網ＮＷ２上に設けられた第１選択部ＳＬ１とを更に含む構成である。
【００１９】
収音部又は収音装置の一例としてのマイクロホンＭ１〜Ｍ４は、それぞれ音空間ＡＲの所定の位置に配置され、音空間ＡＲにおいて複数の音声が混じり合った音声を収音してマイク信号多重伝送装置ＭＸに出力する。
【００２０】
マイク信号多重伝送装置ＭＸは、マイクロホンＭ１〜Ｍ４においてそれぞれ収音された音声の音声データを集約して多重化し、多重化された音声データ（音声信号）を、クラウドネットワーク網ＮＷ１上に設けられたサーバ装置ＣＤＳに送信する。なお、マイク信号多重伝送装置ＭＸは、マイクロホンＭ１〜Ｍ４と電気的に接続している限り、音空間ＡＲ内に配置されてもよいし、音空間ＡＲ以外の場所に配置されてもよい。
【００２１】
サーバ装置ＣＤＳは、インターネット網又はイントラネット網の一例としてのクラウドネットワーク網ＮＷ１上に設けられ、音信号処理伝達部ＰＲを少なくとも含む構成である。なお、図１では、本実施形態のサーバ装置ＣＤＳの動作を説明する上で必要最低限な構成として音信号処理伝達部ＰＲのみ図示しており、マイク信号多重伝送装置ＭＸから送信された音声信号を受信する受信部の図示を省略している。
【００２２】
音信号処理伝達部ＰＲは、制御部ＰＲ１と音源分離部ＰＲ２と記憶部の一例としてのメモリ（不図示）とを少なくとも含む構成である。制御部ＰＲ１及び音源分離部ＰＲ２は、例えばＣＰＵ（Central Processing Unit）、ＭＰＵ（Micro Processing Unit）又はＤＳＰ（Digital Signal Processor）を用いて構成される。音信号処理伝達部ＰＲは、マイク信号多重伝送装置ＭＸにおいて多重化された音声信号を多重分離する。
【００２３】
制御部ＰＲ１は、通信端末Ｔ１，Ｔ２に対するユーザＡ，Ｂの所定の入力操作毎に、音源分離部ＰＲ２による音源分離後により生成された分離音声データを順次切り替えるための制御信号（後述参照）が入力される。制御部ＰＲ１は、この制御信号の入力に応じて、サーバ装置ＣＤＳから送信される分離音声データを順次切り替えるための指示を音源分離部ＰＲ２に出力する。音信号処理伝達部ＰＲは、制御部ＰＲ１の切替指示により、音源分離部ＰＲ２から出力された分離音声データを第１選択部ＳＬ１又は第２選択部ＳＬ２に送信する。
【００２４】
音源分離部ＰＲ２は、メモリに記憶される多重分離後の音声データを用いて音源分離することで、１つ以上のマイクロホン（例えばマイクロホンＭ１〜Ｍ４）と同数の種類の分離音声データ（即ち、マイクロホンの配置数と同数の音源が音空間ＡＲに存在する場合に、各音源から出力された音声の音声データのこと）を生成する。なお、音源分離部ＰＲ２における音源分離の処理は公知技術であり、例えば上述した特許文献１に開示された方法でもよいし、その他の公知技術により開示された方法でもよいので、音源分離の処理の詳細については説明を割愛する。
【００２５】
メモリは、制御部ＰＲ１及び音源分離部ＰＲ２の動作時のワークメモリとして機能し、更に、音信号処理伝達部ＰＲにより多重分離された後の音声信号の音声データを記憶する。
【００２６】
第１選択部ＳＬ１及び第２選択部ＳＬ２は、例えば公衆電話網の一例としてのＬＴＥネットワーク網ＮＷ２上に設けられた無線基地局により構成される。なお、第１選択部ＳＬ１及び第２選択部ＳＬ２が配置されるネットワーク網は、ＬＴＥ（Long Term Evolution）に限定されず、３Ｇ（3rd Generation）網又はＨＳＰＡ（High Speed Packet Access）網でもよい。
【００２７】
第１選択部ＳＬ１は、音源分離部ＰＲ２により生成された１つ以上の音源に対応する分離音声データのうち、制御部ＰＲ１により指示されたいずれかの分離音声データｃ１を受信する。第１選択部ＳＬ１は、ＬＴＥネットワーク網ＮＷ２を介して、いずれかの分離音声データｃ１を通信端末Ｔ１に送信する。
【００２８】
また、第１選択部ＳＬ１は、ユーザＡ，Ｂがそれぞれ通信端末Ｔ１，Ｔ２を用いて通話している場合には、通信端末Ｔ２から送信されたユーザＢの通話音声（言い換えると、サーバ装置ＣＤＳにより音源分離されていない生の通話音声）の音声データｂを受信し、いずれかの分離音声データｃ１又はユーザＢの通話音声の音声データｂを通信端末Ｔ１に送信する。
【００２９】
第２選択部ＳＬ２は、音源分離部ＰＲ２により生成された１つ以上の音源に対応する分離音声データのうち、制御部ＰＲ１により指示されたいずれかの分離音声データｃ２を受信する。第２選択部ＳＬ２は、ＬＴＥネットワーク網ＮＷ２を介して、いずれかの分離音声データｃ２を通信端末Ｔ２に送信する。
【００３０】
また、第２選択部ＳＬ２は、ユーザＡ，Ｂがそれぞれ通信端末Ｔ１，Ｔ２を用いて通話している場合には、通信端末Ｔ１から送信されたユーザＡの通話音声（言い換えると、サーバ装置ＣＤＳにより音源分離されていない生の通話音声）の音声データａを受信し、いずれかの分離音声データｃ２又はユーザＡの通話音声の音声データａを通信端末Ｔ２に送信する。
【００３１】
通信端末Ｔ１，Ｔ２は、音声伝達システム１００における音源分離サービス（つまり、音空間ＡＲにおいて収音された音声の音声データを１つ以上のマイクロホンと同数の種類の音声データに分離するためのサービス）を使用するユーザＡ，Ｂによりそれぞれ操作され、少なくとも無線通信機能及び通話機能を有する無線通信装置である。通信端末Ｔ１，Ｔ２は、例えば携帯電話機、スマートフォン又はコードレス電話子機である。
【００３２】
また、通信端末Ｔ１，Ｔ２には、音源分離サービスを使用するためのアプリケーションＡＰ１，ＡＰ２（図１では単に「アプリ」と略記）が予めインストールされている。言い換えると、図２を参照して後述するように、通信端末Ｔ１，Ｔ２には、音源分離サービスを使用するためのアプリケーションＡＰ１，ＡＰ２のプログラム及びデータが予め保存されており、ユーザＡ，Ｂが音源分離サービスを使用する際に、アプリケーションＡＰ１，ＡＰ２がユーザＡ，Ｂの入力操作に応じて起動する。
【００３３】
図２は、本実施形態の通信端末Ｔ１，Ｔ２の内部構成の一例を示すブロック図である。図２に示す通信端末Ｔ１は、収音部１１と、ＣＰＵ１２と、メモリ１３と、入力部１４と、表示部１５と、音声出力部１６と、アンテナ１８が接続された無線通信部１７とを含む構成である。同様に、図２に示す通信端末Ｔ２は、収音部２１と、ＣＰＵ２２と、メモリ２３と、入力部２４と、表示部２５と、音声出力部２６と、アンテナ２８が接続された無線通信部２７とを含む構成である。以下、通信端末Ｔ１，Ｔ２の構成は同一であるため、図２に示す各部の説明では通信端末Ｔ１を例示して説明し、通信端末Ｔ２の動作の説明としては通信端末Ｔ１の動作と異なる内容について説明する。
【００３４】
収音部１１，２１は、ユーザＡ，Ｂが通信端末Ｔ１，Ｔ２を把持した状態で通話（つまりハンドセット通話）する際の通話音声、又はユーザＡ，Ｂが通信端末Ｔ１，Ｔ２を把持していない状態で通話（例えばハンズフリー通話）する際の通話音声を収音してＣＰＵ１２に出力する。なお、収音部１１，２１により収音された通話音声の音声データはアナログ信号であるが、収音部１１，２１に含まれるＡＤＣ（Analog Digital Converter、図示略）によりデジタル信号に変換されてＣＰＵ１２，２２に入力される。
【００３５】
ＣＰＵ１２，２２は、通信端末Ｔ１，Ｔ２の各部の動作を全体的に統括するための制御処理、他の各部との間のデータの入出力処理、データの演算（計算）処理及びデータの記憶処理を行う。ＣＰＵ１２，２２は、例えば音源分離サービスを報知させるための信号（報知信号）を、アンテナ１８，２８を介して無線通信部１７，２７において受信した場合には、音源分離サービスを使用するためのアプリケーションＡＰ１，ＡＰ２を起動する。また、ＣＰＵ１２，２２は、音源分離サービスを使用するためのアプリケーションＡＰ１，ＡＰ２を起動した後、例えば音空間ＡＲの地図情報が予めメモリ１３，２３において保存されている場合には、音空間ＡＲの地図情報を表示部１５，２５に表示させる。
【００３６】
メモリ１３，２３は、例えばＲＡＭ（Random Access Memory）、ＲＯＭ（Read Only Memory）、不揮発性又は揮発性の半導体メモリを用いて構成され、ＣＰＵ１２，２２の動作時のワークメモリとして機能し、更に、ＣＰＵ１２，２２を動作させるための所定のプログラム（例えばアプリケーションＡＰ１，ＡＰ２）及びデータを保存している。
【００３７】
入力部１４，２４は、ユーザＡ，Ｂの入力操作を受け付け、ＣＰＵ１２，２２に通知するためのユーザインターフェース（ＵＩ：User Interface）であり、例えば表示部１５，２５の画面に対応して配置され、ユーザＡ，Ｂの指又はスタイラスペンによって操作が可能なタッチパネル又はタッチパッドを用いて構成される。
【００３８】
表示部１５，２５は、例えばＬＣＤ（Liquid Crystal Display）又は有機ＥＬ（Electroluminescence）を用いて構成され、ユーザＡ，Ｂの入力部１４，２４に対する所定の入力操作により、例えば音源分離サービスを使用するためのアプリケーションＡＰ１，ＡＰ２の画面を表示する。
【００３９】
音声出力部（例えばスピーカ）１６，２６は、例えばユーザＡ，Ｂの入力操作に応じて、第１選択部ＳＬ１から送信されたいずれかの分離音声データｃ１又はユーザＢの通話音声の音声データｂの音声を出力する。
【００４０】
無線通信部１７は、無線通信（例えばＬＴＥ、３Ｇ、ＨＳＰＡ、Ｗｉ−ｆｉ（登録商標）、Ｂｌｕｅｔｏｏｔｈ（登録商標））用のアンテナ１８が接続され、第１選択部ＳＬ１から送信されたいずれかの分離音声データｃ１又はユーザＢの通話音声の音声データｂを受信する。無線通信部２７は、無線通信（例えばＬＴＥ、３Ｇ、ＨＳＰＡ、Ｗｉ−ｆｉ（登録商標）、Ｂｌｕｅｔｏｏｔｈ（登録商標））用のアンテナ２８が接続され、第２選択部ＳＬ２から送信されたいずれかの分離音声データｃ２又はユーザＡの通話音声の音声データａを受信する。
【００４１】
また、無線通信部１７は、ユーザＡの入力部１４に対する入力操作に応じて、音源分離部ＰＲ２による音源分離後により生成された分離音声データを順次切り替えるためにＣＰＵ１２が生成した制御信号を、アンテナ１８を介してサーバ装置ＣＤＳに送信する。無線通信部２７は、ユーザＢの入力部２４に対する入力操作に応じて、第２選択部ＳＬ２から送信されるいずれかの分離音声データｃ２又はユーザＡの通話音声の音声データａを切り替えるためにＣＰＵ２２が生成した制御信号を、アンテナ２８を介してサーバ装置ＣＤＳに送信する。
【００４２】
次に、本実施形態の音声伝達システムにおける音源分離サービスによる各種のユースケース例について、図３〜図７を参照して説明する。なお、各種のユースケース例の説明を簡単にするために、図３、図４、図５及び図７では、図１に示すマイク信号多重伝送装置ＭＸと、第１選択部ＳＬ１及び第２選択部ＳＬ２を含むＬＴＥネットワーク網ＮＷ２との図示は省略されている。
【００４３】
（第１のユースケース例）
図３は、本実施形態の音声伝達システム１００の第１のユースケース例を模式的に示す説明図である。第１のユースケース例では、音空間ＡＲ（例えばインタビュールーム）に複数のマイクロホンＭ１ａ，Ｍ２ａ，Ｍ３ａ，Ｍ４ａ，Ｍ５ａが配置され、日本語を話す話者Ｐｓ１ａの周囲で、英語の通訳者Ｔｒ１、仏語の通訳者Ｔｒ２及び中国語の通訳者Ｔｒ３により、話者Ｐｓ１ａの会話内容が多言語に同時通訳されている状況を想定する。この場合、サーバ装置ＣＤＳには、話者Ｐｓ１ａの日本語音声と通訳者Ｔｒ１の英語音声と通訳者Ｔｒ２の仏語音声と通訳者Ｔｒ３の中国語音声とが少なくとも収音された音声データが記憶される。
【００４４】
なお、図３に示す第１のユースケース例では、音源分離サービスを使用するためのアプリケーションＡＰ１がインストールされた通信端末Ｔ１のユーザＰｓ２ａは、音空間ＡＲ内にいてもいなくてもよい。
【００４５】
サーバ装置ＣＤＳは、ユーザＰｓ２ａの通信端末Ｔ１に対する所定の入力操作により、音空間ＡＲ内の各マイクロホンＭ１ａ〜Ｍ５ａにより収音された音声の音声データを、マイクロホンの個数と同数の種類の音源（例えば、日本語音声、英語音声、仏語音声、中国語音声、その他音声）に音源分離し、いずれかの分離音声データ（例えば英語音声）を通信端末Ｔ１に送信する。通信端末Ｔ１は、ユーザＰｓ２ａの所定の入力操作毎に、サーバ装置ＣＤＳから送信された分離音声データを順次切り替えて出力する。これにより、ユーザＰｓ２ａは、音空間ＡＲであるインタビュールームにおいて日本語で会話している話者Ｐｓ１ａの内容を、ユーザＰｓ２ａ自身が理解可能な言語（例えば英語）で高品質な音声を聴取することができる。
【００４６】
（第２のユースケース例）
図４は、本実施形態の音声伝達システム１００の第２のユースケース例を模式的に示す説明図である。第２のユースケース例では、音空間ＡＲ（例えば東京のコンサートホール）に複数のマイクロホンＭ１ｂ，Ｍ２ｂ，Ｍ３ｂ，Ｍ４ｂ，Ｍ５ｂ，Ｍ６ｂ，Ｍ７ｂ，Ｍ８ｂが配置され、歌手、ピアノの演奏者、バイオリンの演奏者、クラリネットの演奏者、フルートの演奏者によりオーケストラが演奏されている状況を想定する。この場合、サーバ装置ＣＤＳには、歌手の歌の音声と、ピアノの演奏者によるピアノの音と、バイオリンの演奏者によるバイオリンの音と、クラリネットの演奏者によるクラリネットの音と、フルートの演奏者によるフルートの音と、ノイズ源によるノイズ音とが少なくとも収音された音声データが記憶される。
【００４７】
なお、図４に示す第２のユースケース例では、音源分離サービスを使用するためのアプリケーションＡＰ１がインストールされた通信端末Ｔ１のユーザＰｓ１ｂ，Ｐｓ２ｂは、例えばコンサートホールから遠く離れた大阪にいてもよいし、コンサートホール付近にいてもよい。また、ユーザＰｓ１ｂ，Ｐｓ２ｂの通信端末Ｔ１の画面には、音源分離サービスを使用するためのアプリケーションＡＰ１の画面例として、音空間ＡＲ（例えばコンサートホールの見取り図）が表示部１５上に表示されている。
【００４８】
サーバ装置ＣＤＳは、例えば大阪にいるユーザＰｓ１ｂの通信端末Ｔ１に対する所定の入力操作により、音空間ＡＲ内の各マイクロホンＭ１ｂ〜Ｍ８ｂにより収音された音声の音声データを、マイクロホンの個数と同数の種類の音源（例えば、歌手の歌の音声と、ピアノの演奏者によるピアノの音と、バイオリンの演奏者によるバイオリンの音と、クラリネットの演奏者によるクラリネットの音と、フルートの演奏者によるフルートの音と、ノイズ源によるノイズ音、その他音声）に音源分離し、いずれかの分離音声データ（例えばピアノの音）を通信端末Ｔ１に送信する。通信端末Ｔ１は、ユーザＰｓ１ｂの所定の入力操作毎に、サーバ装置ＣＤＳから送信された分離音声データを順次切り替えて出力する。これにより、ユーザＰｓ１ｂは、音空間ＡＲである東京のコンサートホールにおいて演奏されているオーケストラの中で、自己が指定した楽器（例えばピアノ）の音源分離後の高品質な音声だけを聴取することができる。
【００４９】
同様に、サーバ装置ＣＤＳは、例えばコンサートホール付近にいるユーザＰｓ２ｂの通信端末Ｔ１に対する所定の入力操作により、音空間ＡＲ内の各マイクロホンＭ１ｂ〜Ｍ８ｂにより収音された音声の音声データを、マイクロホンの個数と同数の種類の音源（例えば、歌手の歌の音声と、ピアノの演奏者によるピアノの音と、バイオリンの演奏者によるバイオリンの音と、クラリネットの演奏者によるクラリネットの音と、フルートの演奏者によるフルートの音と、ノイズ源によるノイズ音、その他音声）に音源分離し、いずれかの分離音声データ（例えばフルートの音）を通信端末Ｔ１に送信する。通信端末Ｔ１は、ユーザＰｓ２ｂの所定の入力操作毎に、サーバ装置ＣＤＳから送信された分離音声データを順次切り替えて出力する。これにより、ユーザＰｓ２ｂは、音空間ＡＲである東京のコンサートホールにおいて演奏されているオーケストラの中で、自己が指定した楽器（例えばフルート）の音源分離後の高品質な音声だけを聴取することができる。
【００５０】
（第３のユースケース例）
図５は、本実施形態の音声伝達システムの第３のユースケース例を模式的に示す説明図である。図６は、図５に示す第３のユースケース例における音声伝達システムの時系列に沿った動作概要の一例を説明するフローチャートである。第３のユースケース例では、音空間ＡＲ（例えば複数の店舗が並べて配置されたショッピングモールＳＭＬ）に複数のマイクロホンＭ１ｃ，Ｍ２ｃ，Ｍ３ｃ，Ｍ４ｃ，Ｍ５ｃ，Ｍ６ｃ，Ｍ７ｃ，Ｍ８ｃ，Ｍ９ｃが配置され、ユーザＰｓ１ｃがショッピングモールにショッピングに来た状況を想定する。この場合、サーバ装置ＣＤＳには、各店舗（具体的には、魚屋、雑貨屋、本屋、靴屋、すし屋、ラーメン屋、インフォメーション、服屋）の商品又はサービスのＰＲのスピーチが少なくとも収音された音声データが記憶される。
【００５１】
なお、図５に示す第３のユースケース例では、ユーザＰｓ１ｃの通信端末Ｔ１の画面には、音源分離サービスを使用するためのアプリケーションＡＰ１の画面例として、音空間ＡＲ（例えばショッピングモールＳＭＬ）の各店舗の地図情報が表示部１５上に表示されている。
【００５２】
サーバ装置ＣＤＳは、ユーザＰｓ１ｃの通信端末Ｔ１に対する所定の入力操作により、音空間ＡＲ（例えばショッピングモールＳＭＬ）内の各マイクロホンＭ１ｃ〜Ｍ９ｃにより収音された音声の音声データを、マイクロホンの個数と同数の種類の音源（例えば、魚屋からの音声、雑貨屋からの音声、本屋からの音声、靴屋からの音声、すし屋からの音声、ラーメン屋からの音声、インフォメーションからの音声、服屋からの音声、その他音声）に音源分離し、いずれかの分離音声データ（例えば本屋からの音声）を通信端末Ｔ１に送信する。通信端末Ｔ１は、ユーザＰｓ１ｃの所定の入力操作毎に、サーバ装置ＣＤＳから送信された分離音声データを順次切り替えて出力する。これにより、ユーザＰｓ１ｃは、音空間ＡＲであるショッピングモールＳＭＬにおいて複数の店舗からの音声が混じって聞こえる音声から、ユーザＰｓ１ｃ自身が希望する高品質な音声（例えば本屋からの音声）を聴取することができる。
【００５３】
図６において、買い物客であるユーザＰｓ１ｃがショッピングモールＳＭＬに入ると（ＳＴ１）、ユーザＰｓ１ｃが所持する通信端末Ｔ１は、本実施形態の音声伝達システム１００により実現可能な音源分離サービスの対象エリアに位置することの報告（報知信号）を、例えばＢｌｕｅｔｏｏｔｈ（登録商標）によって受信する（ＳＴ２）。報知信号は、例えば音源分離サービスを提供するショッピングモールの運営業者が設置した所定の音源分離サービス提供装置（不図示）から送信される。
【００５４】
通信端末Ｔ１は、ステップＳＴ２の報知信号を受信すると、音源分離サービスを使用するためのアプリケーションＡＰ１を起動し（ＳＴ３）、表示部１５の画面上に、現在ユーザＰｓ１ｃが位置する音空間ＡＲ（例えばショッピングモールＳＭＬ）の見取り図（図５参照）を表示させる（ＳＴ４）。なお、ステップＳＴ４の処理は通信端末Ｔ１において省略されてもよい。
【００５５】
上述したように、サーバ装置ＣＤＳには、各店舗（具体的には、魚屋、雑貨屋、本屋、靴屋、すし屋、ラーメン屋、インフォメーション、服屋）の商品又はサービスのＰＲのスピーチが少なくとも収音された音声データが記憶される。サーバ装置ＣＤＳは、ユーザＰｓ１ｃの通信端末Ｔ１に対する所定の入力操作により、音空間ＡＲ（例えばショッピングモールＳＭＬ）内の各マイクロホンＭ１ｃ〜Ｍ９ｃにより収音された音声の音声データを、マイクロホンの個数と同数の種類の音源に音源分離し、いずれかの分離音声データ（例えば本屋からの音声）を通信端末Ｔ１に送信する。
【００５６】
通信端末Ｔ１は、ユーザＰｓ１ｃの所定の入力操作毎に、サーバ装置ＣＤＳから送信された分離音声データを順次切り替えて出力する（ＳＴ５）。ユーザＰｓ１ｃが希望した分離音声データが通信端末Ｔ１から出力された後、ユーザＰｓ１ｃの入力操作により、音源分離サービスを使用するためのアプリケーションＡＰ１が終了する（ＳＴ６）。
【００５７】
（第４のユースケース例）
図７は、本実施形態の音声伝達システム１００の第４のユースケース例を模式的に示す説明図である。第４のユースケース例では、音空間ＡＲ（例えばオフィスルーム）に複数のマイクロホンＭ１ｄ，Ｍ２ｄ，Ｍ３ｄ，Ｍ４ｄ，Ｍ５ｄが配置され、大声で話している話者Ｐｓ１の周囲に配置された商談スペースＤｋで商談している話者Ｐｓ２，Ｐｓ３が会話している状況を想定する。この場合、サーバ装置ＣＤＳには、話者Ｐｓ１の音声と話者Ｐｓ２の音声と話者Ｐｓ３の１の音声とが少なくとも収音された音声データが記憶される。
【００５８】
なお、図７に示す第４のユースケース例では、音源分離サービスを使用するためのアプリケーションＡＰ１がインストールされた通信端末Ｔ１のユーザである話者Ｐｓ２は、音空間ＡＲ内にいない通信端末Ｔ２の通話相手Ｐｓ４と通話しており、通信端末Ｔ２にも音源分離サービスを使用するためのアプリケーションＡＰ２がインストールされている。また、話者Ｐｓ２，通話相手Ｐｓ４がともに音源分離サービスを使用するためのアプリケーションＡＰ１，ＡＰ２をそれぞれ通信端末Ｔ１，Ｔ２において起動していない状態で通話する際には、通信端末Ｔ１，Ｔ２は、話者Ｐｓ２，通話相手Ｐｓ４の音声（つまり、通信端末Ｔ１，Ｔ２が収音した生の通話音声）を、例えばＬＴＥネットワーク網ＮＷ２を介して送受信する。
【００５９】
サーバ装置ＣＤＳは、話者Ｐｓ２の通信端末Ｔ１に対する所定の入力操作により、音空間ＡＲ内の各マイクロホンＭ１ｄ〜Ｍ５ｄにより収音された音声の音声データを、マイクロホンの個数と同数の種類の音源（例えば、話者Ｐｓ１の音声、話者Ｐｓ２の音声、話者Ｐｓ３の音声、その他音声）に音源分離し、いずれかの分離音声データ（例えば話者Ｐｓ３の音声）を通信端末Ｔ１に送信する。通信端末Ｔ１は、話者Ｐｓ２の所定の入力操作毎に、サーバ装置ＣＤＳから送信された分離音声データを順次切り替えて出力する。通信端末Ｔ２は、話者Ｐｓ２が通信端末Ｔ１に対していずれかの分離音声データ（例えば話者Ｐｓ３の分離音声データ）を指定操作すると、指定された分離音声データを、サーバ装置ＣＤＳを介して受信し、話者Ｐｓ２の音声（受信音声）を話者Ｐｓ３の分離音声データに切り替えて出力する。これにより、話者Ｐｓ２は、音空間ＡＲであるオフィスルームにおいて話者Ｐｓ２と会話している話者Ｐｓ３の会話内容の高品質な分離音声データを、オフィスルームにいない遠く離れた通話相手Ｐｓ４に聴取させることができる。
【００６０】
次に、本実施形態の音声伝達システムの第１動作例の動作手順について、図１及び図８を参照して説明する。図８は、本実施形態の音声伝達システム１００の第１動作例の動作手順を説明するフローチャートである。なお、以下の説明では、説明を簡単にするために、通信端末Ｔ１，Ｔ２とサーバ装置ＣＤＳの動作を主体的に説明し、必要に応じて第１選択部ＳＬ１及び第２選択部ＳＬ２の動作を説明し、マイク信号多重伝送装置ＭＸの動作の説明は省略する。
【００６１】
図８において、ユーザＡは通信端末Ｔ１に対し、音源分離サービスを使用するためのアプリケーションＡＰ１の起動操作を行う。これにより、通信端末Ｔ１は、音源分離サービスを使用するためのアプリケーションＡＰ１を起動する（ＳＴ１１）。通信端末Ｔ１は、ユーザＡの所定の入力操作により、音源分離サービスの対象エリアである音空間ＡＲにおける音源分離、及び音源分離された分離音声データの聴取の開始を要求するための開始信号をサーバ装置ＣＤＳに送信する（ＳＴ１２）。
【００６２】
サーバ装置ＣＤＳは、音空間ＡＲにおいて収音された複数の種類の音声が混じり合った音声データをサーバ装置ＣＤＳ内のメモリ（不図示）から読み出し、多重分離後の音声データを用いて音源分離することで、１つ以上のマイクロホン（例えばマイクロホンＭ１〜Ｍ４）と同数の種類の分離音声データ（即ち、マイクロホンの配置数と同数の音源が音空間ＡＲに存在する場合に、各音源から出力された音声の音声データのこと）を生成する（ＳＴ２１）。
【００６３】
サーバ装置ＣＤＳは、制御部ＰＲ１において、ステップＳＴ２１において生成した１つ以上の分離音声データの序数を示すパラメータｋを初期化し（ＳＴ２２）、ｋ＝１に対応する分離音声データを、第１選択部ＳＬ１を介して通信端末Ｔ１に送信する（ＳＴ２３）。
【００６４】
通信端末Ｔ１は、ステップＳＴ２３において送信された分離音声データを受信し、音声出力部１６において出力する（ＳＴ１３、ユーザＡにおける仮聴取）。なお、このステップＳＴ１３の時点では、サーバ装置ＣＤＳにより生成されたいずれかの分離音声データｃ１が通信端末において出力（再生）される。
【００６５】
ここで、ユーザＡは音声出力部１６において出力された分離音声データが気に入らない場合には（ＳＴ１４、ＮＯ）、その旨の入力操作（例えば、現在出力されている分離音声データ以外の他の分離音声データに切り替えるための入力操作）を行い、通信端末Ｔ１は、現在出力されている分離音声データ以外の他の分離音声データに切り替えるための次選択要求信号をサーバ装置ＣＤＳに送信する。
【００６６】
サーバ装置ＣＤＳは、通信端末Ｔ１から送信された次選択要求信号に応じて、制御部ＰＲ１において、ステップＳＴ２１において生成した１つ以上の分離音声データの序数を示すパラメータｋをインクリメントし（ＳＴ２４）、インクリメント後のパラメータｋ（例えばｋ＝２）に対応する分離音声データを、第１選択部ＳＬ１を介して通信端末Ｔ１に送信する（ＳＴ２３）。このように、本実施形態の音声伝達システム１００の第１動作例では、ユーザＡが聴取したい分離音声データが見つかるまで、通信端末Ｔ１とサーバ装置ＣＤＳとの間で、分離音声データの送受信が繰り返され、通信端末Ｔ１は、聴取したい分離音声データが見つかった後、その分離音声データの聴取を継続することができる。
【００６７】
一方、ユーザＡは音声出力部１６において出力された分離音声データが気に入った場合には（ＳＴ１４、ＹＥＳ）、その旨の入力操作（例えば、現在出力されている分離音声データの出力（再生）を継続するための入力操作）を行い、通信端末Ｔ１は、現在出力されている分離音声データの出力（再生）を継続する（ＳＴ１５、ユーザＡにおける本聴取）。ユーザＡがアプリケーションＡＰ１の終了を指示するための入力操作を行った場合には（ＳＴ１６）、通信端末Ｔ１は、アプリケーションＡＰ１を終了する。
【００６８】
次に、本実施形態の音声伝達システムの第２動作例の動作手順について、図１、図９及び図１０を参照して説明する。図９は、本実施形態の音声伝達システム１００の第２動作例の動作手順を説明するフローチャートである。図１０は、図９の続きの動作手順を説明するフローチャートである。図９及び図１０の説明の前提として、ユーザＡが使用する通信端末Ｔ１を送話側、ユーザＢが使用する通信端末Ｔ２を受話側とする。なお、図９の説明では、図８と重複する動作については同一のステップ番号を付与して説明を省略し、異なる内容について説明する。
【００６９】
図９において、通信端末Ｔ１は、ユーザＡとユーザＢとの間の通話を開始するためのユーザＡの所定の入力操作により、通信端末Ｔ２との間で通話音声の送受信を開始し、同様に、通信端末Ｔ２は、ユーザＡとユーザＢとの間の通話を開始するためのユーザＢの所定の入力操作により、通信端末Ｔ１との間で通話音声の送受信を開始する（ＳＴ５１）。従って、通信端末Ｔ１から通信端末Ｔ２に向けて送信される音声の音声データは、ユーザＡの通話音声の音声データａであり、通信端末Ｔ２から通信端末Ｔ１に向けて送信される音声の音声データは、ユーザＢの通話音声の音声データｂである。
【００７０】
ユーザＡは通信端末Ｔ１に対し、送信者モードとして音源分離サービスを使用するためのアプリケーションＡＰ１の起動操作を行う。これにより、通信端末Ｔ１は、音源分離サービスを使用するためのアプリケーションＡＰ１を送信者モードとして起動する（ＳＴ３２）。同様に、ユーザＢは通信端末Ｔ２に対し、受信者モードとして音源分離サービスを使用するためのアプリケーションＡＰ２の起動操作を行う。これにより、通信端末Ｔ２は、音源分離サービスを使用するためのアプリケーションＡＰ２を受信者モードとして起動する（ＳＴ５２）。
【００７１】
通信端末Ｔ１は、ステップＳＴ２３においてサーバ装置ＣＤＳから送信されたパラメータｋ＝１に対応する分離音声データを受信し、音声出力部１６において出力する（ＳＴ１３、ユーザＡにおける仮聴取）。なお、このステップＳＴ１３の時点では、サーバ装置ＣＤＳにより生成されたいずれかの分離音声データｃ１が通信端末において出力（再生）される。
【００７２】
ユーザＡは音声出力部１６において出力された分離音声データが気に入った場合には（ＳＴ１４、ＹＥＳ）、通話相手であるユーザＢに伝達するための音声データ（分離音声データ）を決定した旨の操作を行う。これにより、通信端末Ｔ１は、ユーザＡの決定操作に従い、通信端末Ｔ２に伝達するための分離音声データを決定した旨の決定信号をサーバ装置ＣＤＳ及び通信端末Ｔ２にそれぞれ送信する（ＳＴ３３）。なお、決定信号には、ユーザＡにより決定されたいずれかの分離音声データの種別を示す情報が含まれる。
【００７３】
サーバ装置ＣＤＳは、ステップＳＴ３３において通信端末Ｔ１から送信された決定信号に応じて、決定信号に対応するいずれかの分離音声データを通信端末Ｔ２に送信する（ＳＴ４１）。
【００７４】
一方、通信端末Ｔ２は、ステップＳＴ３３において通信端末Ｔ１から送信された決定信号を受信した場合には（ＳＴ５３、ＹＥＳ）、音声出力部２６から出力する受信音声を、通信端末Ｔ１から送信されたユーザＡの通話音声の音声データａから、ステップＳＴ４１においてサーバ装置ＣＤＳが第２選択部ＳＬ２を介して送信したいずれかの分離音声データｃ２に切り替える（ＳＴ５４）。
【００７５】
なお、通信端末Ｔ２は、ユーザＢが聴取先の切替操作を行った場合には（ＳＴ５５、ＹＥＳ）、音声出力部２６から出力する受信音声を、通信端末Ｔ１から送信されたユーザＡの通話音声の音声データａと、ステップＳＴ４１においてサーバ装置ＣＤＳが第２選択部ＳＬ２を介して送信したいずれかの分離音声データｃ２との間で切り替える（ＳＴ５６）。
【００７６】
ステップＳＴ５４の後、ユーザＢが聴取先の切替操作を行わない場合には（ＳＴ５５、ＮＯ）、通信端末Ｔ２は、通信端末Ｔ１との間で、ユーザＡ，Ｂ間の通話音声の送受信を継続する（ＳＴ５７）。同様に、通信端末Ｔ１は、通信端末Ｔ２との間で、ユーザＡ，Ｂ間の通話音声の送受信を継続する（ＳＴ３４）。なお、通信端末Ｔ２から通信端末Ｔ１に向けて送信される音声の音声データは、ユーザＢの通話音声の音声データｂであるが、通信端末Ｔ１から通信端末Ｔ２に向けて送信される音声の音声データは、ユーザＡの通話音声の音声データａ、又はサーバ装置ＣＤＳが第２選択部ＳＬ２を介して送信したいずれかの分離音声データｃ２である。
【００７７】
ステップＳＴ３４の後、ユーザＡがアプリケーションＡＰ１の終了を指示するための入力操作を行った場合には（ＳＴ３５）、通信端末Ｔ１は、アプリケーションＡＰ１を終了し、アプリケーションＡＰ１の終了を通知するためのアプリ終了通知信号をサーバ装置ＣＤＳ及び通信端末Ｔ２にそれぞれ送信する。サーバ装置ＣＤＳは、通信端末Ｔ１からのアプリ終了通知信号を受信した場合には（ＳＴ４２、ＹＥＳ）、音源分離サービスにおける動作を終了する。
【００７８】
また、通信端末Ｔ２は、通信端末Ｔ１からのアプリ終了通知信号を受信した場合には、その旨を表示部２５の画面に表示し、ユーザＢのアプリケーションＡＰ２の終了を指示するための入力操作を行った場合に（ＳＴ５８）、音声出力部２６から出力する受信音声を、通信端末Ｔ１から送信されたユーザＡの通話音声の音声データａと、ステップＳＴ４１においてサーバ装置ＣＤＳが第２選択部ＳＬ２を介して送信したいずれかの分離音声データｃ２とのうち前者に切り替える（ＳＴ５９）。
【００７９】
ステップＳＴ３５の後、通信端末Ｔ１は、通信端末Ｔ２との間で、ユーザＡ，Ｂ間の通話音声の送受信を継続する（ＳＴ３６）。同様に、通信端末Ｔ２は、通信端末Ｔ１との間で、ユーザＡ，Ｂ間の通話音声の送受信を継続する（ＳＴ６０）。なお、音源分離サービスのアプリケーションＡＰ１，ＡＰ２が通信端末Ｔ１，Ｔ２において終了しているので、通信端末Ｔ１から通信端末Ｔ２に向けて送信される音声の音声データは、ユーザＡの通話音声の音声データａであり、通信端末Ｔ２から通信端末Ｔ１に向けて送信される音声の音声データは、ユーザＢの通話音声の音声データｂとなる。
【００８０】
通信端末Ｔ１，Ｔ２は、通信端末Ｔ２，Ｔ１との間で、ユーザＡ，Ｂ間の通話が終了すると、通話音声の送受信を終了する（ＳＴ３７，ＳＴ６１）。
【００８１】
以上により、本実施形態の音声伝達システム１００は、複数の音声が含まれる音空間ＡＲに配置された複数のマイクロホンＭ１〜Ｍ４において音声を収音し、これらのマイクロホンＭ１〜Ｍ４により収音された音声の音声データを、クラウドネットワーク網ＮＷ１上のサーバ装置ＣＤＳにおいて記憶する。サーバ装置ＣＤＳは、音源分離部ＰＲ２において記憶した音声データを、マイクロホンＭ１〜Ｍ４と同数の種類の音声データ（分離音声データ）に分離し、通信端末Ｔ１に対する所定の入力操作により、いずれかの分離音声データをＬＴＥネットワーク網ＮＷ２上の第１選択部ＳＬ１に送信する。第１選択部ＳＬ１は、音源分離部ＰＲ２により生成された個々の分離音声データのうちいずれかを通信端末Ｔ１に送信する。
【００８２】
これにより、音声伝達システム１００は、数多くの話者やノイズを含む環境音が混じり合った実際の音空間ＡＲにおいて、収音された音声から特定の音源となる分離音声データを抽出することができるので、通信端末Ｔ１に対する所定の入力操作により、通信端末Ｔ１のユーザＡが希望する高品質な分離音声データを自端末である通信端末Ｔ１に伝達することができる。
【００８３】
また、音声伝達システム１００は、通信端末Ｔ１に対する所定の入力操作毎に、サーバ装置ＣＤＳの制御部ＰＲ１において、個々の分離音声データを順次切り替えて音源分離部ＰＲ２から第１選択部ＳＬ１に送信させる。通信端末Ｔ１は、ユーザＡの所定の入力操作に応じて、第１選択部ＳＬ１から送信されたいずれかの分離音声データを受信して出力する。
【００８４】
これにより、音声伝達システム１００は、通信端末Ｔ１に対するユーザＡの簡易な入力操作により、サーバ装置ＣＤＳにおいて１つ以上の音源として分離された分離音声データの中からユーザＡが希望する高品質な分離音声データを選択的に切り替えて通信端末Ｔ１に伝達することができる。
【００８５】
また、音声伝達システム１００は、サーバ装置ＣＤＳにおいて、音源分離部ＰＲ２において記憶した音声データを、マイクロホンＭ１〜Ｍ４と同数の種類の音声データ（分離音声データ）に分離し、通信端末Ｔ２に対する所定の入力操作により、いずれかの分離音声データをＬＴＥネットワーク網ＮＷ２上の第２選択部ＳＬ２に送信する。第２選択部ＳＬ２は、通信端末Ｔ１から送信された音声データ（例えば通信端末Ｔ１が収音したユーザＡの生の通話音声）、又は音源分離部ＰＲ２により生成された個々の分離音声データのうちいずれかを通信端末Ｔ２に送信する。
【００８６】
これにより、音声伝達システム１００は、数多くの話者やノイズを含む環境音が混じり合った実際の音空間ＡＲにおいて、収音された音声から特定の音源となる分離音声データを抽出することができるので、通信端末Ｔ１の通話相手となる通信端末Ｔ２に対する所定の入力操作により、通話相手であるユーザＡの音声の音声データ又はサーバ装置ＣＤＳにより生成された高品質な分離音声データを、通信端末Ｔ２のユーザＢの好みに合わせて通信端末Ｔ１の通話相手である通信端末Ｔ２に選択的に伝達することができる。
【００８７】
また、音声伝達システム１００は、音源分離部ＰＲ２により生成された個々の分離音声データのうちいずれかを通信端末Ｔ１に送信し、通信端末Ｔ１に対するユーザＡの所定の入力操作毎に、個々の分離音声データを順次切り替えて音源分離部ＰＲ２から第１選択部ＳＬ１に送信させる。通信端末Ｔ１は、ユーザＡの所定の入力操作に応じて、第１選択部ＳＬ１から送信されたいずれかの分離音声データを受信して出力する。
【００８８】
これにより、音声伝達システム１００は、通信端末Ｔ１に対するユーザＡの簡易な入力操作により、サーバ装置ＣＤＳにおいて１つ以上の音源として分離された分離音声データの中から通話相手であるユーザＢが希望する高品質な分離音声データを、ユーザＡの希望に合わせて通信端末Ｔ１に伝達することができるので、通信端末Ｔ１において予め聴取した上で、通信端末Ｔ１により指定された高品質な分離音声データを通信端末Ｔ２に伝達することができる。
【００８９】
また、音声伝達システム１００は、制御部ＰＲ１において、通信端末Ｔ１に対する所定の入力操作に応じて、いずれかの分離音声データを音源分離部ＰＲ２から第２選択部ＳＬ２に出力させる。第２選択部ＳＬ２は、音源分離部ＰＲ２から出力されたいずれかの分離音声データを第２の通信端末に送信する。
【００９０】
これにより、音声伝達システム１００は、通信端末Ｔ１に伝達された分離音声データをユーザＡが聴取した上で選択されたいずれかの分離音声データを通信端末Ｔ２に伝達することができる。
【００９１】
また、音声伝達システム１００では、通信端末Ｔ１は、音空間ＡＲにおいて収音された音声の音声データをマイクロホンＭ１〜Ｍ４と同数の種類の音声データに分離する音声分離サービスの報知信号を受信した場合には、音声分離サービスを享受するためのサービス開始操作に応じて、ＬＴＥネットワーク網ＮＷ２上の第１選択部ＳＬ１から送信されたいずれかの分離音声データを受信する。
【００９２】
これにより、音声伝達システム１００は、通信端末Ｔ１のユーザＡが音声分離サービスの存在を知らなくても、音声分離サービスの報知信号を通信端末Ｔ１において受信した際には、ユーザＡの簡易なサービス開始操作により、音源分離により生成された分離音声データを通信端末Ｔ１において受信してユーザＡに聴取させることができ、又はその分離音声データを通信端末Ｔ２に伝達することができる。
【００９３】
また、音声伝達システム１００では、通信端末Ｔ１は、音空間ＡＲにおいて収音された音声の音声データをマイクロホンＭ１〜Ｍ４と同数の種類の音声データに分離する音声分離サービスの対象エリアに関する情報の報知信号を受信する。
【００９４】
これにより、音声伝達システム１００は、通信端末Ｔ１のユーザＡが音声分離サービスの対象エリアに関する情報を知らなくても、音声分離サービスの対象エリアに関する情報を受信した際には、ユーザＡの簡易な入力操作により、ユーザＡにより指定されたいずれかの対象エリアに対応して音源分離により生成された分離音声データを通信端末Ｔ１において受信してユーザＡに聴取させることができ、又はその分離音声データを通信端末Ｔ２に伝達することができる。
【００９５】
また、音声伝達システム１００では、音源分離部ＰＲ２は、１つ以上のマイクロホンＭ１〜Ｍ４のうち１つ以上のマイクロホンを選択するための通信端末Ｔ１からの選択信号に応じて、選択された１つ以上のマイクロホン（例えばマイクロホンＭ１，Ｍ２）により収音された音声の音声データを用いて、選択された１つ以上のマイクロホン（例えばマイクロホンＭ１，Ｍ２）と同数の種類の音声データに分離する。
【００９６】
これにより、音声伝達システム１００は、音空間ＡＲにおいてユーザＡが聴取したいと考える相手（例えば講演者）の周囲にあるマイクロホンを通信端末Ｔ１に対して選択操作することで、ユーザＡが聴取したいと考える相手（例えば講演者）から遠く離れた位置におけるノイズ源（例えばモータ音）の収音を排除して、その相手の音声を効率的に収音することができる。
【００９７】
以上、図面を参照しながら各種の実施形態について説明したが、本発明はかかる例に限定されないことは言うまでもない。当業者であれば、特許請求の範囲に記載された範疇内において、各種の変更例又は修正例に想到し得ることは明らかであり、それらについても当然に本発明の技術的範囲に属するものと了解される。
【産業上の利用可能性】
【００９８】
本発明は、数多くの話者やノイズを含む環境音が混じり合った実際の音空間において、収音された音声から特定の音源を抽出し、抽出後の高品質な音声を自端末又は自端末の通話相手に伝達する音声伝達システム及び音声伝達方法として有用である。
【符号の説明】
【００９９】
１１、２１  収音部
１２、２２  ＣＰＵ
１３、２３  メモリ
１４、２４  入力部
１５、２５  表示部
１６、２６  音声出力部
１７、２７  無線通信部
１８、２８  アンテナ
ａ、ｂ  通話音声の音声データ
ｃ１、ｃ２  いずれかの分離音声データ
ＡＰ１、ＡＰ２  アプリケーション
ＣＤＳ  サーバ装置
Ｍ１、Ｍ２、Ｍ３、Ｍ４  マイクロホン
ＭＸ  マイク信号多重伝送装置
ＮＷ１  クラウドネットワーク網
ＮＷ２  ＬＴＥネットワーク網
ＰＲ  音信号処理伝達部
ＰＲ１  制御部
ＰＲ２  音源分離部
ＳＬ１  第１選択部
ＳＬ２  第２選択部
Ｔ１、Ｔ２  通信端末
【図１】
0006587088.tif 000002
【図２】
0006587088.tif 000003
【図３】
0006587088.tif 000004
【図４】
0006587088.tif 000005
【図５】
0006587088.tif 000006
【図６】
0006587088.tif 000007
【図７】
0006587088.tif 000008
【図８】
0006587088.tif 000009
【図９】
0006587088.tif 000010
【図１０】
0006587088.tif 000011