(57)【特許請求の範囲】
【請求項１】
音声処理方法であって、
アプリケーション層から送信される背景音信号が再生されている場合にアナログの第１の音声信号を取得するステップと、
デジタルの第２の音声信号を生成するために、前記第１の音声信号にアナログ−デジタル変換を実行するステップと、
デジタルの第３の音声信号を生成するために、システム最下層において、前記第２の音声信号に残響処理を実行するステップであって、前記システム最下層が、フレームワーク層、ハードウェア抽象化層、ドライバ層、及びコーデック層のうちの少なくとも１つを含む、ステップと、
デジタルの第４の音声信号を生成するために、前記第３の音声信号と前記アプリケーション層から送信される前記背景音信号にデジタル音声ミキシング処理を実行するステップと、
アナログの第５の音声信号を生成するために、前記第４の音声信号にデジタル−アナログ変換を実行するステップと、
アナログの第６の音声信号を生成するために、前記第１の音声信号と前記第５の音声信号にアナログ音声ミキシング処理を実行するステップと、
前記第６の音声信号を再生するステップとを含む、方法。
【請求項２】
前記システム最下層が、前記フレームワーク層、前記ハードウェア抽象化層、及び前記ドライバ層のうちの少なくとも１つを含む場合に、前記デジタルの第３の音声信号を生成するために、前記システム最下層において、前記第２の音声信号に残響処理を実行する前記ステップが、
録音チャネルを通して、前記システム最下層に位置付けられる残響装置に前記第２の音声信号を送信するステップと、
残響効果を有する前記第３の音声信号を生成するために、前記残響装置により前記第２の音声信号に残響処理を実行するステップとを含む、請求項１に記載の方法。
【請求項３】
前記システム最下層が前記コーデック層である場合に、前記デジタルの第３の音声信号を生成するために、前記システム最下層において、前記第２の音声信号に残響処理を実行する前記ステップが、
残響効果を有する前記第３の音声信号を生成するために、前記コーデック層に位置付けられるデジタル信号処理装置を使用することにより前記第２の音声信号に残響処理を実行するステップを含む、請求項１に記載の方法。
【請求項４】
前記デジタルの第４の音声信号を生成するために、前記第３の音声信号と前記アプリケーション層から送信される前記背景音信号にデジタル音声ミキシング処理を実行する前記ステップが、前記第４の音声信号を生成するために、前記システム最下層に位置付けられるデジタル音声ミキシング装置を使用することにより前記第３の音声信号と前記背景音信号に重ね合わせを実行するステップであって、前記背景音信号がデジタル信号である、ステップを含む、請求項２又は請求項３に記載の方法。
【請求項５】
前記アナログの第６の音声信号を生成するために、前記第１の音声信号と前記第５の音声信号にアナログ音声ミキシング処理を実行する前記ステップが、前記第６の音声信号を生成するために、前記コーデック層に位置付けられるアナログ音声ミキシング装置を使用することにより前記第１の音声信号と前記第５の音声信号に重ね合わせを実行するステップを含む、請求項４に記載の方法。
【請求項６】
音声収集装置を使用することにより前記アナログの第１の音声信号が取得されたあとで、当該方法が、前記の取得された第１の音声信号を、前記コーデック層における側音チャネルを通して前記コーデック層に位置付けられる前記アナログ音声ミキシング装置に送信するステップを更に含む、請求項５に記載の方法。
【請求項７】
端末装置であって、
音声収集装置と、アナログ−デジタル変換装置と、残響装置と、デジタル音声ミキシング装置と、デジタル−アナログ変換装置と、アナログ音声ミキシング装置と、音声再生装置とを備え、前記音声収集装置、前記音声再生装置、前記アナログ−デジタル変換装置、前記デジタル−アナログ変換装置、及び前記アナログ音声ミキシング装置がコーデック層に位置付けられ、前記残響装置、及び前記デジタル音声ミキシング装置がシステム最下層に位置付けられ、前記システム最下層が、フレームワーク層、ハードウェア抽象化層、ドライバ層、及び前記コーデック層のうちの少なくとも１つを含み、前記音声収集装置が、側音チャネルを通して前記アナログ音声ミキシング装置に接続され、
前記音声収集装置が、アプリケーション層から送信される背景音信号が再生されている場合にアナログの第１の音声信号を取得するように構成され、
前記アナログ−デジタル変換装置が、デジタルの第２の音声信号を生成するために、前記第１の音声信号にアナログ−デジタル変換を実行するように構成され、
前記残響装置が、デジタルの第３の音声信号を生成するために、前記システム最下層において、前記第２の音声信号に残響処理を実行するように構成され、
前記デジタル音声ミキシング装置が、デジタルの第４の音声信号を生成するために、前記第３の音声信号と前記アプリケーション層から送信される前記背景音信号にデジタル音声ミキシング処理を実行するように構成され、
前記デジタル−アナログ変換装置が、アナログの第５の音声信号を生成するために、前記第４の音声信号にデジタル−アナログ変換を実行するように構成され、
前記アナログ音声ミキシング装置が、アナログの第６の音声信号を生成するために、前記第１の音声信号と前記第５の音声信号にアナログ音声ミキシング処理を実行するように構成され、
前記音声再生装置が、前記第６の音声信号を再生するように構成される、端末装置。
【請求項８】
前記残響装置が、前記フレームワーク層、前記ハードウェア抽象化層、及び前記ドライバ層のうちの少なくとも１つに位置付けられる場合に、前記残響装置が、
録音チャネルを通して、前記アナログ−デジタル変換装置により送信される前記第２の音声信号を受信し、
残響効果を有する前記第３の音声信号を生成するために、前記第２の音声信号に残響処理を実行し、
前記第３の音声信号を前記デジタル音声ミキシング装置に送信するように構成される、請求項７に記載の端末装置。
【請求項９】
当該端末装置がデジタル信号処理装置を更に備え、前記残響装置が前記コーデック層に位置付けられる場合に、前記残響装置が、
前記アナログ−デジタル変換装置により送信される前記第２の音声信号を受信し、
残響効果を有する前記第３の音声信号を生成するために、前記コーデック層に位置付けられる前記デジタル信号処理装置により前記第２の音声信号に残響処理を実行し、
前記第３の音声信号を前記デジタル音声ミキシング装置に送信するように構成される、請求項７に記載の端末装置。
【請求項１０】
前記デジタル音声ミキシング装置が、
前記残響装置により送信される前記第３の音声信号を受信するとともに、前記アプリケーション層により送信される前記背景音信号を受信し、
前記第４の音声信号を生成するために、前記第３の音声信号とデジタル信号である前記背景音信号に重ね合わせを実行し、
前記第４の音声信号を前記デジタル−アナログ変換装置に送信するように構成される、請求項８又は請求項９に記載の端末装置。
【請求項１１】
前記アナログ音声ミキシング装置が、前記第６の音声信号を生成するために、前記第１の音声信号と前記第５の音声信号に重ね合わせを実行するように構成される、請求項１０に記載の端末装置。
【請求項１２】
前記音声収集装置が、前記の取得された第１の音声信号を、前記側音チャネルを通して前記アナログ音声ミキシング装置に送信するように更に構成される、請求項７から請求項１１のいずれか一項に記載の端末装置。
【請求項１３】
前記音声収集装置がマイクロフォンであり、前記音声再生装置がラウドスピーカであり、前記デジタル−アナログ変換装置及び前記アナログ−デジタル変換装置がデジタル−アナログ／アナログ−デジタル変換器であり、前記残響装置、前記デジタル音声ミキシング装置、及び前記アナログ音声ミキシング装置がコーデックチップである、請求項７から請求項１２のいずれか一項に記載の端末装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、端末装置の分野に関し、より具体的には、音声処理方法、及び端末装置に関する。
【背景技術】
【０００２】
携帯電話のマルチメディア機能及びアプリケーションがますます多様になっているので、カラオケアプリケーションは、新生のアプリケーションとしてますます歓迎される。このタイプのアプリケーションでは、付随的な音または付随的なビデオが再生され、歌い手の音声はマイクロフォンを使用することにより録音され、そして歌い手の音声に対して美化処理が実行されたあとで、歌い手の音声は、付随的な音または付随的なビデオと合成される。典型的なアプリケーションは、“Oke  Hero”、“Chang  Ba”などを含む。
【０００３】
カラオケ技術は、音声録音／再生チャネルの遅延に関して、非常に高い必要条件（遅延が５０ｍｓ未満である）を有しており、そうでなければ、美化された音声が歌い手の音声と比較して遅延しているとともに、その遅延が主にソフトウェアプラットフォームにより引き起こされていることに、人間の耳は気づくことができる。例えば、アンドロイドプラットフォームに関して、アプリケーション層の設計された遅延は比較的長く（１００ｍｓより大きく）、したがって、もし音声がリアルタイムに入力され、リアルタイムに美化され、そしてリアルタイムに出力されるならば、美化されて出力された音声は、歌い手の音声と比較して明らかに遅延する。
【発明の概要】
【０００４】
本発明の実施例は、美化処理が実行される音声の遅延を削減することができる音声処理方法、及び端末装置を提供し、それにより、音声のリアルタイム入力、リアルタイム美化、及びリアルタイム出力を実現する。
【０００５】
第１の態様によれば、音声処理方法であって、アナログの第１の音声信号を取得するステップと、デジタルの第２の音声信号を生成するために、前記第１の音声信号にアナログ−デジタル変換を実行するステップと、デジタルの第３の音声信号を生成するために、システム最下層において、前記第２の音声信号に残響処理を実行するステップであって、前記システム最下層が、フレームワーク層、ハードウェア抽象化層、ドライバ層、及びコーデックＣＯＤＥＣ層のうちの少なくとも１つを含む、ステップと、デジタルの第４の音声信号を生成するために、前記第３の音声信号とアプリケーション層から送信される背景音信号にデジタル音声ミキシング処理を実行するステップと、アナログの第５の音声信号を生成するために、前記第４の音声信号にデジタル−アナログ変換を実行するステップと、アナログの第６の音声信号を生成するために、前記第１の音声信号と前記第５の音声信号にアナログ音声ミキシング処理を実行するステップと、前記第６の音声信号を再生するステップとを含む、方法が提供される。
【０００６】
第１の態様に関連して、第１の態様の第１の実施方法において、前記システム最下層が、前記フレームワーク層、前記ハードウェア抽象化層、及び前記ドライバ層のうちの少なくとも１つを含む場合に、デジタルの第３の音声信号を生成するために、システム最下層において、前記第２の音声信号に残響処理を実行する前記ステップは、録音チャネルを通して、前記システム最下層に位置付けられる残響装置に前記第２の音声信号を送信するステップと、残響効果を有する前記第３の音声信号を生成するために、前記残響装置を使用することにより前記第２の音声信号に残響処理を実行するステップとを含む。
【０００７】
第１の態様、及び第１の態様の前述の実施方法に関連して、第１の態様の第２の実施方法において、前記システム最下層が前記ＣＯＤＥＣ層である場合に、デジタルの第３の音声信号を生成するために、システム最下層において、前記第２の音声信号に残響処理を実行する前記ステップは、残響効果を有する前記第３の音声信号を生成するために、前記ＣＯＤＥＣ層に位置付けられるデジタル信号処理装置を使用することにより前記第２の音声信号に残響処理を実行するステップを含む。
【０００８】
第１の態様、及び第１の態様の前述の実施方法に関連して、第１の態様の第３の実施方法において、デジタルの第４の音声信号を生成するために、前記第３の音声信号とアプリケーション層から送信される背景音信号にデジタル音声ミキシング処理を実行する前記ステップは、前記第４の音声信号を生成するために、前記システム最下層に位置付けられるデジタル音声ミキシング装置を使用することにより前記第３の音声信号と前記背景音信号に重ね合わせを実行するステップであって、前記背景音信号がデジタル信号である、ステップを含む。
【０００９】
第１の態様、及び第１の態様の前述の実施方法に関連して、第１の態様の第４の実施方法において、アナログの第６の音声信号を生成するために、前記第１の音声信号と前記第５の音声信号にアナログ音声ミキシング処理を実行する前記ステップは、前記第６の音声信号を生成するために、前記ＣＯＤＥＣ層に位置付けられるアナログ音声ミキシング装置を使用することにより前記第１の音声信号と前記第５の音声信号に重ね合わせを実行するステップを含む。
【００１０】
第１の態様、及び第１の態様の前述の実施方法に関連して、第１の態様の第５の実施方法において、音声収集装置を使用することにより前記アナログの第１の音声信号が取得されたあとで、当該方法は、前記の取得された第１の音声信号を、前記ＣＯＤＥＣ層における側音チャネルを通して前記ＣＯＤＥＣ層に位置付けられる前記アナログ音声ミキシング装置に送信するステップを更に含む。
【００１１】
第２の態様によれば、端末装置であって、音声収集装置と、アナログ−デジタル変換装置と、残響装置と、デジタル音声ミキシング装置と、デジタル−アナログ変換装置と、アナログ音声ミキシング装置と、音声再生装置とを含む端末装置が提供される。前記音声収集装置、前記音声再生装置、前記アナログ−デジタル変換装置、前記デジタル−アナログ変換装置、及び前記アナログ音声ミキシング装置はコーデックＣＯＤＥＣ層に位置付けられる。前記残響装置、及び前記デジタル音声ミキシング装置はシステム最下層に位置付けられ、ここで、前記システム最下層は、フレームワーク層、ハードウェア抽象化層、ドライバ層、及び前記ＣＯＤＥＣ層のうちの少なくとも１つを含む。前記音声収集装置は、側音チャネルを通して前記アナログ音声ミキシング装置に接続され、前記音声収集装置は、アナログの第１の音声信号を取得するように構成される。前記アナログ−デジタル変換装置は、デジタルの第２の音声信号を生成するために、前記第１の音声信号にアナログ−デジタル変換を実行するように構成される。前記残響装置は、デジタルの第３の音声信号を生成するために、前記システム最下層において、前記第２の音声信号に残響処理を実行するように構成される。前記デジタル音声ミキシング装置は、デジタルの第４の音声信号を生成するために、前記第３の音声信号とアプリケーション層から送信される背景音信号にデジタル音声ミキシング処理を実行するように構成される。前記デジタル−アナログ変換装置は、アナログの第５の音声信号を生成するために、前記第４の音声信号にデジタル−アナログ変換を実行するように構成され、前記アナログ音声ミキシング装置は、アナログの第６の音声信号を生成するために、前記第１の音声信号と前記第５の音声信号にアナログ音声ミキシング処理を実行するように構成される。前記音声再生装置は、前記第６の音声信号を再生するように構成される。
【００１２】
第２の態様に関連して、第２の態様の第１の実施方法において、前記残響装置が、前記フレームワーク層、前記ハードウェア抽象化層、及び前記ドライバ層のうちの少なくとも１つに位置付けられる場合に、前記残響装置は、録音チャネルを通して、前記アナログ−デジタル変換装置により送信される前記第２の音声信号を受信し、残響効果を有する前記第３の音声信号を生成するために、前記第２の音声信号に残響処理を実行し、前記第３の音声信号を前記デジタル音声ミキシング装置に送信するように構成される。
【００１３】
第２の態様、及び第２の態様の前述の実施方法に関連して、第２の態様の第２の実施方法において、当該端末装置がデジタル信号処理装置を更に含み、前記残響装置が前記ＣＯＤＥＣ層に位置付けられる場合に、前記残響装置は、前記アナログ−デジタル変換装置により送信される前記第２の音声信号を受信し、残響効果を有する前記第３の音声信号を生成するために、前記ＣＯＤＥＣ層に位置付けられる前記デジタル信号処理装置を使用することにより前記第２の音声信号に残響処理を実行し、前記第３の音声信号を前記デジタル音声ミキシング装置に送信するように構成される。
【００１４】
第２の態様、及び第２の態様の前述の実施方法に関連して、第２の態様の第３の実施方法において、前記デジタル音声ミキシング装置は、前記残響装置により送信される前記第３の音声信号を受信するとともに、前記アプリケーション層により送信される前記背景音信号を受信し、前記第４の音声信号を生成するために、前記第３の音声信号とデジタル信号である前記背景音信号に重ね合わせを実行し、前記第４の音声信号を前記デジタル−アナログ変換装置に送信するように構成される。
【００１５】
第２の態様、及び第２の態様の前述の実施方法に関連して、第２の態様の第４の実施方法において、前記アナログ音声ミキシング装置は、前記第６の音声信号を生成するために、前記第１の音声信号と前記第５の音声信号に重ね合わせを実行するように構成される。
【００１６】
第２の態様、及び第２の態様の前述の実施方法に関連して、第２の態様の第５の実施方法において、前記音声収集装置は、前記の取得された第１の音声信号を、前記側音チャネルを通して前記アナログ音声ミキシング装置に送信するように更に構成される。
【００１７】
第２の態様、及び第２の態様の前述の実施方法に関連して、第２の態様の第６の実施方法において、前記音声収集装置はマイクロフォンであり、前記音声再生装置はラウドスピーカであり、前記デジタル−アナログ変換装置及び前記アナログ−デジタル変換装置はデジタル−アナログ／アナログ−デジタル変換器であり、前記残響装置、前記デジタル音声ミキシング装置、及び前記アナログ音声ミキシング装置はコーデックチップである。
【００１８】
本発明の実施例では、システム最下層において音声信号に残響美化処理を実行することにより、美化処理が実行される音声の遅延が削減されることができ、それにより、音声のリアルタイム入力、リアルタイム美化、及びリアルタイム出力を実現するとともに、ユーザ経験を向上させる。
【００１９】
本発明の実施例における技術的解決法をより明確に説明するために、下記は、本発明の実施例を説明するために必要とされる添付図面を簡単に説明する。明らかに、下記の説明における添付図面は本発明の単にいくつかの実施例を表すとともに、当業者は、創造的な努力なしでこれらの添付図面からさらに他の図面を導き出し得る。
【図面の簡単な説明】
【００２０】
【図１】本発明の実施例による音声処理方法のフローチャートである。
【図２】本発明の実施例による音声処理方法のフローチャートである。
【図３】本発明の実施例による残響モデルの概略図である。
【図４】本発明の実施例によるローパスフィルタモジュールの概略図である。
【図５】本発明の実施例によるオールパスフィルタモジュールの概略図である。
【図６】本発明の実施例による端末装置の概略構成図である。
【図７】本発明の別の実施例による端末装置の概略構成図である。
【発明を実施するための形態】
【００２１】
下記は、本発明の実施例における添付図面を参照して本発明の実施例における技術的解決法を明確かつ十分に説明する。明らかに、説明される実施例は本発明の実施例の全てよりむしろ一部である。創作的な努力なしで本発明の実施例に基づいて当業者により獲得される他の全ての実施例は、本発明の保護範囲に含まれるものとする。
【００２２】
図１は、本発明の実施例による音声処理方法のフローチャートである。図１の方法は、端末装置により実行され得る。
【００２３】
１０１：アナログの第１の音声信号を取得する。
【００２４】
１０２：デジタルの第２の音声信号を生成するために、第１の音声信号にアナログ−デジタル変換を実行する。
【００２５】
１０３：デジタルの第３の音声信号を生成するために、システム最下層において、第２の音声信号に残響処理を実行し、ここで、システム最下層は、フレームワーク層、ハードウェア抽象化層、ドライバ層、及びコーデックＣＯＤＥＣ層のうちの少なくとも１つを含む。
【００２６】
１０４：デジタルの第４の音声信号を生成するために、第３の音声信号とアプリケーション層から送信される背景音信号にデジタル音声ミキシング処理を実行する。
【００２７】
１０５：アナログの第５の音声信号を生成するために、第４の音声信号にデジタル−アナログ変換を実行する。
【００２８】
１０６：アナログの第６の音声信号を生成するために、第１の音声信号と第５の音声信号にアナログ音声ミキシング処理を実行する。
【００２９】
１０７：第６の音声信号を再生する。
【００３０】
本発明のこの実施例では、システム最下層において音声信号に残響美化処理を実行することにより、美化処理が実行される音声の遅延が削減されることができ、それにより、音声のリアルタイム入力、リアルタイム美化、及びリアルタイム出力を実現するとともに、ユーザ経験を向上させる。
【００３１】
本発明のこの実施例の端末装置は、携帯型の移動端末、例えば携帯電話又はタブレットコンピュータであっても良いか、又は、携帯用の端末装置、ポケット型の端末装置、携帯型の端末装置、コンピュータ組み込み式の端末装置、若しくは車載の端末装置であっても良く、それは本発明では限定されない、ということが理解されるべきである。
【００３２】
本発明のこの実施例の端末装置のシステムは、論理的構造に従って下記の５つの層、アプリケーション層（Application  Layer）、フレームワーク層（Framework  Layer）、ハードウェア抽象化層（Hardware  Abstraction  Layer、ＨＡＬ）、ドライバ層（Driver  Layer）、及びコーデック（Coder-Decoder  Layer、ＣＯＤＥＣ）層に分割されることができ、ここで、ＣＯＤＥＣ層はハードウェア層に属する。アプリケーション層の下方にあるフレームワーク層、ハードウェア抽象化層、ドライバ層、及びＣＯＤＥＣ層は、システム最下層と呼ばれ得る。
【００３３】
任意に、一実施例において、システム最下層が、フレームワーク層、ハードウェア抽象化層、及びドライバ層のうちの少なくとも１つを含む場合に、ステップ１０３は、録音チャネルを通して、システム最下層に位置付けられる残響装置に第２の音声信号を送信するステップと、残響効果を有する第３の音声信号を生成するために、残響装置を使用することにより第２の音声信号に残響処理を実行するステップとを含み得る。
【００３４】
すなわち、フレームワーク層、ハードウェア抽象化層、及びドライバ層のうちのいずれか１つ又は複数において、アナログ−デジタル変換のあとで生成される第２の音声信号に残響処理が実行される場合に、第２の音声信号は、録音チャネルを通して残響装置に送信され得る。録音チャネルはアプリケーション層に直接的に通じているかもしれない。残響装置は、音声を美化するように構成されるアルゴリズムモジュール（残響アルゴリズムモデル）であっても良く、ここで、残響アルゴリズムモデルは、主に、入力される音声信号に残響効果、バランサの音響効果などを加えるように構成される。具体的には、残響アルゴリズムモデルは、マルチステージ遅延残響アルゴリズムモデル、くし形フィルタリング残響アルゴリズムモデル、シュレーダー（Schroeder）残響アルゴリズムモデル、及びムーア（Moorer）残響アルゴリズムのうちの１つ又は複数の組み合わせであり得る。比較的一般に使用される残響アルゴリズムモデルは、複数のローパスフィルタモジュールを並列に接続し、そのあと、複数のローパスフィルタモジュールと複数のオールパスフィルタモジュールを直列に接続することにより形成され得る。エコー効果を達成するために、複数のローパスフィルタモジュールの遅延は異なり得る。
【００３５】
任意に、ステップ１０３が実行される場合に、同時に第２の音声信号が録音チャネルを通してアプリケーション層に送信されることができ、任意に、ステップ１０３のあとで、第３の音声信号が、録音チャネルを通してアプリケーション層に送信されることができ、その結果、特定のアプリケーションプログラムがユーザの音声信号を処理して保存し、そしてユーザは、再生及び発表のような次の操作を実行し得る。
【００３６】
任意に、一実施例において、システム最下層がＣＯＤＥＣ層である場合に、ステップ１０３は、残響効果を有する第３の音声信号を生成するために、ＣＯＤＥＣ層に位置付けられるデジタル信号処理装置を使用することにより第２の音声信号に残響処理を実行するステップを含み得る。
【００３７】
すなわち、コーデック層において、アナログ−デジタル変換のあとで生成される第２の音声信号にもし残響処理が実行されるならば、第２の音声信号は、残響処理のために、ＣＯＤＥＣに位置付けられるデジタル信号処理（Digital  Signal  Processing、ＤＳＰ）装置に送信され得る。具体的には、ＣＯＤＥＣにおける残響処理方法及びＤＳＰ装置のモデルは、前述のフレームワーク層、ハードウェア抽象化層、又はドライバ層における処理方法と同様であり、詳細は再度ここでは説明されない。
【００３８】
任意に、一実施例において、ステップ１０４は、第４の音声信号を生成するために、システム最下層に位置付けられるデジタル音声ミキシング装置を使用することにより第３の音声信号と背景音信号に重ね合わせを実行するステップであって、背景音信号がデジタル信号である、ステップを含み得る。
【００３９】
すなわち、フレームワーク層、ハードウェア抽象化層、及びドライバ層のうちのいずれか１つ又は複数において、アナログ−デジタル変換のあとで生成される第２の音声信号に残響処理が実行されたあとで、生成された第３の音声信号は、フレームワーク層、ハードウェア抽象化層、及びドライバ層のうちのいずれか１つ又は複数に同様に位置付けられるデジタル音声ミキシング装置に送信されることができ、さらに、デジタル音声ミキシング装置は、アプリケーション層における“カラオケ”アプリケーションの背景音信号、例えば付随的な音楽を同様に受信し得る。２つの信号、すなわち、第３の音声信号と背景音信号は、直接的に合計されるか、又は、利得を有する２つの信号が合計されるか、又は、別の残響処理アルゴリズムを使用することにより２つの信号に重ね合わせが実行されることができ、それは本発明では限定されない。その後、残響及び重ね合わせのあとで生成される第４の音声信号は、デジタル−アナログ変換装置に送信され得る。
【００４０】
任意に、一実施例において、ステップ１０１のあとで、方法は、取得された第１の音声信号を、ＣＯＤＥＣ層における側音チャネルを通してＣＯＤＥＣ層に位置付けられるアナログ音声ミキシング装置に送信するステップを更に含み得る。側音チャネルは、音声収集装置と音声再生装置を接続するアナログチャネルであり得る。アナログチャネルを通してループバックされたあとで、第１の音声信号は、音声再生装置端部上のアナログ音声ミキシング装置に直接的に送信されることができ、遅延はほとんどゼロ（５ｍｓ未満）になる。任意に、第１の音声信号の利得は、ループバックプロセスにおいて調整され得る。
【００４１】
任意に、一実施例において、ステップ１０６は、第６の音声信号を生成するために、ＣＯＤＥＣ層に位置付けられるアナログ音声ミキシング装置を使用することにより第１の音声信号と第５の音声信号に重ね合わせを実行するステップを含み得る。
【００４２】
具体的には、アナログ音声ミキシング装置は、２つの信号、すなわち第５の信号と第１の信号を直接的に合計することができるか、又は、利得を有する２つの信号を合計することができるか、又は、第６の音声信号を生成するために、別の残響処理アルゴリズムを使用することにより２つの信号に重ね合わせが実行されることができ、それは本発明では限定されない。生成された第６の音声信号は、ラウドスピーカを使用することにより出力され得る。
【００４３】
本発明のこの実施例では、音声信号は、処理のために２つの信号に分割され、一方の音声信号は、アナログチャネルを通してループバックされ、その後、ほとんど遅延なしで出力ポートに送信され、もう一方の音声信号は、システム最下層における残響美化処理が行われて、背景音信号と一緒に出力ポートに送信され、そして２つの信号は混合されて出力される。したがって、美化処理が実行される音声の遅延が削減されることができ、それにより、音声のリアルタイム入力、リアルタイム美化、及びリアルタイム出力を実現するとともに、ユーザ経験を向上させる。
【００４４】
図２は、本発明の実施例による音声処理方法のフローチャートである。図２の方法は、端末装置により実行されることができ、ここで、端末装置は、携帯型の移動端末、例えば携帯電話又はタブレットコンピュータであっても良いか、又は、携帯用の端末装置、ポケット型の端末装置、携帯型の端末装置、コンピュータ組み込み式の端末装置、若しくは車載の端末装置であっても良く、それは本発明では限定されない。
【００４５】
２０１：音声を入力する。
【００４６】
アナログの第１の音声信号を生成するために、歌い手の音声は、音声収集装置（例えば、マイクロフォン）を使用することにより収集される。具体的には、歌い手の音声は、背景音信号（例えば、付随的な音楽）が再生されている場合に収集され得る。
【００４７】
２０２ａ：音声を直接的に送信する。
【００４８】
生成されたあとで、アナログの第１の音声信号は、音声コーデック（ＣＯＤＥＣ）の側音チャネルを使用することにより出力ポートに送信され得る。この音声信号は、“直接音”と呼ばれ得る。ユーザにより入力される音声と比較すると、“直接音”は、ほとんど遅延を有していないとともに、美化効果を有していない。すなわち、側音チャネルを通過したあとで、第１の音声信号のスペクトルはほとんど変わらないままであり、位相はほとんど変更されず、そして振幅は設定に従って変化し得る。“直接音”の式は下記のとおりである。
【００４９】
【数１】
0006272474.tif 000002
【００５０】
ここで、ＳＤは直接音を示し、ＧＤは直接音の利得を示し、τＤは直接音の遅延（５ｍｓ未満）を示すとともに、Ｓは原信号、すなわち第１の音声信号を示す。ＳＤのスペクトルがＳのスペクトルと比較して変わらないままであるので、ＳＤはまだ第１の音声信号と見なされ得る。
【００５１】
２０２ｂ：アナログ−デジタル変換を実行する。
【００５２】
アナログの第１の音声信号が生成されたあとで、２０２ａにおける“直接音”に加えて、デジタルの第２の音声信号を生成するために、第１の音声信号は、同様に、アナログ−デジタル変換装置に送信されることができ、その結果、信号処理の次のステップが実行されることができる。
【００５３】
２０３：残響処理を実行する。
【００５４】
“美化された音声”を生成するために、第２の音声信号は、残響美化処理のために残響装置に送信される。残響装置は、フレームワーク層、ハードウェア抽象化層ＨＡＬ、ドライバ層、及びコーデック層のうちのいずれか１つ又は複数に位置付けられ得る。例えば、残響装置がＨＡＬに位置付けられている場合に、第２の音声信号は、録音チャネルを通して、残響美化処理のためにＨＡＬ層における残響装置に送信され得る。
【００５５】
具体的には、残響装置は、“音声を美化する”ように構成されるアルゴリズムモジュール（残響アルゴリズムモデル）であっても良く、すなわち、ＨＡＬ層における残響装置はソフトウェア論理装置に属しており、実際の計算及び処理はハードウェア層により実行される。この残響アルゴリズムモデルは、主に、入力される音声信号に残響効果、バランサの音響効果などを加えるように構成される。具体的には、残響アルゴリズムモデルは、マルチステージ遅延残響アルゴリズムモデル、くし形フィルタリング残響アルゴリズムモデル、シュレーダー（Schroeder）残響アルゴリズムモデル、及びムーア（Moorer）残響アルゴリズムのうちの１つ又は複数の組み合わせであり得る。一例として、図３は、残響装置３００の概略構造図を示す。図３で示されたように、残響装置３００は、複数のローパスフィルタモジュール３０１を並列に接続し、そのあと、複数のローパスフィルタモジュール３０１と複数のオールパスフィルタモジュール３０２を直列に接続することにより形成され得る。エコー効果を達成するために、複数のローパスフィルタモジュールの遅延は異なり得る。
【００５６】
より具体的には、図３におけるローパスフィルタモジュール３０１のあらゆるフィルタモジュールの概略構造図は図４に示され得る。ローパスフィルタモジュール３０１の伝達関数Ｈ（ｚ）は、
【数２】
0006272474.tif 000003
であり得る。
【００５７】
ここで、Ｘ（ｚ）は入力信号であり、Ｙ（ｚ）は出力信号であり、ｇは利得であり、Ｚ−ｎはｎ個のユニットの遅延であり、ここで、１つのユニットの遅延はサンプリング時間であり得る。
【００５８】
第２の音声信号がローパスフィルタモジュール３０１を通過したあとで、Ｚ−ｎの遅延が生成される。しかしながら、複数の第２の音声信号が並列に接続されるとともに異なる遅延を有する複数のローパスフィルタモジュールを通過し、そして信号に対して重ね合わせが実行されたあとで、オリジナルの音声信号と比較して“複数のエコー”の効果を有する音声信号が生成される。
【００５９】
より具体的には、図３におけるオールパスフィルタモジュール３０２のあらゆるフィルタモジュールの概略構造図は図５に示され得る。オールパスフィルタモジュール３０２の伝達関数Ｈ（ｚ）は、
【数３】
0006272474.tif 000004
であり得る。
【００６０】
ここで、ｇは利得であり、Ｚ−ＤはＤ個のユニットの遅延である。第３の音声信号を生成するために、ローパスフィルタモジュール３０１の第２の音声信号に、直列に接続される複数のオールパスフィルタモジュール３０２を使用することにより、さらに“美化処理”が実行され得る。
【００６１】
さらに、もし残響装置がＣＯＤＥＣ層に位置付けられるならば、アナログ−デジタル変換のあとで生成される第２の音声信号は、ＣＯＤＥＣに位置付けられるデジタルシグナルプロセッサＤＳＰに送信されることができ、ここで、デジタルシグナルプロセッサは、第２の音声信号に、前述のＨＡＬにおける残響装置の美化処理と同様の“美化処理”を実行し得る。ＣＯＤＥＣ内のＤＳＰは、通話ノイズ除去、符号化／復号、録音、及び録音美化のような処理機能を更に有している。
【００６２】
録音チャネルはアプリケーション層に直接的に通じているかもしれないが、しかしながら、信号又は命令がシステムの各層を通過する場合に、システムの不安定性に起因して比較的大きい遅延が引き起こされ、その結果、もし信号が録音チャネルを通してアプリケーション層に送信され、そしてハードウェア層に返送されるならば、遅延が１００ｍｓより大きくなる可能性が非常に高く、それはユーザに“識別可能”であり、すなわち、ユーザは、返送された音声がユーザにより発せられた音声と比較して遅延していることに明らかに気づくかもしれない、ということが理解されるべきである。したがって、“カラオケ”の感覚はなくなっており、ユーザ経験が悪化する。しかしながら、この実施例において美化処理を実行するように構成される残響装置はアプリケーション層の下方に位置付けられており、それは、音声信号が、音声信号の処理の間に行き来する場合に、音声信号が通過する必要があるシステム層の数を非常に削減し、遅延は、５０ｍｓ未満まで削減され得るとともに、ユーザは、遅延の代わりに“エコー”を感じる。
【００６３】
任意のステップとして、システム最下層において残響装置を使用することにより第２の音声信号に残響処理が実行される場合に、第２の音声信号は、録音チャネルを通してアプリケーション層に送信されることができ、その結果、特定のアプリケーションプログラムが第２の音声信号を処理して保存し、そしてユーザは、再生及び発表のような次の操作を実行し得る。
【００６４】
同様に、別の任意のステップとして、ステップ２０３において第２の音声信号に残響処理が実行されたあとに第３の音声信号が生成されたあとで、第３の音声信号は、録音チャネルを通してアプリケーション層に同様に送信されることができ、その結果、特定のアプリケーションプログラムが第３の音声信号を処理して保存し、そしてユーザは、再生及び発表のような次の操作を実行し得る。
【００６５】
２０４：デジタル音声ミキシング処理を実行する。
【００６６】
残響装置と同様に、デジタル音声ミキシング装置は、フレームワーク層、ハードウェア抽象化層ＨＡＬ、ドライバ層、及びコーデック層のうちのいずれか１つ又は複数に同様に位置付けられ得る。ＨＡＬが一例として使用される。デジタル音声ミキシング装置は、残響装置により送信される第３の音声信号を受信する。さらに、デジタル音声ミキシング装置は、アプリケーション層から背景音信号（例えば、付随的な音楽）を受信する。デジタル音声ミキシング装置が２つの信号に線形又は非線形の重ね合わせ処理を実行したあとで、“美化された音声”及び“伴奏”を有する第４の音声信号が生成される。重ね合わせは、２つの信号を直接的に合計することになり得るか、又は、利得を有する２つの信号を合計することになり得るか、又は、別の残響処理アルゴリズムを使用することにより２つの信号に重ね合わせが実行されることができ、それは本発明では限定されない。
【００６７】
残響装置と同様に、デジタル音声ミキシング装置はソフトウェア論理装置に同様に属しており、実際の計算及び処理はハードウェア層により実行される。
【００６８】
２０５：デジタル−アナログ変換を実行する。
【００６９】
アナログの第５の音声信号を生成するために、第４の音声信号がデジタル−アナログ変換装置に送信され、第５の音声信号は、次のステップの処理のために、アナログ音声ミキシング装置に送信される。
【００７０】
２０６：アナログ音声ミキシング処理を実行する。
【００７１】
アナログ音声ミキシング装置は、ステップ２０２ａにおいて生成された第１の音声信号を受信し、それと同時にステップ２０５において生成された第５の音声信号を受信し、そして、第６の音声信号を生成するために、２つの信号に線形又は非線形の重ね合わせが実行される。重ね合わせは、２つの信号を直接的に合計することになり得るか、又は、利得を有する２つの信号を合計することになり得るか、又は、別の残響処理アルゴリズムを使用することにより２つの信号に重ね合わせが実行されることができ、それは本発明では限定されない。
【００７２】
２０７：音声を出力する。
【００７３】
第６の音声信号は、ユーザが“直接音”、“美化された音声”、及び“伴奏”を聞くことを可能にする音声再生装置を使用することにより再生されることができ、“美化された音声”の遅延が５０ｍｓ未満であるので、歌い手は、遅延の代りに歌い手の音声のエコーを感じることができる。
【００７４】
本発明のこの実施例では、音声信号は、処理のために２つの信号に分割され、一方の音声信号は、アナログチャネルを通してループバックされ、その後、ほとんど遅延なしで出力ポートに送信され、もう一方の音声信号は、システム最下層における残響美化処理が行われて、背景音信号と一緒に出力ポートに送信され、そして２つの信号は混合されて出力される。したがって、美化処理が実行される音声の遅延が削減されることができ、それにより、音声のリアルタイム入力、リアルタイム美化、及びリアルタイム出力を実現するとともに、ユーザ経験を向上させる。
【００７５】
図６は、本発明の実施例による音声処理端末の概略構成図である。図６において示される音声処理端末６００は、音声収集装置６０１と、アナログ−デジタル変換装置６０２と、残響装置６０３と、デジタル音声ミキシング装置６０４と、デジタル−アナログ変換装置６０５と、アナログ音声ミキシング装置６０６と、音声再生装置６０７とを含み、音声収集装置６０１、音声再生装置６０７、アナログ−デジタル変換装置６０２、デジタル−アナログ変換装置６０５、及びアナログ音声ミキシング装置６０６はコーデックＣＯＤＥＣ層に位置付けられ、残響装置６０３、及びデジタル音声ミキシング装置６０４はシステム最下層に位置付けられ、システム最下層は、フレームワーク層、ハードウェア抽象化層、ドライバ層、及びＣＯＤＥＣ層のうちの少なくとも１つを含み、音声収集装置６０１は、側音チャネルを通してアナログ音声ミキシング装置６０６に接続される。
【００７６】
音声収集装置６０１は、アナログの第１の音声信号を取得する。アナログ−デジタル変換装置６０２は、デジタルの第２の音声信号を生成するために、第１の音声信号にアナログ−デジタル変換を実行する。残響装置６０３は、デジタルの第３の音声信号を生成するために、システム最下層において、第２の音声信号に残響処理を実行する。デジタル音声ミキシング装置６０４は、デジタルの第４の音声信号を生成するために、第３の音声信号とアプリケーション層から送信される背景音信号にデジタル音声ミキシング処理を実行する。デジタル−アナログ変換装置６０５は、アナログの第５の音声信号を生成するために、第４の音声信号にデジタル−アナログ変換を実行する。アナログ音声ミキシング装置６０６は、アナログの第６の音声信号を生成するために、第１の音声信号と第５の音声信号にアナログ音声ミキシング処理を実行する。音声再生装置６０７は、第６の音声信号を再生する。
【００７７】
本発明のこの実施例では、システム最下層において音声信号に残響美化処理を実行することにより、美化処理が実行される音声の遅延が削減されることができ、それにより、音声のリアルタイム入力、リアルタイム美化、及びリアルタイム出力を実現するとともに、ユーザ経験を向上させる。
【００７８】
本発明のこの実施例の端末装置は、携帯型の移動端末、例えば携帯電話又はタブレットコンピュータであっても良いか、又は、携帯用の端末装置、ポケット型の端末装置、携帯型の端末装置、コンピュータ組み込み式の端末装置、若しくは車載の端末装置であっても良く、それは本発明では限定されない、ということが理解されるべきである。
【００７９】
本発明のこの実施例の端末装置のシステムは、論理的構造に従って下記の５つの層、アプリケーション層、フレームワーク層、ハードウェア抽象化層ＨＡＬ、ドライバ層、及びＣＯＤＥＣ層に分割されることができ、ここで、ＣＯＤＥＣ層はハードウェア層に属する。アプリケーション層の下方にあるフレームワーク層、ハードウェア抽象化層、ドライバ層、及びＣＯＤＥＣ層は、システム最下層と呼ばれ得る。
【００８０】
任意に、一実施例において、残響装置６０３が、フレームワーク層、ハードウェア抽象化層、及びドライバ層のうちの少なくとも１つに位置付けられる場合に、残響装置６０３は、具体的に、録音チャネルを通して、アナログ−デジタル変換装置６０２により送信される第２の音声信号を受信し、残響効果を有する第３の音声信号を生成するために、第２の音声信号に残響処理を実行し、第３の音声信号をデジタル音声ミキシング装置６０４に送信するように構成される。
【００８１】
すなわち、フレームワーク層、ハードウェア抽象化層、及びドライバ層のうちのいずれか１つ又は複数において、アナログ−デジタル変換のあとで生成される第２の音声信号に残響処理が実行される場合に、第２の音声信号は、録音チャネルを通して残響装置に送信され得る。録音チャネルはアプリケーション層に直接的に通じているかもしれない。残響装置は、音声を美化するように構成されるアルゴリズムモジュール（残響アルゴリズムモデル）であっても良く、ここで、残響アルゴリズムモデルは、主に、入力される音声信号に残響効果、バランサの音響効果などを加えるように構成される。具体的には、残響アルゴリズムモデルは、マルチステージ遅延残響アルゴリズムモデル、くし形フィルタリング残響アルゴリズムモデル、シュレーダー（Schroeder）残響アルゴリズムモデル、及びムーア（Moorer）残響アルゴリズムのうちの１つ又は複数の組み合わせであり得る。比較的一般に使用される残響アルゴリズムモジュールは、複数のローパスフィルタモジュールを並列に接続し、そのあと、複数のローパスフィルタモジュールと複数のオールパスフィルタモジュールを直列に接続することにより形成され得る。エコー効果を達成するために、複数のローパスフィルタモジュールの遅延は異なり得る。
【００８２】
任意に、一実施例において、音声処理端末６００は、デジタル信号処理装置を更に含み、残響装置６０３がＣＯＤＥＣ層に位置付けられる場合に、残響装置６０３は、具体的に、アナログ−デジタル変換装置６０２により送信される第２の音声信号を受信し、残響効果を有する第３の音声信号を生成するために、ＣＯＤＥＣ層に位置付けられるデジタル信号処理装置を使用することにより第２の音声信号にローパスフィルタ処理及びオールパスフィルタ処理を実行し、第３の音声信号をデジタル音声ミキシング装置６０４に送信するように構成される。
【００８３】
すなわち、コーデック層において、アナログ−デジタル変換のあとで生成される第２の音声信号にもし残響処理が実行されるならば、第２の音声信号は、残響処理のために、ＣＯＤＥＣに位置付けられるデジタル信号処理（Digital  Signal  Processing、ＤＳＰ）装置に送信され得る。具体的には、ＣＯＤＥＣにおける残響処理方法及びＤＳＰ装置のモデルは、前述のフレームワーク層、ハードウェア抽象化層、又はドライバ層における処理方法と同様であり、詳細は再度ここでは説明されない。
【００８４】
任意に、一実施例において、デジタル音声ミキシング装置６０４は、具体的に、残響装置６０３により送信される第３の音声信号を受信するとともに、アプリケーション層から送信される背景音信号を受信し、第４の音声信号を生成するために、第３の音声信号とデジタル信号である背景音信号に重ね合わせを実行し、第４の音声信号をデジタル−アナログ変換装置６０５に送信するように構成される。
【００８５】
すなわち、フレームワーク層、ハードウェア抽象化層、及びドライバ層のうちのいずれか１つ又は複数において、アナログ−デジタル変換のあとで生成される第２の音声信号に残響処理が実行されたあとで、生成された第３の音声信号は、フレームワーク層、ハードウェア抽象化層、及びドライバ層のうちのいずれか１つ又は複数に同様に位置付けられるデジタル音声ミキシング装置６０４に送信され、さらに、デジタル音声ミキシング装置６０４は、アプリケーション層における“カラオケ”アプリケーションの背景音信号、例えば付随的な音楽を同様に受信し得る。２つの信号、すなわち、第３の音声信号と背景音信号は、直接的に合計されるか、又は、利得を有する２つの信号が合計されるか、又は、別の残響処理アルゴリズムを使用することにより２つの信号に重ね合わせが実行されることができ、それは本発明では限定されない。その後、残響及び重ね合わせのあとで生成される第４の音声信号は、デジタル−アナログ変換装置６０５に送信され得る。
【００８６】
任意に、一実施例において、音声収集装置６０１は、取得された第１の音声信号を、側音チャネルを通してアナログ音声ミキシング装置６０６に送信するように更に構成される。側音チャネルは、音声収集装置と音声再生装置を接続するアナログチャネルであり得る。アナログチャネルを通してループバックされたあとで、第１の音声信号は、音声再生装置のアナログ音声ミキシング装置に直接的に送信されることができ、遅延はほとんどゼロ（５ｍｓ未満）になる。任意に、第１の音声信号の利得は、ループバックプロセスにおいて調整され得る。
【００８７】
任意に、一実施例において、アナログ音声ミキシング装置６０６は、具体的に、第６の音声信号を生成するために、第１の音声信号と第５の音声信号に重ね合わせを実行するように構成される。
【００８８】
具体的には、アナログの第５の音声信号を生成するために、第４の音声信号にデジタル−アナログ変換が実行され、第１の音声信号は、側音チャネルを通してアナログ音声ミキシング装置に送信される。２つの信号、すなわち、第５の音声信号と第１の音声信号は、直接的に合計されるか、又は、利得を有する２つの信号が合計されるか、又は、第６の音声信号を生成するために、別の残響処理アルゴリズムを使用することにより２つの信号に重ね合わせが実行されることができ、それは本発明では限定されない。生成された第６の音声信号は、ラウドスピーカを使用することにより出力され得る。
【００８９】
アナログ−デジタル／デジタル−アナログ変換装置を形成するために、アナログ−デジタル変換装置６０２は、デジタル−アナログ変換装置６０５と統合され得る、ということが理解されることができる。
【００９０】
本発明のこの実施例では、音声信号は、処理のために２つの信号に分割され、一方の音声信号は、アナログチャネルを通してループバックされ、その後、ほとんど遅延なしで出力ポートに送信され、もう一方の音声信号は、システム最下層における残響美化処理が行われて、背景音信号と一緒に出力ポートに送信され、そして２つの信号は混合されて出力される。したがって、美化処理が実行される音声の遅延が削減されることができ、それにより、音声のリアルタイム入力、リアルタイム美化、及びリアルタイム出力を実現するとともに、ユーザ経験を向上させる。
【００９１】
図７は、本発明の別の実施例による端末装置の概略構成図である。図７における端末装置７００は、マイクロフォン７０１、プロセッサ７０３、及びラウドスピーカ７０４を含む。
【００９２】
マイクロフォン７０１は、アナログの第１の音声信号を取得するように構成される。
【００９３】
プロセッサ７０３は、デジタルの第２の音声信号を生成するために、第１の音声信号にアナログ−デジタル変換を実行し、デジタルの第３の音声信号を生成するために、システム最下層において、第２の音声信号に残響処理を実行し、デジタルの第４の音声信号を生成するために、第３の音声信号とアプリケーション層から送信される背景音信号にデジタル音声ミキシング処理を実行し、アナログの第５の音声信号を生成するために、第４の音声信号にデジタル−アナログ変換を実行し、アナログの第６の音声信号を生成するために、第１の音声信号と第５の音声信号にアナログ音声ミキシング処理を実行するように構成される。
【００９４】
ラウドスピーカ７０４は、第６の音声信号を再生するように構成される。
【００９５】
本発明のこの実施例では、システム最下層において音声信号に残響美化処理を実行することにより、美化処理が実行される音声の遅延が削減されることができ、それにより、音声のリアルタイム入力、リアルタイム美化、及びリアルタイム出力を実現するとともに、ユーザ経験を向上させる。
【００９６】
端末装置は、メモリ７０２を更に含むことができ、ここで、メモリ７０２は、プロセッサ７０３が動作を実行することを可能にする命令を記憶し得る。本発明のこの実施例の端末装置は、携帯型の移動端末、例えば携帯電話又はタブレットコンピュータであっても良いか、又は、携帯用の端末装置、ポケット型の端末装置、携帯型の端末装置、コンピュータ組み込み式の端末装置、若しくは車載の端末装置であっても良く、それは本発明のこの実施例では限定されない、ということが理解されるべきである。
【００９７】
本発明のこの実施例の端末装置のシステムは、論理的構造に従って下記の５つの層、アプリケーション層、フレームワーク層、ハードウェア抽象化層ＨＡＬ、ドライバ層、及びＣＯＤＥＣ層に分割されることができ、ここで、ＣＯＤＥＣ層はハードウェア層に属する。アプリケーション層の下方にあるフレームワーク層、ハードウェア抽象化層、ドライバ層、及びＣＯＤＥＣ層は、システム最下層と呼ばれ得る。
【００９８】
プロセッサ７０３はハードウェア層に位置付けられることができ、音声信号に対してシステム最下層において実行される前述の処理は、ハードウェア層に位置付けられるプロセッサ７０３により実行されることができ、プロセッサ７０３の論理プロセス又はスレッドはシステム最下層に位置付けられるとともに、プロセス又はスレッドの優先順位は比較的高い、ということが理解されるべきである。したがって、不安定なシステム又は遅延に起因するプロセス又はスレッドに対する影響は比較的低く、そして、プロセッサ７０３の処理速度及び応答速度は比較的高い。
【００９９】
任意に、一実施例において、プロセッサ７０３は、コーデックＣＯＤＥＣチップ７０５と、デジタル−アナログ／アナログ−デジタル変換器７０６とを含み得る。ＣＯＤＥＣチップ７０５は、具体的に、録音チャネルを通して、デジタル−アナログ／アナログ−デジタル変換器７０６により実行される変換のあとで獲得される第２の音声信号を受信し、残響効果を有する第３の音声信号を生成するために、第２の音声信号に残響処理を実行するように構成される。
【０１００】
任意に、一実施例において、プロセッサ７０３は、デジタル−アナログ／アナログ−デジタル変換器７０６と、コーデックＣＯＤＥＣチップ７０５とを含み得る。ＣＯＤＥＣチップ７０５は、具体的に、デジタル−アナログ／アナログ−デジタル変換器７０６により実行される変換のあとで獲得される第２の音声信号を受信し、残響効果を有する第３の音声信号を生成するために、第２の音声信号にローパスフィルタ処理及びオールパスフィルタ処理を実行するように構成される。
【０１０１】
任意に、一実施例において、プロセッサ７０３は、デジタル−アナログ／アナログ−デジタル変換器７０６と、コーデックＣＯＤＥＣチップ７０５とを含み得る。ＣＯＤＥＣチップ７０５は、具体的に、アプリケーション層から送信される背景音信号を受信し、第４の音声信号を生成するために、第３の音声信号とデジタル信号である背景音信号に重ね合わせを実行し、第４の音声信号をデジタル−アナログ／アナログ−デジタル変換器７０６に送信するように構成される。デジタル−アナログ／アナログ−デジタル変換器７０６は、デジタルの第４の音声信号を第５の音声信号に変換する。
【０１０２】
任意に、一実施例において、マイクロフォン７０１は、取得された第１の音声信号をプロセッサ７０３に送信するように更に構成される。側音チャネルは、プロセッサ７０３をマイクロフォン７０１及びラウドスピーカ７０４に接続するアナログチャネルであり得る。アナログチャネルのループバックを通してループバックされたあとで、第１の音声信号は、コーデックＣＯＤＥＣチップ７０５に直接的に送信されることができ、遅延はほとんどゼロ（５ｍｓ未満）になる。任意に、第１の音声信号の利得は、ループバックプロセスにおいて調整され得る。
【０１０３】
任意に、一実施例において、プロセッサ７０３は、具体的に、第６の音声信号を生成するために、第１の音声信号と第５の音声信号に重ね合わせを実行するように構成される。
【０１０４】
本発明のこの実施例では、音声信号は、処理のために、端末装置７００により２つの信号に分割され、一方の音声信号は、アナログチャネルを通してループバックされ、その後、ほとんど遅延なしで出力ポートに送信され、もう一方の音声信号は、システム最下層における残響美化処理が行われて、背景音信号と一緒に出力ポートに送信され、そして２つの信号は混合されて出力される。したがって、美化処理が実行される音声の遅延が削減されることができ、それにより、音声のリアルタイム入力、リアルタイム美化、及びリアルタイム出力を実現するとともに、ユーザ経験を向上させる。
【０１０５】
本発明のこの実施例におけるプロセッサ７０３は、コーデックＣＯＤＥＣチップ７０５と、デジタル−アナログ／アナログ−デジタル変換器７０６とを含み、コーデックＣＯＤＥＣチップ７０５とデジタル−アナログ／アナログ−デジタル変換器７０６は、別々に配置されることができるか、又は統合されることができ、それは本発明のこの実施例では限定されない、ということに注意が必要である。
【０１０６】
本発明の前述の実施例において開示された方法は、プロセッサに適用され得るか、又はプロセッサにより実施され得る。プロセッサは、集積回路チップであり得るとともに、信号処理能力を有する。実施の間、前述の方法の全てのステップは、ハードウェアの集積論理回路、又はプロセッサ内のソフトウェア形式における命令により完成され得る。プロセッサは、ユニバーサルプロセッサ、デジタルシグナルプロセッサ（ＤＳＰ）、特定用途向け集積回路（ＡＳＩＣ）、フィールド・プログラマブル・ゲート・アレイ（ＦＰＧＡ）若しくは別のプログラム可能な論理装置、スタンドアロンゲート若しくはトランジスタ論理装置、又は、スタンドアロンハードウェア装置であり得るとともに、本発明の実施例において開示された方法、ステップ、及び論理的構成図を実施し得るか、又は実行し得る。汎用プロセッサはマイクロプロセッサであり得るか、又は、プロセッサはあらゆる従来のプロセッサ若しくは同様のものであり得る。本発明の実施例において開示された方法のステップは、ハードウェア復号プロセッサにより直接的に実行され得るか、又は復号プロセッサにおけるハードウェアとソフトウェアモジュールの組み合わせにより実行され得る。ソフトウェアモジュールは、ランダムアクセスメモリ、フラッシュメモリ、読出し専用メモリ、プログラマブル読出し専用メモリ、電気的消去可能プログラマブル読出し専用メモリ、又はレジスタのような、当該技術における完成された記憶媒体に配置され得る。記憶媒体はメモリ内に配置される。プロセッサは、メモリから情報を読み取り、ハードウェアと結合して前述の方法のステップを完成する。
【０１０７】
当業者は、本明細書中で開示される実施例において説明される例と組み合わせて、ユニット及びアルゴリズムステップが、電子ハードウェア、又は、コンピュータソフトウェアと電子ハードウェアの組み合わせにより実施され得ることに、気付くかもしれない。機能がハードウェアにより実行されるか又はソフトウェアにより実行されるかは、技術的解決法の特定のアプリケーション及び設計制約条件に依存する。当業者は、各特定のアプリケーションに対して説明された機能を実施するために異なる方法を使用し得るが、しかし、その実施は本発明の範囲を超えるものと考えられるべきではない。
【０１０８】
都合が良くそして簡潔な記述のために、前述のシステム、装置、及びユニットの詳細な作業処理については、前述の方法の実施例の対応する処理に対して参照が行われるとともに、詳細は再度ここでは説明されない、ということが当業者によって明らかに理解され得る。
【０１０９】
本願において提供されるいくらかの実施例では、開示されたシステム、装置、及び方法は他の様式で実施され得る、ということが理解されるべきである。例えば、説明された装置の実施例は、単に代表的である。例えば、ユニットの分割は、単に論理的な機能の分割であるとともに、実際の実装例では他の分割であるかもしれない。例えば、複数のユニット又はコンポーネントは、別のシステムに結合され得るか若しくは統合され得るか、又は、いくつかの特徴は、無視され得るか若しくは実行されないかもしれない。さらに、表示されたか若しくは論じられた相互の結合又は直接的な結合又は通信接続は、いくつかインタフェースを使用することにより実施され得る。装置又はユニットの間の間接的な結合又は通信接続は、電子的方式、機械的方式、又は他の方式において実施され得る。
【０１１０】
別個の部品として説明されるユニットは、物理的に分離しているかもしれないし、又は物理的に分離していないかもしれないとともに、ユニットとして表示される部品は、物理的なユニットであるかもしれないし、又は物理的なユニットでないかもしれず、１つの位置に位置付けられるかもしれないし、又は複数のネットワークユニットに対して分散されるかもしれない。いくつか又は全てのユニットは、実施例の解決法の目的を達成するために、実際のニーズに従って選択され得る。
【０１１１】
さらに、本発明の実施例における機能ユニットは１つの演算処理装置に統合され得るか、又は、それぞれのユニットは物理的に単独で存在し得るか、又は、２つ以上のユニットは１つのユニットに統合される。
【０１１２】
機能がソフトウェア機能ユニットの形式で実施されるとともに、独立した製品として販売されるか又は使用される場合に、機能は、コンピュータ読み取り可能な記憶媒体に記憶され得る。そのような理解に基づくと、本発明の技術的解決法は本質的に、又は、従来技術に貢献する部分は、又は、一部の技術的解決法は、ソフトウェア製品の形式で実施され得る。ソフトウェア製品は、記憶媒体に記憶されるとともに、コンピュータ装置（それはパーソナルコンピュータ、サーバ、又はネットワーク装置であり得る）に、本発明の実施例において説明された方法のステップの全部又は一部を実行するように指示するためのいくらかの命令を含む。記憶媒体は、ＵＳＢフラッシュディスク、リムーバブルハードディスク、読出し専用メモリ（Read-Only  Memory、ＲＯＭ）、ランダムアクセスメモリ（Random  Access  Memory、ＲＡＭ）、磁気ディスク、又は光ディスクのような、プログラムコードを記憶することができるあらゆる媒体を含む。
【０１１３】
前述の説明は、本発明の単なる具体的な実施方法にすぎず、本発明の保護範囲を限定することを意図していない。本発明において開示された技術的な範囲内の当業者によって容易に判断されるあらゆる変形又は置換は、本発明の保護範囲に含まれるものとする。したがって、本発明の保護範囲は、請求項の保護範囲に支配されるものとする。
【図１】
0006272474.tif 000005
【図２】
0006272474.tif 000006
【図３】
0006272474.tif 000007
【図４】
0006272474.tif 000008
【図５】
0006272474.tif 000009
【図６】
0006272474.tif 000010
【図７】
0006272474.tif 000011