(57)【要約】  ハイブリッド発声エンコーダ（２００）は音楽特徴を有する音声から発声特徴を有する音声への変化を検出する。エンコーダ（２００）は、音楽特徴を有する音声（たとえば音楽）を検出すると、第１のモードで動作し、そこではエンコーダ（２００）は周波数ドメイン符号化部（３００Ａ）を用いる。エンコーダ（２００）は、発声特徴を有する音声（たとえば人の発声）を検出すると、第２のモードで動作し、時間ドメインまたは波形符号化部（３００Ｂ）を用いる。切換が生ずると、エンコーダ（２００）は、信号におけるギャップ（４１６）を、そのギャップ（４１６）の後に生ずるその信号の一部（４０６）で埋め戻す。
2015530622.tif 000002
【特許請求の範囲】
【請求項１】
オーディオ信号をエンコードする方法であって、
前記オーディオ信号を第１のエンコーダモード（３００Ａ）で処理することと、
第１の時間（４１０）で前記第１のエンコーダモード（３００Ａ）から第２のエンコーダモード（３００Ｂ）に切換えることと、
前記オーディオ信号を前記第２のエンコーダモード（３００Ｂ）において処理することとを含み、前記第２のモード（３００Ｂ）における処理遅延は、前記オーディオ信号において、前記第１の時間（４１０）またはその後に開始し第２の時間（４１２）において終了するタイムスパンを有するギャップ（４１６）を形成し、前記方法はさらに、
前記処理されたオーディオ信号の一部（４０６）をコピーすることを含み、前記コピーされた部分（４０６）は前記第２の時間（４１２）またはその後に生じ、前記方法はさらに、
前記ギャップ（４１６）に信号を挿入することを含み、前記挿入される信号は前記コピーされた部分（４０６）に基づく、方法。
【請求項２】
前記挿入された信号は、前記コピーされた部分の時間反転されたものである、請求項１に記載の方法。
【請求項３】
前記コピーされた部分のタイムスパンは前記ギャップの前記タイムスパンよりも長く、
前記方法はさらに、前記コピーされた部分の重複部分を、前記第２の時間の後に生ずる前記処理されたオーディオ信号の少なくとも一部と結合することを含む、請求項１に記載の方法。
【請求項４】
前記コピーされた部分は、サインウインドウ部分およびコサインウインドウ部分を含み、
前記コピーされた部分を挿入することは、前記サインウインドウ部分を前記コサインウインドウ部分と結合すること、および、前記結合されたサインおよびコサインウインドウ部分の少なくとも一部を前記ギャップ部分に挿入すること、を含む、請求項１に記載の方法。
【請求項５】
エンコーダを第１のモードから第２のモードに切換えることは、前記エンコーダを音楽モードから発声モードに切換えることを含む、請求項１に記載の方法。
【請求項６】
前記オーディオ信号が音楽信号であると判断される場合に、前記オーディオ信号を前記第１のモードでエンコードすることと、
前記オーディオ信号が前記音楽信号から発声信号に切換わったことを判断することと、
前記オーディオ信号が発声信号に切換わったと判断される場合に、前記オーディオ信号を前記第２のモードでエンコードすることとをさらに含む、請求項１に記載の方法。
【請求項７】
前記第１のモードは音楽符号化モードであり、前記第２のモードは発声符号化モードである、請求項６に記載の方法。
【請求項８】
前記第１のモードにおいて周波数ドメイン符号化部を用い、前記第２のモードにおいてＣＥＬＰ符号化部を用いることをさらに含む、請求項１に記載の方法。
【請求項９】
オーディオ信号をエンコードするための装置（２００）であって、第１の符号化部（３００Ａ）と、
第２の符号化部（３００Ｂ）と、
発声音楽検出部（３００）とを含み、
前記発声音楽検出部（３００）によって、オーディオ信号が音楽から発声に変わったと判断されると、前記オーディオ信号は、前記第１の符号化部（３００Ａ）によって処理することが停止され、前記第２の符号化部（３００Ｂ）によって処理され、
前記第２の符号化部（３００Ｂ）の処理遅延は、前記オーディオ信号において、第１の時間（４１０）またはその後に開始し第２の時間（４１２）に終了するタイムスパンを有するギャップ（４１６）を形成し、前記装置はさらに、
前記処理されたオーディオ信号の一部（４０６）をコピーする欠落信号生成部（３１１Ａ）を含み、前記コピーされた部分（４０６）は、前記第２の時間（４１２）またはその後に生じ、前記欠落信号生成部（３１１Ａ）は前記ギャップ（４１６）に信号を挿入し、前記挿入される信号は前記コピーされた部分（４０６）に基づく、装置。
【発明の詳細な説明】
【技術分野】
【０００１】
技術分野
本開示は、一般的に、オーディオ処理に関し、特に、オーディオエンコーダモードを切換えることに関する。
【背景技術】
【０００２】
背景
可聴周波数範囲（人間の耳に可聴である周期的振動の周波数）は、約５０Ｈｚ〜約２２ｋＨｚであるが、聴力は年齢とともに退化し、ほとんどの成人は、約１４〜１５ｋＨｚより上を聞くことが困難であると感じる。人間の発声（speech）信号のエネルギの大半は、概して２５０Ｈｚ〜３．４ｋＨｚの範囲に制限される。したがって、これまでのボイス伝送システムは、しばしば「狭帯域」と称されるこの周波数範囲に制限される。しかしながら、よりよい音質を可能にするため、聞き手がボイスを認識することをより容易にするため、および「摩擦子音」（ｓおよびｆがその例である）として知られる、狭い通路を通って空気を動かすことを必要とする発声要素を聞き手が区別できるようにするために、より新たなシステムがこの範囲を約５０Ｈｚ〜７ｋＨｚに拡張した。このより大きな周波数範囲は、しばしば、「広帯域」（ＷＢ）または時としてＨＤ（高解像度）ボイスと称される。
【発明の概要】
【課題を解決するための手段】
【０００３】
このＷＢ範囲より高い−約７ｋＨｚ〜約１５ｋＨｚの−周波数は、ここでは、帯域幅拡張（ＢＷＥ）領域と呼ばれる。約５０Ｈｚ〜約１５ｋＨｚの音声（sound）周波数の全範囲は「超広帯域」（ＳＷＢ）と称される。このＢＷＥ領域では、人間の耳は、音声信号の位相に対して特に感度がよいというわけではない。しかしながら、それは、音声高調波の規則性、ならびにエネルギの存在および分布に対しては感度がよい。したがって、ＢＷＥ音声を処理することは、発声がより自然に聞こえることを助け、さらに、「存在」の感覚も与える。
【図面の簡単な説明】
【０００４】
【図１】この発明のさまざまな実施例が実現されてもよい通信システムの例を示す。
【図２】この発明のある実施例に従う通信装置を示すブロック図を示す。
【図３】この発明のある実施例におけるエンコーダを示すブロック図を示す。
【図４】この発明のさまざまな実施例に従ってギャップを満たす例を示す。
【図５】この発明のさまざまな実施例に従ってギャップを満たす例を示す。
【発明を実施するための形態】
【０００５】
説明
この発明のある実施例はハイブリッドエンコーダに向けられる。このエンコーダによって受取られるオーディオ入力が、音楽特徴を有する音声（music-like sounds）（たとえば音楽）から発声特徴を有する音（speech-like sounds）（たとえば人間の発声）に変化するとき、エンコーダは第１のモード（たとえば音楽モード）から第２のモード（たとえば発声モード）に切換わる。この発明のある実施例では、エンコーダが第１のモードで動作するとき、それは、第１の符号化部（たとえば高調波に基づくシヌソイド型符号化部のような周波数ドメイン符号化部）を用いる。エンコーダが第２のモードに切換わると、それは、第２の符号化部（たとえばＣＥＬＰ符号化部のような時間ドメインまたは波形符号化部）を用いる。この第１の符号化部から第２の符号化部への切換は、エンコーディングプロセスにおいて遅延を引起して、エンコードされた信号にギャップをもたらす結果となるかも知れない。これを補償するため、エンコーダはそのギャップを、そのギャップの後に生ずるオーディオ信号の一部で埋め戻す（backfill）。
【０００６】
この発明のある関係付けられる実施例では、第２の符号化部は、ＢＷＥ符号化部分とコア符号化部分とを含む。コア符号化部分は、エンコーダが動作するビットレートに依存して、異なるサンプルレートで動作してもよい。たとえば、（たとえばエンコーダがより低いビットレートで動作するときに）より低いサンプルレートを用いることに対する利点、および（たとえばエンコーダがより高いビットレートで動作するときに）より高いサンプルレートを用いることに対する利点があり得る。コア部分のサンプルレートは、ＢＷＥ符号化部分の最も低い周波数を決定する。しかしながら、第１の符号化部から第２の符号化部化への切換が生ずるとき、コア符号化部分が動作するべきサンプルレートについて不確かさがあるかも知れない。コアサンプルレートがわかるまで、ＢＷＥ符号化部分の連鎖処理は構成され得ないかも知れず、ＢＷＥ符号化部分の連鎖処理に遅延を引起し得る。この遅延の結果、処理中の信号のＢＷＥ領域（「ＢＷＥターゲット信号」と称される）にギャップが形成される。これを補償するため、エンコーダは、ＢＷＥターゲット信号ギャップを、そのギャップの後に生ずるオーディオ信号の一部で埋め戻す。
【０００７】
この発明の別の実施例では、オーディオ信号が、（周波数ドメイン符号化部のような）第１の符号化部によって符号化される（音楽または音楽特徴を有する信号のような）第１のタイプの信号から、（時間ドメインまたは波形符号化部のような）第２の符号化部によって処理される（発声または発声特徴を有する信号のような）第２のタイプの信号に切換わる。この切換は第１の時間において生ずる。処理されたオーディオ信号におけるギャップは、第１の時間またはその後に始まって第２の時間に終わるタイムスパンを有する。第２の時間またはその後に生ずる、処理されたオーディオ信号の一部は、コピーされ、おそらくは（時間反転、サインウインドウ処理、および／またはコサインウインドウ処理などのような）さまざまな機能がそのコピーされた部分上において実行された後に、ギャップに挿入される。
【０００８】
先に記載された実施例は通信装置において実行されてもよく、そこにおいては、入力インターフェイス（たとえばマイクロホン）がオーディオ信号を受取り、発声音楽検出部によって、音楽特徴を有するオーディオから発声特徴を有するオーディオへの切換が生じたかどうかが判断され、欠落信号生成部によって、ＢＷＥターゲット信号のギャップが埋め戻される。さまざまな動作が、プロセッサ（たとえばデジタル信号プロセッサまたはＤＳＰ）とメモリ（たとえば先読みバッファを含む）との組合せによって実行されてもよい。
【０００９】
以下の記載では、図面に示されるコンポーネントは、符号付けされる経路と並んで、さまざまな実施例においてどのようにして信号が概して流れ、および処理されるかを示すよう意図されることに注意されたい。線の接続は必ずしも個々の物理的経路に対応するものではなく、ブロックは必ずしも個々の物理的コンポーネントに対応するわけではない。それらのコンポーネントはハードウェアまたはソフトウェアとして実現されてもよい。さらに、「結合される（coupled）」という語の使用は必ずしもコンポーネント間の物理的な接続を含意するものではなく、中間コンポーネントがあるコンポーネント間における関係を記載し得る。それは、単に、物理的またはソフトウェア構成物（たとえばデータ構造、オブジェクトなど）を介して、互いと通信するコンポーネントの能力を記載するに過ぎない。
【００１０】
図面に戻って、この発明のある実施例が動作するネットワークの例をここで記載する。図１は、通信システム１００を示し、それはネットワーク１０２を含む。ネットワーク１０２は、無線アクセスポイント、セルラー基地局、結線ネットワーク（光ファイバ、同軸ケーブルなど）のような数多くのコンポーネントを含んでもよい。任意の数の通信装置および多数のさまざまな通信装置がネットワーク１０２を介してデータ（ボイス、映像、ウェブページなど）を交換してもよい。第１および第２の通信装置１０４および１０６は、図１において、ネットワーク１０２を介して通信するものとして示される。第１および第２の通信装置１０４および１０６はスマートフォンとして示されているが、それらは、ラップトップ、無線ローカルエリアネットワーク対応装置、無線ワイドエリアネットワーク対応装置、ユーザ機器（ＵＥ）を含む、任意のタイプの通信装置であってもよい。そうではないと述べられない限り、第１の通信装置１０４は送信装置として考えられ、第２の通信装置１０６は受信装置として考えられる。
【００１１】
図２は、この発明のある実施例に従う（図１からの）通信装置１０４のブロック図を示す。通信装置１０４は、ネットワーク１０２に記憶される情報またはデータにアクセスすること、およびネットワーク１０２を介して第２の通信装置１０６と通信することができてもよい。ある実施例では、通信装置１０４は１つ以上の通信アプリケーションをサポートする。ここに記載されるさまざまな実施例は、さらに、第２の通信装置１０６上において実行されてもよい。
【００１２】
通信装置１０４は送受信機２４０を含んでもよく、それは、ネットワーク１０２を介してデータを送受信することができる。通信装置は、エンコーダ２２２のような、記憶されたプログラムを実行してもよいコントローラ／プロセッサ２１０を含んでもよい。この発明のさまざまな実施例はエンコーダ２２２によって実行される。通信装置は、さらに、コントローラ／プロセッサ２１０によって使用されるメモリ２２０を含んでもよい。メモリ２２０はエンコーダ２２２を格納し、さらに、先読みバッファ２２１を含んでもよく、その目的は以下にさらに詳細に記載される。通信装置は、ユーザ入力／出力インターフェイス２５０を含んでもよく、それは、キーパッド、ディスプレイ、タッチスクリーン、マイクロホン、イヤホン、およびスピーカのような要素を含んでもよい。通信装置は、さらに、ネットワークインターフェイス２６０を含んでもよく、それに対しては、たとえば、ユニバーサルシリアルバス（ＵＳＢ）インターフェイスなどのさらなる要素が取付けられてもよい。最後に、通信装置は、データベースインターフェイス２３０を含んでもよく、それは、通信装置が、通信装置の構成に関係するさまざまな記憶されたデータ構造にアクセスすることを可能にする。
【００１３】
この発明のある実施例に従うと、入力／出力インターフェイス２５０（たとえばそのマイクロホン）はオーディオ信号を検出する。エンコーダ２２２はオーディオ信号をエンコードする。そうする際において、エンコーダは、「先読み（look-ahead）」として公知の技術を用いて発声信号をエンコードする。先読みを用いて、エンコーダ２２２は、それがエンコードしている現在の発声フレームの後に続くある少量の発声を調べることにより、何がそのフレームの後に来るかを判断する。エンコーダは後に続く発声信号の一部を先読みバッファ２２１に記憶する。
【００１４】
図３のブロック図を参照して、（図２からの）エンコーダ２２２の動作をここで記載する。エンコーダ２２２は、発声／音楽検出部３００と、発声／音楽検出部３００に結合されるスイッチ３２０とを含む。図２に示されるコンポーネントの右側には、第１の符号化部３００ａおよび第２の符号化部３００ｂがある。この発明のある実施例では、第１の符号化部３００ａは周波数ドメイン符号化部（高調波に基づくシヌソイド符号化部として実現されてもよい）であり、第２のコンポーネントの組はＣＥＬＰ符号化部３００ｂのような時間ドメインまたは波形符号化部を構成する。第１および第２の符号化部３００ａおよび３００ｂはスイッチ３２０に結合される。
【００１５】
第２の符号化部３００ｂは、ＢＷＥ励振信号（約７ｋＨｚ〜約１６ｋＨｚ）を経路ＯおよびＰ上に出力する高域部分と、ＷＢ励振信号（約５０Ｈｚ〜約７ｋＨｚ）を経路Ｎ上において出力する低域部分とを有するとして特徴付けられてもよい。このグループ分けは便宜的な参照のためのみのものであることを理解されたい。以下に論ずるように、高域部分および低域部分は相互に作用する。
【００１６】
高域部分は、バンドパスフィルタ３０１と、バンドパスフィルタ３０１に結合されるスペクトル反転およびダウンミキサ３０７と、スペクトル反転およびダウンミキサ３０７に結合されるデシメータ３１１と、デシメータ３１１に結合される欠落信号生成部３１１ａと、欠落信号生成部３１１ａに結合される線形予測符号化（ＬＰＣ）解析部３１４とを含む。高域部分３００ａは、さらに、ＬＰＣ解析部３１４に結合される第１の量子化部３１８を含む。ＬＰＣ解析部は、たとえば、１０次ＬＰＣ解析部であってもよい。
【００１７】
さらに図３を参照して、第２の符号化部３００ｂの高域部分は、さらに、高域適応コードブック（ＡＣＢ）３０２（または代替的に長期予測部）と、加算部３０３と、二乗回路３０６とを含む。高域ＡＣＢ３０２は、加算部３０３および二乗回路３０６に結合される。高域部分は、さらに、ガウス生成部３０８、加算部３０９、およびバンドパスフィルタ３１２を含む。ガウス生成部３０８およびバンドパスフィルタ３１２は、両方とも加算部３０９に結合される。高域部分は、さらに、スペクトル反転およびダウンミキサ３１３と、デシメータ３１５と、１／Ａ（ｚ）全極型フィルタ３１６（以下「全極型フィルタ」とも称される）と、利得コンピュータ３１７と、第２の量子化部３１９とを含む。スペクトル反転およびダウンミキサ３１３はバンドパスフィルタ３１２に結合され、デシメータ３１５はスペクトル反転およびダウンミキサ３１３に結合され、全極型フィルタ３１６はデシメータ３１５に結合され、利得コンピュータ３１７は全極型フィルタ３１６および量子化部の両方に結合される。加えて、全極型フィルタ３１６はＬＰＣ解析部３１４に結合される。低域部分は、補間部３０４と、デシメータ３０５と、符号駆動線形予測（ＣＥＬＰ）コアコーデック３１０を含む。補間部３０４およびデシメータ３０５は、両方とも、ＣＥＬＰコアコーデック３１０に結合される。
【００１８】
この発明のある実施例に従うエンコーダ２２２の動作をここで記載する。発声／音楽検出部３００は、（図２の入力／出力インターフェイス２５０のマイクロホンからのような）オーディオ入力を受取る。検出部３００が、そのオーディオ入力は音楽タイプのオーディオであると判断した場合には、検出部はスイッチ３２０を制御して切換えることにより、そのオーディオ入力が第１の符号化部３００ａに通過することを可能にする。一方、検出部３００が、オーディオ入力が発声タイプのオーディオであると判断した場合には、検出部は、スイッチ３２０を制御して、オーディオ入力が第２の符号化部３００ｂに通過することを可能にする。たとえば、第１の通信装置１０４を用いる人が、バックグラウンドミュージックがある場所にいる場合には、検出部３００は、スイッチ３２０にエンコーダ２２２を切換えさせて、その人が話していない（つまりバックグラウンドミュージックが優勢である）期間中は、第１の符号化部３００ａを用いることになる。一旦その人が話し始めると（つまり発声が優勢になると）、検出部３００は、スイッチ３２０にエンコーダ２２２を切換えさせて、第２の符号化部３００ｂを用いることになる。
【００１９】
第２の符号化部３００ｂの高域部分の動作を、ここで、図３を参照して説明する。
バンドパスフィルタ３０１は３２ｋＨｚの入力信号を経路Ａを介して受取る。この例では、入力信号は、３２ｋＨｚでサンプリングされた超広帯域（ＳＷＢ）信号である。バンドパスフィルタ３０１は、６．４ｋＨｚまたは８ｋＨｚのいずれかの下側周波数カットオフを有し、８ｋＨｚの帯域幅を有する。バンドパスフィルタ３０１の下側周波数カットオフは、ＳＥＬＰコアコーデック３１０の高周波数カットオフ（たとえば６．４ｋＨｚまたは８ｋＨｚのいずれか）と一致させられる。バンドパスフィルタ３０１はＳＷＢ信号をフィルタ処理し、その結果、３２ｋＨｚでサンプリングされ８ｋＨｚの帯域幅を有する、経路Ｃ上の帯域制限された信号がもたらされる。スペクトル反転およびダウンミキサ３０７は、経路Ｃを介して受取られる帯域制限された入力信号をスペクトル反転し、その信号を周波数において下方にスペクトル変換して、必要とされる帯域が０Ｈｚ〜８ｋＨｚの領域を占めるようにする。反転されダウンミキシングされた入力信号はデシメータ３１１に与えられ、デシメータ３１１は、その反転されダウンミキシングされた信号を８ｋＨｚに帯域制限し、反転されダウンミキシングされた信号のサンプルレートを３２ｋＨｚから１６ｋＨｚに低減し、経路Ｊを介して、入力信号がスペクトル反転され帯域制限された信号を臨界的にサンプリングした信号、つまりＢＷＥターゲット信号を出力する。経路Ｊ上におけるこの信号のサンプルレートは１６ｋＨｚである。このＢＷＥターゲット信号は欠落信号生成部３１１ａに与えられる。
【００２０】
欠落信号生成部３１１ａは、エンコーダ２２２が第１の符号化部３００ａとＣＥＬＰ型エンコーダ３００ｂとの間で切換わる結果生ずる、ＢＷＥターゲット信号におけるギャップを埋め合わせる。このギャップを埋め合わせるプロセスを、図４を参照してより詳細に記載する。ギャップを埋め合わせられたＢＷＥターゲット信号は、ＬＰＣ解析部３１４に、および経路Ｌを介して利得コンピュータ３１７に与えられる。ＬＰＣ解析部３１４は、ギャップを埋め合わせられたＢＷＥターゲット信号のスペクトルを判断し、ＬＰＣフィルタ係数（量子化されず）を経路Ｍ上に出力する。経路Ｍ上の信号は量子化部３１８によって受取られ、量子化部３１８は、ＬＰＣパラメータを含むＬＰＣ係数を量子化する。量子化部３１８の出力は、量子化されたＬＰＣパラメータを構成する。
【００２１】
さらに図３を参照して、デシメータ３０５は３２ｋＨｚＳＷＢ入力信号を経路Ａを介して受取る。デシメータ３０５は、その入力信号を帯域制限し再サンプリングする。結果として得られる出力は、１２．８ｋＨｚまたは１６ｋＨｚのサンプリングされた信号である。帯域制限され再サンプリングされた信号はＣＥＬＰコアコーデック３１０に与えられる。ＣＥＬＰコアコーデック３１０は、帯域制限され再サンプリングされた信号の下側６．４または８ｋＨｚを符号化し、ＣＥＬＰコア確率論的励振信号成分（「確率論的コードブック成分」）を経路ＮおよびＦ上に出力する。補間部３０４はその確率論的コードブック成分を経路Ｆを介して受取り、それを高域経路における使用のためにアップサンプリングする。換言すれば、確率論的コードブック成分は高域確率論的コードブック成分として供される。アップサンプリング係数は、出力サンプルレートが３２ｋＨｚであるように、ＣＥＬＰコアコーデックの高周波カットオフに一致される。加算部３０３は、アップサンプリングされた確率論的コードブック成分を経路Ｂを介して受取り、適応コードブック成分を経路Ｅを介して受取り、それら２つの成分を加算する。確率論的コードブック成分および適応コードブック成分の和を用いて、ＡＣＢ３０２の状態を経路Ｄを介して後に続くピッチ周期のために更新する。
【００２２】
再び図３を参照して、高域ＡＣＢ３０２は、より高いサンプルレートで動作し、ＣＥＬＰコア３１０の励振の補間および拡張されたものを再形成し、ＣＥＬＰコア３１０の機能を鏡映すると考えられてもよい。より高いサンプルレート処理は、そのより高いサンプルレートのため、ＣＥＬＰコアの高調波よりも周波数においてより高く拡張する高調波を形成する。これを達成するため、高域ＡＣＢ３０２は、ＣＥＬＰコア３１０からのＡＣＢパラメータを用い、ＣＥＬＰコア確率論的励振成分の補間されたものにおいて動作する。ＡＣＢ３０２の出力は、アップサンプリングされた確率論的コードブック成分に加算されて適応コードブック成分を形成する。ＡＣＢ３０２は、入力として、高域励振信号の確率論的コードブック成分と適応コードブック成分との和を経路Ｄ上において受取る。この和は、先に注記したように、加算モジュール３０３の出力から与えられる。
【００２３】
確率論的成分および適応成分の和（経路Ｄ）は、さらに、二乗回路３０６にも与えられる。二乗回路３０６は、コアＣＥＬＰ信号の強い高調波を生成して、帯域幅が拡張された高域励振信号を形成し、それはミキサ３０９に与えられる。ガウス生成部３０８は、成形されたガウスノイズ信号を生成し、そのエネルギ包絡線は、二乗回路３０６から出力された帯域幅が拡張された高域励振信号のそれに一致する。ミキサ３０９はそのノイズ信号をガウス生成部３０８から受取り、帯域幅が拡張された高域励振信号を二乗回路３０６から受取り、帯域幅が拡張された高域励振信号の一部を成形されたガウスノイズ信号と置換する。置換される部分は、推定されたボイス化度に依存し、それは、ＣＥＬＰコアからの出力であり、確率論的成分および適応コードブック成分における相対的エネルギの測定値に基づく。ミキシング機能からの結果としてもたらされたミキシングされた信号はバンドパスフィルタ３１２に与えられる。バンドパスフィルタ３１２は、バンドパスフィルタ３０１のそれと同じ特性を有し、高域励振信号の対応する成分を抽出する。
【００２４】
バンドパスフィルタ３１２から出力される、バンドパスフィルタ処理された高域励振信号は、スペクトル反転およびダウンミキサ３１３に与えられる。スペクトル反転およびダウンミキサ３１３は、バンドパスフィルタ処理された高域励振信号を反転し、周波数において下方にスペクトル変換を行ない、結果として得られる信号が０Ｈｚ〜８ｋＨｚの周波数領域を占めるようにする。この動作はスペクトル反転およびダウンミキサ３０７のそれと一致する。結果として得られる信号はデシメータ３１５に与えられ、それは、反転されダウンミキシングされた高域励振信号を帯域幅制限し、そのサンプルレートを３２ｋＨｚから１６ｋＨｚに低減する。この動作はデシメータ３１１のそれと一致する。結果として得られる信号は、おおむね平坦な、または白色スペクトルを有するが、どのようなフォルマント情報も欠いている。
【００２５】
全極型フィルタ３１６は、１０分の１にされた、反転されダウンミキシングされた信号をデシメータ３１４から受取り、量子化されていないＬＰＣフィルタ係数をＬＰＣ解析部３１４から受取る。全極フィルタ３１６は、１０分の１にされた、反転およびダウンミキシングされた高域信号を再成形して、それがＢＷＥターゲット信号のそれと一致するようにする。再成形された信号は利得コンピュータ３１７に与えられ、それは、さらに、ギャップを埋め合わせられたＢＷＥターゲット信号を欠落信号生成部３１１ａから（経路Ｌを介して）受取る。利得コンピュータ３１７は、ギャップを埋め合わせられたＢＷＥターゲット信号を用いて、スペクトル成形され、１０分の１にされ、反転およびダウンミキシングされた高域励振信号に適用されるべき理想的な利得を判断する。スペクトル再成形され、１０分の１にされ、反転およびダウンミキシングされた高域励振信号（理想的な利得を有する）は第２の量子化部３１９に与えられ、それはそれらの利得を高域のために量子化する。第２の量子化部３１９の出力は量子化された利得である。量子化されたＬＰＣパラメータおよび量子化された利得は、さらなる処理、変換などを経て、結果として、たとえば、ネットワーク１０２を介して第２の通信装置１０６に送信される無線周波数信号となる。
【００２６】
先に注記したように、欠落信号生成部３１１ａは、エンコーダ２２２が音楽モードから発声モードに変化する結果としての、信号におけるギャップを埋め合わせる。この発明のある実施例に従う欠落信号生成部３１１ａによって実行される動作を、ここで、図４を参照して詳細に記載する。図４は、信号４００、４０２、４０４および４０８のグラフを示す。グラフの縦軸は信号の大きさを表わし、横軸は時間を表わす。第１の信号４００は、エンコーダ２２２が処理しようとする元の音声信号である。第２の信号４０２は、如何なる修正もない状態で第１の信号４００を処理した結果の信号（つまり未修正の信号）である。第１の時間４１０は、エンコーダ２２２が第１のモード（たとえば高調波に基づくシヌソイド型符号化部のような周波数ドメイン符号化部を用いる音楽モード）から第２のモード（たとえばＣＥＬＰ符号化部のような時間ドメインまたは波形符号化部を用いる発声モード）に切換わる時点である。したがって、第１の時間４１０まで、エンコーダ２２２はオーディオ信号を第１のモードで処理する。第１の時間４１０において、またはその僅か後に、エンコーダ２２２は、オーディオ信号を第２のモードで処理しようとするが、それは、（第２の時間４１２に生じる）モード切換の後にフィルタメモリおよびバッファを追い出して先読みバッファ２２１を満たすことができるようになるまでは、効果的に行なうことはできない。理解できるように、第１の時間４１０と第２の時間４１２との間にはある時間間隔があり、そこにおいて、処理されるオーディオ信号に（たとえば５ミリ秒前後であってもよい）ギャップ４１６がある。このギャップ４１６中には、エンコードされるよう利用可能なＢＷＥ領域における音声はほとんどまたは全くない。このギャップを補償するため、欠落信号生成部３１１ａは信号４０２の一部分４０６をコピーする。コピーされた信号部分４０６は、欠落信号部分の推定値（つまりギャップにあるはずであった信号部分）である。コピーされた信号部分４０６は、第２の時間４１２から第３の時間４１４にわたる時間間隔４１８を占める。コピーされてもよい、第２の時間４１２の後の信号の複数の部分があってもよいが、この例は単一のコピーされた部分に向けられることに留意されたい。
【００２７】
エンコーダ２２２は、コピーされた信号部分４０６の一部がギャップ４１６に挿入されるように、コピーされた信号部分４０６を再生成された信号推定４０８上に重畳する。ある実施例では、欠落信号生成部３１１ａは、図４に示されるように、コピーされた信号部分４０６を、再生成された信号推定４０２に重畳する前に、時間反転する。
【００２８】
ある実施例では、コピーされた部分４０６は、ギャップ４１６の時間期間よりも大きな時間期間にわたる。したがって、コピーされた部分４０６がギャップ４１６を埋め合わせることに加えて、コピーされた部分の一部は、ギャップ４１６を超える信号と結合される。他の実施例では、コピーされた部分は、ギャップ４１６と同じ時間期間にわたる。
【００２９】
図５は、別の実施例を示す。この実施例では、既知のターゲット信号５００があり、それは、エンコーダ２２２によって実行される最初の処理からの結果の信号である。第１の時間５１２の前では、エンコーダ２２２は第１のモードで動作する（そこでは、たとえば、それは、高調波に基づくシヌソイド型符号化部のような周波数符号化部を用いる）。第１の時間５１２で、エンコーダ２２２は第１のモードから第２のモードに切換わる（そこでは、たとえば、それはＣＥＬＰ符号化部を用いる）。この切換は、たとえば、音楽または音楽特徴を有する音声から発声または発声特徴を有する音声に変化する通信装置へのオーディオ入力に基づく。エンコーダ２２２は、第２の時間５１４までは、第１のモードから第２のモードへの切換からは回復できない。第２の時間５１４の後、エンコーダ２２２は発声入力を第２のモードにおいてエンコードすることができる。ギャップ５０３が第１の時間と第２の時間との間に存在する。ギャップ５０３を補償するために、欠落信号生成部３１１ａ（図３）は、ギャップ５０３と同じ時間長５１８である、既知のターゲット信号５００の一部分５０４をコピーする。欠落信号生成部は、コピーされた部分５０４のコサインウインドウ部分５０２を、コピーされた部分５０４の時間反転されたサインウインドウ部分５０６と結合する。コサインウインドウ部分５０２および時間反転されたサインウインドウ部分５０６は、両方とも、コピーされた部分５０４の同じセクション５１６から取られてもよい。時間反転されたサイン部分およびコサイン部分は互いに関して位相が外れていてもよく、必ずしもセクション５１６の同じ時点で開始および終了しなくてもよい。コサインウインドウと時間反転されたサインウインドウとの結合は、重複加算信号５１０と称することにする。重複加算信号５１０は、ターゲット信号５００のコピーされた部分５０４の一部を置換する。コピーされた信号５０４のうち、置換されなかった部分は、非置換信号５２０と称することにする。エンコーダは、重複加算信号５１０を非置換信号５１６に付加し、ギャップ５０３を結合された信号５１０および５１６で埋め合わせる。
【００３０】
本開示およびそのベストモードが、本発明者らによる所有を確立しかつ当業者がそれを利用することを可能にする態様で記載されてきたが、ここに開示される例示的実施例に対する均等物が存在し、それに対する修正および変形が本開示の範囲および精神から逸脱することなくなされてもよく、それらは、例示的実施例によってではなく特許請求の範囲によって限定される旨が理解されることとなる。
【図１】
2015530622.tif 000003
【図２】
2015530622.tif 000004
【図３】
2015530622.tif 000005
【図４】
2015530622.tif 000006
【図５】
2015530622.tif 000007
【手続補正書】
【提出日】平成27年5月22日(2015.5.22)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
オーディオ信号をエンコードする方法であって、
前記オーディオ信号を第１のエンコーダモードで処理することと、
第１の時間で前記第１のエンコーダモードから第２のエンコーダモードに切換えることと、
前記オーディオ信号を前記第２のエンコーダモードにおいて処理することとを含み、前記第２のエンコーダモードにおける処理遅延は、前記オーディオ信号において、前記第１の時間またはその後に開始し第２の時間において終了するタイムスパンを有するギャップを形成し、前記方法はさらに、
前記処理されたオーディオ信号の一部をコピーすることを含み、前記コピーされた部分は前記第２の時間またはその後に生じ、前記方法はさらに、
前記ギャップに信号を挿入することを含み、前記挿入される信号は前記コピーされた部分に基づく、方法。
【請求項２】
前記挿入された信号は、前記コピーされた部分の時間反転されたものである、請求項１に記載の方法。
【請求項３】
前記コピーされた部分のタイムスパンは前記ギャップの前記タイムスパンよりも長く、
前記方法はさらに、前記コピーされた部分の重複部分を、前記第２の時間の後に生ずる前記処理されたオーディオ信号の少なくとも一部と結合することを含む、請求項１または請求項２に記載の方法。
【請求項４】
前記コピーされた部分は、サインウインドウ部分およびコサインウインドウ部分を含み、
前記コピーされた部分を挿入することは、前記サインウインドウ部分を前記コサインウインドウ部分と結合すること、および、前記結合されたサインおよびコサインウインドウ部分の少なくとも一部を前記ギャップ部分に挿入すること、を含む、請求項１または請求項２に記載の方法。
【請求項５】
エンコーダを前記第１のエンコーダモードから前記第２のエンコーダモードに切換えることは、前記エンコーダを音楽モードから発声モードに切換えることを含む、請求項１〜請求項４のいずれか１項に記載の方法。
【請求項６】
前記オーディオ信号が音楽信号であると判断される場合に、前記オーディオ信号を前記第１のエンコーダモードでエンコードすることと、
前記オーディオ信号が前記音楽信号から発声信号に切換わったことを判断することと、
前記オーディオ信号が発声信号に切換わったと判断される場合に、前記オーディオ信号を前記第２のエンコーダモードでエンコードすることとをさらに含む、請求項１に記載の方法。
【請求項７】
前記第１のエンコーダモードは音楽符号化モードであり、前記第２のエンコーダモードは発声符号化モードである、請求項６に記載の方法。
【請求項８】
前記第１のエンコーダモードにおいて周波数ドメイン符号化部を用い、前記第２のエンコーダモードにおいてＣＥＬＰ符号化部を用いることをさらに含む、請求項１〜請求項７のいずれか１項に記載の方法。
【請求項９】
オーディオ信号をエンコードするための装置であって、第１の符号化部と、
第２の符号化部と、
発声音楽検出部とを含み、
前記発声音楽検出部によって、オーディオ信号が音楽から発声に変わったと判断されると、前記オーディオ信号は、前記第１の符号化部によって処理することが停止され、前記第２の符号化部によって処理され、
前記第２の符号化部の処理遅延は、前記オーディオ信号において、第１の時間またはその後に開始し第２の時間に終了するタイムスパンを有するギャップを形成し、前記装置はさらに、
前記処理されたオーディオ信号の一部をコピーする欠落信号生成部を含み、前記コピーされた部分は、前記第２の時間またはその後に生じ、前記欠落信号生成部は前記ギャップに信号を挿入し、前記挿入される信号は前記コピーされた部分に基づく、装置。
【手続補正２】
【補正対象書類名】図面
【補正対象項目名】図３
【補正方法】変更
【補正の内容】
【図３】
2015530622.tif 000008
【国際調査報告】
2015530622.tif 000009
2015530622.tif 000010