(57)【特許請求の範囲】
【請求項１】
入力された多重符号化パラメータ情報、情報データ及びオーディオデータによりコード識別子を生成するとともに多重符号化器に送信し、且つ情報データ及びオーディオデータを情報符号化モジュールに送信するか又は直接に情報データを強化データとして多重符号化器に送信するように設定される符号化制御モジュールと、
入力された情報データ及びオーディオデータにより、又は、入力された情報データにより、強化データを生成するとともに多重符号化器に送信するように設定される複数の情報符号化器を含むように設定される情報符号化モジュールと、
入力されたオーディオデータを符号化した後オーディオ符号化データを生成するとともに多重符号化器に送信するように設定されるオーディオ符号化器と、
受信したコード識別子、強化データ及びオーディオ符号化データにより強化データ付きの多重符号化音声フレームを生成するとともに、パッケージしてオーディオ多重符号化の復号化端に送信するように設定される多重符号化器と、を含み、
前記情報データは復号化端フィードバック情報及び強化情報を含み、前記復号化端フィードバック情報により、前記強化情報のタイプを確定し、前記強化情報のタイプは通話過程において動的に変化するオーディオ多重符号化の符号化端。
【請求項２】
前記符号化制御モジュールは、入力された多重符号化パラメータ情報及び情報データのタイプに基づいて符号化ポリシーを確立し、且つオーディオデータを受信した場合、確立された符号化ポリシーによりコード識別子を生成するように設定され、前記符号化ポリシーは、情報符号化器の関連パラメータの設定及び多重符号化器の関連パラメータの設定を含む請求項１に記載の符号化端。
【請求項３】
前記コード識別子は、情報符号化器及び多重符号化器の復号化に寄与し、データ情報符号化関連情報、オーディオデータ符号化情報、強化データ符号化情報を含む請求項１に記載の符号化端。
【請求項４】
前記情報データは、補助情報又は付加価値情報の中の１つ又は複数を更に含む請求項１に記載の符号化端。
【請求項５】
前記多重符号化音声フレームは、ヘッダ長さ、オーディオデータ長さ及び情報データ長さを確定することに用いられる多重符号化ヘッダと、オーディオデータと強化データを含む多重符号化データとを含む請求項１に記載の符号化端。
【請求項６】
符号化端からの多重符号化音声フレームを受信して解析し、解析して得られたコード識別子、符号化した強化データを情報復号化モジュールに送信し、解析して得られた符号化したオーディオデータをオーディオ復号化器に送信するように設定される多重符号化パーサと、
コード識別子により、符号化した強化データを復号化し、且つ復号化して得られた情報データを送信するように設定される複数の情報復号化器を含むように設定される情報復号化モジュールと、
符号化したオーディオデータを復号化し、復号化して得られたオーディオデータを送信するように設定されるオーディオ復号化器と、を含み、
前記情報データは復号化端フィードバック情報及び強化情報を含み、前記復号化端フィードバック情報により、前記強化情報のタイプを確定し、前記強化情報のタイプは通話過程において動的に変化するオーディオ多重符号化の復号化端。
【請求項７】
符号化端が、入力された多重符号化パラメータ情報、情報データ及びオーディオデータによりコード識別子を生成することと、
入力された情報データ及びオーディオデータにより、又は、入力された情報データにより、強化データを生成し、又は直接に情報データを強化データとすることと、
符号化端に入力されたオーディオデータを符号化した後オーディオ符号化データを生成することと、
コード識別子、強化データ及びオーディオ符号化データにより強化データ付きの多重符号化音声フレームを生成し、且つパッケージしてオーディオ多重符号化の復号化端に送信することと、を含み、
前記情報データは復号化端フィードバック情報及び強化情報を含み、前記復号化端フィードバック情報により、前記強化情報のタイプを確定し、前記強化情報のタイプは通話過程において動的に変化するオーディオ多重符号化の符号化方法。
【請求項８】
コード識別子を生成することは、
入力された多重符号化パラメータ情報及び情報データのタイプにより符号化ポリシーを確立し、且つオーディオデータを受信した場合、確立された符号化ポリシーによりコード識別子を生成することを含み、前記符号化ポリシーは、情報符号化器の関連パラメータの設定及び多重符号化器の関連パラメータの設定を含む請求項７に記載の符号化方法。
【請求項９】
前記コード識別子は、データ情報符号化関連情報、オーディオデータ符号化情報、及び強化データ符号化情報を含む請求項７又は８に記載の符号化方法。
【請求項１０】
前記情報データは、補助情報又は付加価値情報の中の１つ又は複数を更に含む請求項７又は８に記載の符号化方法。
【請求項１１】
復号化端が符号化端からの多重符号化音声フレームを受信するとともに解析し、解析後、コード識別子、符号化された強化データ及びオーディオデータを得ることと、
コード識別子により、符号化された強化データを復号化し、復号化して得られた情報データを送信することと、
符号化されたオーディオデータを復号化し、復号化して得られたオーディオデータを送信することと、を含み、
前記情報データは復号化端フィードバック情報及び強化情報を含み、前記復号化端フィードバック情報により、前記強化情報のタイプを確定し、前記強化情報のタイプは通話過程において動的に変化するオーディオ多重符号化の復号化方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は通信技術分野に関し、特にオーディオ多重符号化伝送方法及び対応装置に関する。
【背景技術】
【０００２】
インターネット（Internet）の普及に従って、ますます多くのメディア（例えば、ビデオ、オーディオ）がＩＰネットワーク経由で伝送され、ＶｏＩＰ（Voice over Internet Protocol）はＩＰパケットネットワークマルチメディアの典型的なサービスであり、ＩＰネット又はインターネットを利用して音声伝送を行い、該技術の主な特徴は、アナログ音声信号を圧縮符号化及びパッケージパケットした後、データパケットの形式によりＩＰネットワークで伝送することである。
【０００３】
リアルタイム音声伝送は、一般的にＵＤＰプロトコルで音声データパケットを伝送することにより、伝送のリアルタイム性を向上させ、ＵＤＰプロトコルのメカニズムはベストエフォート（best effort）方式でＩＰデータパケットを伝送することであり、データパケットを正確に送信先に送信することを保証しておらず、データパケットはネットワークで伝送される際、ネットワークのジッタ（jitter）、ネットワーク輻輳等の原因でパケット紛失、遅延が引き起こされ、データパケットの紛失は直接に通話品質を低下させ、且つ紛失したパケットが後続の正確に受信した音声データの復号化に更に影響することがあり、音声通話には大きな遅延ひいては中断等の現象が出現することがあり、ユーザー体験に非常に影響する。ＩＰパケット紛失に対して、従来の技術は、前方誤り訂正（ＦＥＣ、Forward Error Correction）を採用して、紛失した音声パケットを回復するけれども、ＦＥＣ技術は帯域幅に対する需要を増加し、紛失した音声パケットの回復は他の音声パケットによる演算を必要し、更に遅延を増加する。
【０００４】
ＩＰネットワークは自身の制限性により、テキスト情報の伝送に対して、音声等のリアルタイム通信メディアを伝送する際は高い品質保証を提供することができない。このため、どのように従来の音声符号化・復号化能力を拡張し、高リアルタイムメディアのサービス品質を向上させ、音声通話のユーザー体験を保証するかが解決すべき問題である。
【発明の概要】
【発明が解決しようとする課題】
【０００５】
上記の分析に鑑みて、本発明はオーディオ多重符号化伝送方法及び対応装置を提供することを目的とし、従来技術においてＩＰネットワークの自身の制限性により、音声等のリアルタイム通信メディアを伝送する際に品質保証を提供することができない問題を解決する。
【課題を解決するための手段】
【０００６】
本発明の目的は主に以下の技術的解決手段で実現する。
【０００７】
本発明はオーディオ多重符号化の符号化端を提供し、
入力された多重符号化パラメータ（multi-code parameter）情報、情報データ及びオーディオデータによりコード識別子を生成するとともに多重符号化器（multi-encoder）に送信し、且つ情報データ及びオーディオデータを情報符号化モジュールに送信するか又は直接に情報データを強化データとして多重符号化器に送信するように設定される符号化制御モジュールと、
入力された情報データ及び/又はオーディオデータにより強化データを生成するとともに多重符号化器に送信するように設定される複数の情報符号化器を含むように設定される情報符号化モジュールと、
入力されたオーディオデータを符号化した後オーディオ符号化データを生成するとともに多重符号化器に送信するように設定されるオーディオ符号化器と、
受信したコード識別子、強化データ及びオーディオ符号化データにより強化データ付きの多重符号化音声フレームを生成するとともに、パッケージしてオーディオ多重符号化の復号化端に送信するように設定される多重符号化器と、を含む。
【０００８】
好ましくは、前記符号化制御モジュールは、入力された多重符号化パラメータ情報及び情報データのタイプに基づいて符号化ポリシーを確立し、且つオーディオデータを受信した場合、確立された符号化ポリシーによりコード識別子を生成するように設定され、前記符号化ポリシーは、情報符号化器の関連パラメータの設定及び多重符号化器の関連パラメータの設定を含む。
【０００９】
好ましくは、前記コード識別子は、情報符号化器及び多重符号化器の復号化に寄与し、データ情報符号化関連情報、オーディオデータ符号化情報、強化データ符号化情報を含む。
【００１０】
好ましくは、前記情報データは、復号化端フィードバック情報、補助情報、強化情報又は付加価値情報の中の１つ又は複数を含む。
【００１１】
好ましくは、前記多重符号化音声フレームは、多重符号化ヘッダと多重符号化データを含み、多重符号化ヘッダはヘッダ長さ、オーディオデータ長さ及び情報データ長さを確定することに用いられ、多重符号化データはオーディオデータと強化データを含む。
【００１２】
本発明はオーディオ多重符号化の復号化端を更に提供し、
符号化端からの多重符号化音声フレームを受信して解析し、解析して得られたコード識別子、符号化した強化データを情報復号化モジュールに送信し、解析して得られた符号化したオーディオデータをオーディオ復号化器に送信するように設定される多重符号化パーサと、
コード識別子により符号化した強化データを復号化し、且つ復号化して得られた情報データを送信するように設定される複数の情報復号化器を含むように設定される情報復号化モジュールと、
符号化したオーディオデータを復号化し、復号化して得られたオーディオデータを送信するように設定されるオーディオ復号化器と、を含む。
【００１３】
本発明はオーディオ多重符号化の符号化方法を更に提供し、
符号化端が、入力された多重符号化パラメータ情報、情報データ及びオーディオデータによりコード識別子を生成することと、
入力された情報データ及び/又はオーディオデータにより強化データを生成し、又は直接に情報データを強化データとすることと、
符号化端に入力されたオーディオデータを符号化した後オーディオ符号化データを生成することと、
コード識別子、強化データ及びオーディオ符号化データにより強化データ付きの多重符号化音声フレームを生成し、且つパッケージしてオーディオ多重符号化の復号化端に送信することと、を含む。
【００１４】
好ましくは、コード識別子を生成することは、
入力された多重符号化パラメータ情報及び情報データのタイプにより符号化ポリシーを確立し、且つオーディオデータを受信した場合、確立された符号化ポリシーによりコード識別子を生成することを含み、前記符号化ポリシーは、情報符号化器の関連パラメータの設定及び多重符号化器の関連パラメータの設定を含む。
【００１５】
好ましくは、前記コード識別子は、データ情報符号化関連情報、オーディオデータ符号化情報、及び強化データ符号化情報を含む。
【００１６】
好ましくは、前記情報データは、復号化端フィードバック情報、補助情報、強化情報又は付加価値情報の中の１つ又は複数を含む。
【００１７】
本発明は、オーディオ多重符号化の復号化方法を更に提供し、
復号化端が符号化端からの多重符号化音声フレームを受信するとともに解析し、解析後、コード識別子、符号化した強化データ及びオーディオデータを得ることと、
コード識別子により、符号化した強化データを復号化し、復号化して得られた情報データを送信することと、
符号化したオーディオデータを復号化し、復号化して得られたオーディオデータを送信することと、を含む。
【発明の効果】
【００１８】
本発明の実施例の有益な効果は、
本発明の実施例がオーディオ符号化・復号化方法を拡張しており、ＩＰネットワークによりメディアを伝送するサービス品質とユーザー体験を向上させることである。
【００１９】
本発明の他の特徴と利点は、以下の明細書に説明し、且つ明細書から、一部が明確になり、又は本発明を実施することにより了解する。本発明の目的と他の利点は作成された明細書、請求の範囲、及び図面で特に表す構造により実現して取得されることができる。
【図面の簡単な説明】
【００２０】
【図１】図１は、本発明の実施例に記載の符号化端の構造模式図である。
【図２】図２は、本発明の実施例における多重符号化音声フレームの組成構造模式図である。
【図３】図３は、本発明の実施例に記載の復号化端の構造模式図である。
【図４】図４は、本発明の実施例に記載の符号化方法のフローチャートである。
【図５】図５は、本発明の実施例に記載の復号化方法のフローチャートである。
【発明を実施するための形態】
【００２１】
以下、図面を参照しながら、本発明の好ましい実施例を具体的に説明し、図面は本願の一部であり、本発明の実施例とともに本発明の原理を説明することに用いられる。
【００２２】
まず、図１を参照しながら、本発明の実施例に記載の符号化端を詳しく説明する。
【００２３】
図１は、本発明の実施例に記載の符号化端の構造模式図であり、図１に示すように、具体的に、
入力された多重符号化パラメータ情報、情報データ及びオーディオデータによりコード識別子を生成するとともに多重符号化器に送信し、且つ情報データ及びオーディオデータを情報符号化モジュールに送信するか又は直接に情報データを強化データとして多重符号化器に送信することに用いられ、具体的には、入力された多重符号化パラメータ情報及び情報データのタイプにより符号化ポリシーを確立し、且つオーディオデータを受信した場合、確立された符号化ポリシーによりコード識別子を生成し、前記符号化ポリシーが情報符号化器の関連パラメータの設定及び多重符号化器の関連パラメータの設定を含む符号化制御モジュールと、
入力された情報データ及び/又はオーディオデータにより強化データを生成するとともに多重符号化器に送信することに用いられる複数の情報符号化器を含む情報符号化モジュールと、
入力されたオーディオデータを符号化した後オーディオ符号化データを生成するとともに多重符号化器に送信することに用いられるオーディオ符号化器と、
受信したコード識別子、強化データ及びオーディオ符号化データにより強化データ付きの多重符号化音声フレームを生成し、且つパッケージしてオーディオ多重符号化の復号化端に送信することに用いられる多重符号化器と、を含む。
【００２４】
上記コード識別子は情報符号化器及び多重符号化器の復号化に寄与し、コード識別子は情報符号化器、多重符号化器の符号化及び復号化に寄与する。例えば、コード識別子は、情報符号化関連情報（情報符号化器タイプ、パラメータ）、音声セグメント符号化情報（音声符号化タイプ、サンプリングレート、音声符号化データ長さ）、強化データ符号化情報（符号化方法、強化データ長さ）を含むことができる。コード識別子長さは一定であるか又は不定であることができ、不定であると、長さをマークするフィールドを有すべきである。
【００２５】
上記強化データは直接に、外部から入力した関連情報であってよく、入力された音声データと関連情報をそれぞれ又は一緒に所定処理して生成されたものであってもよい。例えば、外部から入力したテキストヒント情報を直接に強化データとして、解析した後受信端のユーザの注意を引くことができ、ユーザに提示する。又は、入力した音声データを音声識別処理し、音声キャプション又は同時通訳のキャプション等を形成し、強化データを生成し、受信ユーザが通話内容を理解するのを助ける。強化データは音声データと関連情報を共に処理して生成したものであってもよく、例えば音声データをＦＥＣ処理し、音声データの冗長データを生成して強化データとし、音声データに間違いが出現する場合、強化データで回復することにより、通話品質を保証する。強化データは通話関連情報、例えば、通話過程で言及したある物事のバックグラウンド情報であってもよい。同時に強化データは更に付加価値情報、例えばキャプション広告等の情報であってもよい。
【００２６】
強化情報の生成に対して、総合的に考える必要がある。チャネルリソースが制約された場合に、強化情報を送信しないことを選択することができる。復号化端の需要を優先に考え、復号化したフィードバックにより、強化情報タイプを確定する。強化情報のタイプは通話過程には動的に変化することができ、例えば、ネットワーク状態が良い場合、強化情報はＦＥＣデータからキャプション情報等に変換することができる。
【００２７】
上記情報データは、復号化端フィードバック情報、補助情報、強化情報又は付加価値情報の中の1つ又は複数を含む。具体的には、上記情報データは復号化端フィードバック情報を含み、フィードバック情報はパケット損失率、ジッタ、符号化レート等の情報を含み、情報データは復号化端フィードバック情報を含む場合、符号化端は音声符号化器、情報符号化器、及び相応の符号化パラメータを更新すべきであり、それにより前記フィードバック情報を満たし、同時にコード識別子を生成し、情報データには音声通話に関連関係がある補助情報（補助情報は、音声フレームデータに対する統計情報、音声フレームデータに対するテキスト記述、又は復号化端に対する一部の提示情報、更に復号化端の通話に対する理解に寄与する一部のテキスト表現を含む）を更に含む場合、情報符号化方法は補助情報符号化器が符号化して強化データを生成し、同時に補助情報のコード識別子を生成することであり、情報データには更に音声通話と関連関係がある付加価値情報（付加価値情報は、番組関連情報、又は通話過程で言及した情報の詳しい説明を含む）を含む場合、情報符号化方法は付加価値情報符号化器が符号化して強化データを生成するとともに、付加価値情報のコード識別子を生成することであり、入力された情報データが強化情報である場合、情報符号化方法は強化情報符号化器が符号化して強化データを生成し、同時に強化情報のコード識別子を生成することであり、且つ入力された情報データが付加価値情報である場合、入力された情報データは情報符号化器で符号化されなくて、直接に強化データとすることができる。
【００２８】
上記多重符号化音声フレームの組成構造は、図２に示すように、具体的に、多重符号化ヘッダと多重符号化データを含み、多重符号化ヘッダはヘッダ長さ、オーディオデータ長さ及び情報データ長さを確定することに用いられ、多重符号化データはオーディオデータと強化データを含む。
【００２９】
図３は本発明の実施例に記載の復号化端の構造模式図であり、図３に示すように、具体的には、
符号化端からの多重符号化音声フレームを受信するとともに解析し、解析して得られたコード識別子、符号化した強化データを情報復号化モジュールに送信し、解析して得られた符号化したオーディオデータをオーディオ復号化器に送信することに用いられる多重符号化パーサと、
コード識別子により符号化した強化データを復号化して、復号化して得られた情報データを送信することに用いられる複数の情報復号化器を含む情報復号化モジュールと、
符号化したオーディオデータを復号化し、復号化して得られたオーディオデータを送信することに用いられるオーディオ復号化器と、を含む。
【００３０】
次に、図面４を参照しながら、本発明の実施例に記載の方法を詳しく説明する。
【００３１】
図４は本発明の実施例に記載の符号化方法のフローチャートであり、図４に示すように、具体的には、
ステップ401：  入力された音声データを、ユーザにより指定された音声符号化器で符号化し、音声符号化データを生成すること、
ステップ402：  ユーザが入力した多重符号化器パラメータ情報に従って、情報符号化器タイプを確定し及び関連のパラメータを設定し、コード識別子を生成すること、
ステップ403：  入力された音声データと関連情報を所定処理し、情報符号化器が強化データを生成すること、
ステップ404：  コード識別子、強化データ、音声符号化データを多重符号化器に入力し、多重符号化器はコード識別子により、強化情報付きの多重符号化音声フレームを生成すること、
ステップ405：  多重符号化フレームをパッケージするとともに、相応のチャンネルにより復号化端に伝送すること、を含む。
【００３２】
図５は本発明の実施例に記載の復号化方法のフローチャートであり、図５に示すように、具体的には、
ステップ501：  復号化端が符号化端からの多重符号化音声フレームを受信するとともに解析し、解析後、コード識別子、符号化した強化データ及びオーディオデータを得ること、
ステップ502：  コード識別子により符号化した強化データを復号化し、復号化して得られた情報データを送信するとともに、符号化したオーディオデータを復号化し、復号化して得られたオーディオデータを送信すること、を含む。
【００３３】
以上のように、本発明の好ましい具体的な実施形態のみであるが、本発明の保護範囲はこれらに限定されなく、いかなる当業者が本発明で開示した技術範囲内で容易に考えることができる変更又は置き換えは、いずれも本発明の保護範囲内にあるべきである。このため、本発明の保護範囲は請求の範囲の保護範囲を基準とする。
【産業上の利用可能性】
【００３４】
以上のように、本発明の実施例は、オーディオ多重符号化伝送方法及び相応装置を提供し、ユーザは一部の音声通話と関係がある関連情報を入力することができ、ユーザが設定した符号化ポリシーにより、情報符号化器により強化データを生成するか又は直接に関連情報を強化データとし、音声符号化器で符号化した音声符号化データと更に多重符号化操作を行い、強化情報付きの音声フレームを形成する。音声フレームをパッケージして、相応のチャンネルで復号化端に伝送する。復号化端は符号化端が送信した音声データをより良く理解することに寄与するために、更に多重符号化器によりユーザが入力した補助情報と音声データを音声フレームに符号化して送信する。ネットワークに異常状況が出現する場合、復号化端は依然として復号化した補助情報により符号化端が送信した音声の意味を理解することに寄与する。本発明はオーディオ符号化・復号化方法を拡張し、ＩＰネットワーク経由でメディアを伝送するサービス品質とユーザー体験を向上させる。
【図１】
0006270862.tif 000002
【図２】
0006270862.tif 000003
【図３】
0006270862.tif 000004
【図４】
0006270862.tif 000005
【図５】
0006270862.tif 000006