(57)【特許請求の範囲】
【請求項１】
音声信号から分割された複数の周波数成分を所定のサンプリング周期で符号化することにより得られ、同一タイミングで符号化された前記複数の周波数成分の符号化データでそれぞれが構成された複数の符号化音声データを生成する第１行程と、
前記所定のサンプリング周期ごとに生成された前記複数の符号化音声データそれぞれに対して用意され、該複数の符号化音声データの復号化の際に参照される復号化補助情報として、前記音声信号の波動に関する物理量から少なくとも発生音を構成する各部の音の種類に関する情報を特定する第２行程と、
前記第１行程において生成された前記複数の符号化音声データに前記第２行程において特定された前記複数の復号化補助情報を付加していく第３工程とを備えた音声データの符号化方法。
【請求項２】
前記音声信号の波動に関する物理量には、前記音声信号の周波数スペクトル情報が含まれることを特徴とする請求項１記載の音声データの符号化方法。
【請求項３】
前記複数の復号化補助情報それぞれには、振幅方向に強調すべき時間軸方向の位置を指示するための強調位置識別情報がさらに含まれることを特徴とする請求項１又は２記載の音声データの符号化方法。
【請求項４】
前記複数の復号化補助情報それぞれには、前記復号化された音声データの周波数成分のうち、強調すべき周波数成分を個別に指示する情報が含まれることを特徴とする請求項１〜３のいずれか一項記載の音声データの符号化方法。
【請求項５】
前記複数の符号化音声データそれぞれに対し、所定の表示手段に表示されるべき画像データの表示タイミングを指示する情報をさらに付加していくことを特徴とする請求項１〜４のいずれか一項記載の音声データの符号化方法。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
この発明は、所定の音声信号に基づいて新たな音声データを生成するための音声データの符号化方法に関するものである。
【０００２】
【従来の技術】
従来から、英会話等の語学の独習用、詩吟の練習用、法律の独習用、歌の練習、その他の目的のために、カセットテープ等の記録媒体に音楽とともに音声情報が記録された教材が種々提供されている。ここで、英会話の独習用の教材を例に説明すると、従来の主な記録媒体は、例えば一連の英語の発声（音声情報）が記録されてたカセットテープ（又はＣＤ）であり、学習者はこのテープ教材とテキストとを組み合せて使用していた。なお、このような教材には、初級用から上級用まで種々のレベルが用意されている。
【０００３】
また、日本国特許第２５８１７００号には、複数の区画に区分された上級者学習用に適した音声情報列（ナチュラル・スピードの発生音を構成する各部の音）が記録された第１領域と、これら各区画に対応した等価な区画からなる初級者学習用に適した音声情報列（はっきりとした発生音を構成する各部の音であって、言語学上は同一の意味で派生の異なる音声）が記録された第２領域と、該上級者学習用及び初級者学習用の各音声情報列の対応する各区画の関係を、これら音声情報列の各区画の記録媒体における記録位置で示す情報が記録された第３領域とを、少なくとも備えたＣＤ−ＲＯＭ等の情報記録媒体、及びこのような構造を備えた情報記録媒体の対応する区画間での切替え再生等を含む再生方法が提案されている。
【０００４】
【発明が解決しようとする課題】
上述のように、日本国特許第２５８１７００号の情報記録媒体には、該媒体上の第１領域にネイティブスピーカーの発生音を構成する各部の音が記録され、また第２領域に言語上は同一の意味で遅緩した発音で構成された音声情報列が記録されている。したがって、第１領域に記録された音声情報列が再生されている最中に再生音を聞き取れなかった場合、第２領域に記録された同一内容の音声情報列（第１音声情報列の再生中の区画と第２音声情報列の再生すべき区画との対応は第３領域に記録されている）を切替えて再生することにより、学習者は聞き取れなかった音声を認知することができる。また、近年のパーソナル・コンピュータ等の情報処理機器の普及・高性能化を考慮すれば、制作時間の短縮や制作コストの削減のため、上記第１領域に記録される音声情報列から遅緩した第２領域に記録される音声情報列を生成することも不可能ではない。
【０００５】
しかしながら、単にネイティブ・スピーカーの音声を時間軸に沿って均一に伸張させたのでは、利用者の聞き取り易さを損なってしまう。すなわち、主として日本人がナチュラル・スピードの英語を単にゆっくり再生して聴けるようにした場合であっても、各周波数成分について単純にかつ一様に音声再生時間を伸ばしたり短縮したのでは不充分であり、発生音を構成する各部の音、例えば子音部のスペクトルの時間変化が言語上の音として別の音を意味する可能性があるからである。例えば、ＢＡ（バ）とＰＡ（パ）の発音は、前者のスペクトル変化が速く、後者は遅いだけでスペクトルそのものはほとんど同じ形をしており、ＢＡ（バ）という発音の子音部も含めて時間を伸長するとＰＡ（パ）と聴こえることになる。
【０００６】
一方、学習者のヒヤリング・レベルも、例えば上記第２領域に記録された音声再生速度でも十分に聞き取れない者、提供されたナチュラル・スピードでは満足できない者など様々であり、このように異なるヒヤリング・レベルの学習者を個々に満足させようとすると、各学習者のヒヤリング・レベルに応じた複数種類の音声情報を予め用意しなければならない。しかしながら、現状では学習者側で自分のヒヤリング・レベルに合った音声情報を選択できず、また、各学習者のヒヤリング・レベルに合った複数種類の音声情報を用意することは、ＣＤ等の記録媒体の記録容量に限界があるため現実的ではない。
【０００７】
さらに、近年の情報通信技術の発達により、インターネット等のコンピュータ・ネットワークを利用したデータ配信も注目されている。このようなデータ配信を利用した音声情報の提供を考える場合、大量のデータを送信するにはまだまだ通信時間や通信コストの面で実用レベルに達しているとは言えない。
【０００８】
この発明は上述のような課題を解決するためになされたもので、聞き取り易さを損なうことなく、利用者側で希望する再生速度の再生用音声データの復号化を可能にする音声データの符号化方法を提供することを目的としている。
【０００９】
【課題を解決するための手段】
上述の課題を解決するため、この発明に係る音声データの符号化方法により生成されたデータは、音声信号から所定の規則に従って符号化された符号化音声データと、該符号化音声データの復号化の際に参照される復号化補助情報とを含む。以下、このデータを音声基礎データという。
【００１０】
特に、上記復号化補助情報は、音声信号の波動に関する物理量、例えば周波数スペクトル情報などから特定された、少なくとも発生音を構成する各部の音の種類に関する情報を含む。これは、上述のような子音部の変化により異なる音に聞こえてしまう不具合を解消するためである。子音部の伸長度をＢＡ（バ）と聴こえる限界に留め、母音部のみ望みの音声再生時間に伸長あるいは短縮するようにすれば、ＢＡ（バ）のままに聴こえることになる。母音部はいくら伸長あるいは短縮してもその母音のままで聴こえるから望みの長さ（望みの再生時間）に設定できる。
【００１１】
一方、非英語圏の国民には弱すぎて聴き取りにくい音声や特定の周波数成分だけを選択的に２倍とか３倍に強調して聴かせることも語学学習等には必要である。母音部も含めて強調したのでは全体が大きくなり過ぎて効果がない。どうしても選択的に強調しなければならない。そこで、上記復号化補助情報は、強調すべき位置を指示するための強調位置識別情報を含むのが好ましい。また、この復号化補助情報は、復号化された音声データの周波数成分のうち、強調すべき周波数成分を個別に指示する情報を含むようにしてもよい。
【００１２】
なお、上記符号化音声データを得るための符号化としては、異なる再生速度でも聞き取り易くするため、予め符号化対象の音声信号を周波数成分に分解し、該分割された周波数成分ごとにその振幅情報等をデータ化する特願平１０−２４９６７２号記載の符号化が適している。また、符号化対象である音声信号は、ディジタル化された電気信号であり、その情報源としては、マイクを介して取り込まれたアナログ音声情報、磁気テープ等から読み出されたアナログ音声情報、ＭＯ、ＣＤ、ハードディスク等に記録されたディジタル音声情報のいずれであってもよい。ただし、アナログ音声情報の場合は、一旦Ａ／Ｄ変換される必要がある。また、ＣＤ等に記録されたデータが圧縮符号化されている場合には、該圧縮データを伸張（解凍）する必要がある。
【００１３】
近年普及し始めたインターネット等のコンピュータネットワーク、ケーブルＴＶネットワーク、衛生通信などの分野に着目すると、文字データ、音声データ、静止画データ、動画データなどのマルチメディアによる情報提供サービスも広く行われるようになってきており、このような情報通信技術を利用した情報提供サービスの１つとして、この発明を適用させるためには、画像データの表示タイミングの調節が不可欠となる。そこで、上述のようなデータ構造を備えた音声基礎データに、所定の表示手段に表示されるべき画像データの表示タイミングを指示する情報を含めることにより、音声データの再生動作に同期させた画像表示（特に、動画表示）が可能になる。
【００１４】
そこで、この発明に係る音声データの符号化方法は、上記符号化音声データを生成する第１行程と、上記復号化補助情報を特定する第２行程と、該符号化音声データに復号化補助情報を付加する第３行程とを備える。上記第１行程では、例えば特願平１０−２４９６７２号に記載された符号化技術のように、所定の規則に従って音声信号の符号化が行われる。上記第２行程では、符号化音声データの復号化の際に参照される復号化補助情報として、音声信号の波動に関する物理量（例えば周波数スペクトル情報）から少なくとも発生音を構成する各部の音の種類に関する情報が特定される。なお、上記第１及び第２行程は並行して実施することも可能である。
【００１５】
以上のように生成された音声基礎データ（符号化音声データを含む）を利用することにより、音声データの復号化において、指定された再生速度情報に基づいた発生音を構成する各部の音ごとに調節された各学習者のヒヤリング・レベルに合った再生用音声データの復号化が可能になる。このように復号化された再生用音声データを再生することにより、学習者は自己の指定した速度に調節された再生音声を聴くことができる。すなわち、音声データの再生は、上述のように生成された音声基礎データから復号化補助情報を抽出する第１行程と、抽出された抽出された復号化補助情報に含まれる少なくとも発生音を構成する各部の音に関する情報を参照しながら、発生音を構成する各部の音ごとに再生速度を決定する第２行程と、決定された再生速度に相当するよう符号化音声データの該当部分に対して伸張処理（弛緩した音声の再生のため）短縮処理（より早い音声の再生のため）を施しながら、該符号化音声データを復号化する第３行程とを備える。
【００１６】
なお、当該符号化方法は、聞き取り易さを損なうことなく、再生速度の異なる複数種類の再生用音声データが用意できるため、生成された再生速度の異なる再生用音声データ間での切り替え再生を行いながらの学習も可能になる。また、上記発生音を構成する各部の音には、音声スペクトルにおける母音部、該母音部の前後に現れる子音部、該母音部と子音部との間に現れる移行部、音声の切れ目（ポーズ）などが含まれる。
【００１７】
加えて、上述のように生成された音声基礎データの提供は、一旦ＣＤ等の記録媒体に記録された形態で利用者に提供される場合と、情報通信手段を介して利用者に提供される場合が考えられる。情報通信技術を利用する場合でも音声基礎データの取り扱いはハードディスク等への一時記録が不可欠であり、この音声基礎データの記録では、聞き取り易さを損なうことなく、利用者側で再生速度が変更された再生用音声データの復号化が可能になるよう、符号化音声データとともに復号化補助情報が所定の記録媒体に記録される。なお、この記録媒体において、符号化音声データが記録される領域と復号化補助情報が記録される領域は、異なっていてもよい。
【００１８】
上述のように生成された音声基礎データを有線又は無線の情報伝達手段を介して通信相手に送信するデータ配信方法としては、音声信号から所定の規則に従って符号化された符号化音声データと、該符号化音声データの復号化の際に参照される情報であって、音声信号の波動に関する物理量から少なくとも発生音を構成する各部の音の種類に関する情報を含む復号化補助情報とを、通信相手に送信する。なお、この配信方法では、送信される符号化音声データと復号化補助情報とを別個に通信相手に送信する構成であってもよい。
【００１９】
加えて、上述のように生成された音声基礎データの再生動作を文字データ、画像データ（静止画と動画）などのマルチメディア再生に対応させる場合、特に動画再生と、再生速度が自由に変更された音声の再生との同期をとることが重要である。すなわち、動画は例えば１秒間に２０フレーム程度の画像データをディスプレイに順次表示していくが、音声の再生動作との表示タイミングとの同期がとれていないと不自然な表示動作になってしまう。
【００２０】
そこで、この再生では、１又はそれ以上の画像データを一旦メモリ上に展開し、該メモリ上に格納された画像データのうち１フレーム分の画像データを、音声データの再生動作に同期して、順次所定の表示手段に表示するのが好ましい。
【００２１】
具体的な再生方法としては、メモリに格納される複数の画像データのうち１フレーム分又はそのＮ倍（正の有理数）の画像データの基準書き換え周期をＴｖ、音声のディジタル化サンプリング周期に基づいて決定された基準再生時間周期をＴａ、そして、指示された再生速度情報に基づいて発生音を構成する各部の音ごとに決定された再生時間周期をＴａ´（＞Ｔａ）とするとき、所定タイミングでの画像データ書き換え動作の終了時点からＴｖ×（（Ｔａ´／Ｔａ）−１）まで、次回の画像データ書き換え動作を休止させる。
【００２２】
なお、画像データの表示タイミングの調節は、音声のディジタル化サンプリング周期に基づいて決定された基準再生時間周期をＴａ、そして、指示された再生速度情報に基づいて発生音を構成する各部の音ごとに決定された再生時間周期をＴａ´（＞Ｔａ）とするとき、メモリに格納される画像データの平均書き換え周波数を、予め指定された書き換え周波数の（Ｔａ´／Ｔａ）倍に設定するようにしても、音声データの再生動作に同期した画像表示が可能になる。
【００２３】
【発明の実施の形態】
以下、この発明の各実施形態を図１〜図１３を用いて説明する。なお、図面の説明において同一部分には同一符号を付して重複する説明は省略する。
【００２４】
この発明により生成される音声基礎データは、再生時の聞き取り易さを損なうことなく、利用者が自由に設定した再生速度の再生用音声データの復号化を、該利用者側で行うことを可能にする。このような音声基礎データの利用形態は、近年のディジタル技術の発達やデータ通信環境の整備により種々の態様が考えられる。図１は、この発明に係る音声データの符号化方法により生成された音声基礎データがどのように産業上利用されるかを説明するための概念図である。
【００２５】
図１（ａ）に示されたように、音声データの符号化に利用される情報源１０としては、例えばマイクを介して直接取り込まれたり、既に磁気テープなどに記録されたアナログ音声情報、さらにはＭＯ、ＣＤ（ＤＶＤを含む）、Ｈ／Ｄ（ハードディスク）等に記録されているディジタル音声情報が利用可能であり、具体的には、市販されている教材やテレビ局、ラジオ局などから提供される音声情報などでも利用可能である。編集者１００は、このような情報源１０を利用して音声データ生成装置２００により、音声データが符号化される。なお、この際、現状のデータ提供方法を考えると、生成された音声基礎データはＣＤ（ＤＶＤを含む）、Ｈ／Ｄなどの記録媒体２０に一旦記録された状態で利用者に提供される場合が多い。また、これらＣＤやＨ／Ｄには当該音声基礎データとともに関連する画像データが記録される場合も十分に考えられる。
【００２６】
上記音声データ生成装置２００により生成される音声基礎データは、上記情報源１０から取り出されたディジタル音声信号から所定の規則に従って符号化された符号化音声データと、この符号化音声データの復号化の際に参照される情報であって、該音声信号の波動に関する物理量から特定された、少なくとも発生音を構成する各部の音の種類に関する情報を含む復号化補助情報とを備えたデータである。なお、符号化音声データを得るための符号化としては、例えば、異なる再生速度でも聞き取り易くするため、予め符号化対象の音声信号を周波数成分に分解し、該分割された周波数成分ごとにその振幅情報等をデータ化する特願平１０−２４９６７２号記載の符号化が利用可能である。生成された符号化音声データ及び復号化補助情報は、音声データ生成装置２００により、記録媒体２０に格納される。これにより、ＣＤ、ＤＶＤ、Ｈ／Ｄ等の記録媒体には上述の符号化音声データ、復号化補助情報とともに画像データ、文字データなどのマルチメディアが記録される。
【００２７】
特に、記録媒体２０としてのＣＤやＤＶＤは、雑誌の付録として利用者に提供されたり、コンピュータ・ソフト、音楽ＣＤなどと同様に店舗にて販売されるのが一般的である（市場での流通）。また、生成された音声基礎データはサーバ３００から有線、無線を問わず、インターネット、衛生通信などの情報通信手段を介して利用者に配信される場合も十分に考えられる。
【００２８】
データ配信の場合、上記音声データ生成装置２００により生成された音声基礎データは、サーバ３００の記憶装置３１０（例えばＨ／Ｄ）に画像データなどとともに一旦蓄積される。そして、Ｈ／Ｄ３１０に一旦蓄積された音声基礎データは、送受信装置３２０（図中のＩ／Ｏ）を介して利用者端末４００に送信される。利用者端末４００側では、送受信装置４５０を介して受信された音声基礎データが一旦Ｈ／Ｄ（外部記憶装置３０に含まれる）に格納される。一方、ＣＤやＤＶＤ等を利用したデータ提供では、利用者が購入したＣＤを端末装置４００のＣＤドライブやＤＶＤドライブに装着することにより該端末装置の外部記録装置３０として利用される。
【００２９】
通常、利用者側の端末装置４００には入力装置４６０、ＣＲＴ、液晶などのディスプレイ４７０、スピーカー４８０が装備されており、外部記憶装置３００に画像データなどとともに記録されている音声基礎データは、当該端末装置４００の復号化部４１０（ソフトウエアによっても実現可能）によって、利用者自身が指示した再生速度の音声データに一旦復号化された後、スピーカー４８０がら出力される。一方、外部記憶装置３００に格納された画像データは一旦ＶＲＡＭ４３２に展開された後にディスプレイ４７０に各フレームごと表示される（ビットマップ・ディスプレイ）。なお、復号化部４１０により復号化された再生用音声データを上記外部記憶装置３０内に順次蓄積することにより、該外部記憶装置３０内には再生速度の異なる複数種類の再生用音声データを用意すれば、日本国特許第２５８１７００号に記載された技術を利用して再生速度の異なる複数種類の音声データ間の切り替え再生が利用者側で可能になる。
【００３０】
利用者は、図１（ｂ）に示されたように、ディスプレイ４７０上に関連する画像４７１を表示させながらスピーカー４８０から出力される音声を聴くことになる。この際、音声のみ再生速度が変更されていたのでは、画像の表示タイミングがずれてしまう可能性がある。そこで、復号化部４１０が画像データの表示タイミングを制御できるよう、上記音声データ生成装置２００において生成される符号化音声データに画像表示タイミングを指示する情報を予め付加しておくのが好ましい。
【００３１】
次に、図１（ａ）に示された音声データ生成装置２００及び音声データ再生装置（端末装置４００）の詳細な構造を図２を用いて説明する。なお、図２（ａ）は、音声データ生成装置２００の構成を示す図であり、図２（ｂ）は、音声データ再生装置としての端末装置４００の構成を示す図である。
【００３２】
図２（ａ）に示されたように、音声データ生成装置２００に取り込まれる音声信号は情報源１０から提供される。なお、この情報源１０から提供される音声情報のうち、マイクから取り込まれる音声情報及び磁気テープからの音声情報は、ともにアナログ音声データであるため、当該音声データ生成装置２００へ入力される前にＡ／Ｄコンバータ１１（Ｉ／Ｏ１２に含まれる）によりＰＣＭデータに変換される。また、ＭＯ、ＣＤ（ＤＶＤ含む）、Ｈ／Ｄに既に格納された音声情報は、ＰＣＭデータとしてＩ／Ｏ１２を介して当該音声データ生成装置２００に取り込まれる。取り込まれた音声データが圧縮されている場合には、一旦ソフトウエア等の解凍しておく必要がある。
【００３３】
音声データ生成装置２００は、上述のように前処理された情報源１０からの音声信号（電気信号）から所定の規則に従って符号化された符号化音声データを生成する符号化部２１０と、この符号化音声データの復号化の際に参照される復号化補助情報として、音声信号の波動に関する物理量（例えば周波数スペクトル情報）から少なくとも発生音を構成する各部の音の種類に関する情報を特定する解析部２５０と、符号化部２１０により符号化された符号化音声データに、解析部２５０により特定された復号化補助情報を付加する合成部２６０とを備える。この合成部２６０から出力された符号化音声データと復号化補助情報は、ＣＤ、ＤＶＤ、Ｈ／Ｄ等の記録媒体２０に記録される。なお、上記符号化音声データと復号化補助情報は、記録媒体２０内の異なる領域にそれぞれ記録されてもよい。
【００３４】
一方、利用者側では、図２（ｂ）に示されたように、データ配信やＣＤ等の形態で提供された音声基礎データが端末装置４００の外部記憶装置３０内に格納される。復号化部４１０は、キーボードや、マウス等のポインティング・デバイスなどの入力手段４６０を介して入力された利用者の指示内容に従って、外部記憶装置３０からＩ／Ｏ３１を介して読み出されたディジタルデータを所定の速度で再生可能な再生用音声データとして復号化するとともに、画像同期信号Ｄも出力する。復号化された再生用音声データはアナログデータに変換された後、スピーカー４８０から音声として出力される。
【００３５】
なお、上記復号化部４１０は、外部記憶装置３０からＩ／Ｏ３１を介して読み出された音声基礎データを読み込み、この読み出された音声基礎データから、符号化音声データの復号化の際に参照される復号化補助情報を抽出するとともに、抽出された復号化補助情報に含まれる少なくとも発生音を構成する各部の音に関する情報を参照しながら上記符号化音声データに含まれる該発生音を構成する各部の音ごとに音声再生に適した再生速度を、利用者が指定した再生速度情報を基準にして決定する。この復号化部４１０における符号化音声データの復号化は、該符号化音声データに含まれる発生音を構成する各部の音ごとに、上述のように決定された再生速度に相当するよう該符号化音声データの該当部分に対して伸長処理又は短縮処理を施しながら行われる。
【００３６】
図３は、上述の音声データ生成装置２００における符号化部２１０の構造を示す図である。符号化部２１０は、まず、マイク等により、例えば音楽ＣＤの音響クロック４４．１ＫＨｚでサンプリングされたネイティブ・スピーカーのナチュラル・スピードの音声に相当する音声信号を取り込む。この取り込まれた音声信号は、一旦、各チャネルＣＨ＃１〜ＣＨ＃８５（周波数成分）に分割するためフィルタリングされる。なお、取り込まれた音声信号の周波数範囲は７５Ｈｚ〜１０，０００Ｈｚ、また、サンプリング周波数は音楽ＣＤの音響クロックに合わせて４４．１ｋＨｚ（２２．６８μｓ）である。分割するチャネル数は８５（７オクターブ＋１音）とし、各チャネル＃１〜＃８５の中心周波数（中心ｆ）は平均律（１オクターブ当り１２平均律とする）の半音列になるように設定される（７７．７８Ｈｚ（Ｄ＃）〜９，９６０Ｈｚ（Ｄ＃））。
【００３７】
以上のように各チャネル＃１〜＃８５にそれぞれ分割されたデータは、その振幅情報が２．２６８ｍｓごと（４４．１ｋＨｚサンプリングの１００データに相当、ただし１００データで１波形が形成できない場合にはデータ数を増やす）に抽出される。したがって、この実施形態では、各チャネル＃１〜＃８５における振幅情報のサンプリングレート（第２周期）は４４１サンプル／ｓ（２．２６８ｍｓ）である。なお、サンプリングレートは、規則性のある周期であればよく、例えば１００データ分取り込んだ次に、１２０データ分取り込んで処理するなど、これら異なるレートで交互に処理を繰り返すような実施形態であってもよい。
【００３８】
符号化部２１０は、２．２６８ｍｓごとにサンプリングされた各チャネル＃１〜＃８５の振幅情報をそれぞれ１バイト（８ビット）で表現し、８５バイト（８５チャネル×１バイト）の符号化音声データａ１，ａ２，ａ３，…，ａｎを生成する。なお、符号化音声データａ１，ａ２，ａ３，…，ａｎには、該符号化音声データに相当する音声の再生時に表示される動画像との表示タイミングを制御するため、画像同期信号Ｄ（１バイト）が付加される。
【００３９】
一方、図３に示された音声データ生成装置２００の解析部２５０は、上記符号化部２１０において生成された符号化音声データの復号化の際に参照される復号化補助情報を特定する。
【００４０】
復号化補助情報には、取り込まれた音声信号のスペクトル情報から発生音を構成する各部の音や、強調すべき部位を示す強調位置識別情報、強調すべき周波数成分等が含まれる。
【００４１】
例えば、この実施形態において、発生音を構成する各部の音は、図４に示されたように、母音部（Ｖ）と、この母音部（Ｖ）を挟んで前後に現れる子音部（図中、前子音部がＣＦ、後子音部がＣＲで示されている）と、母音部（Ｖ）と前後の各子音部ＣＦ、ＣＲとの間に現れる移行部（図中、前移行部がＴＦ、後移行部がＴＲで示されている）と、各音声の間に現れる無音期間を示すポーズ（Ｐ）とに分類される。なお、ポーズ（Ｐ）は、再生音声の遅延の際に他の発生音を構成する各部の音と同様に延伸されたのでは、利用者の聞き取り易さを損なう可能性がある。そこで、この実施形態においてポーズ（Ｐ）は、音節の間で発生することを示す場合（Ｐ１）と、句間で発生する場合（Ｐ２）と、文間で発生する場合（Ｐ３）とにさらに分類され、それぞれ特定すべき発生音を構成する各部の音に含められている。
【００４２】
上記復号化補助情報ｓ１，ｓ２，ｓ３，…，ｓｎおのおのは、符号化音声データａ１，ａ２，ａ３，…，ａｎのサンプリング間隔ごとに用意されるデータ列であって、上記発生音を構成する各部の音に関する情報として３ビット、強調位置識別情報として１ビットの計４ビット程度のデータである。また、この復号化補助情報には、非英語圏の民族には第３フォルマントのように聞き取りにくい周波数があるため、強調すべき周波数帯（特に中心周波数）の指定情報が個別に含まれてもよい。
【００４３】
合成部２６０は、以上のように符号化部２１０により生成された符号化音声データａ１，ａ２，ａ３，…，ａｎに、解析部２５０により特定された復号化補助情報ｓ１，ｓ２，ｓ３，…，ｓｎを付加し、記録媒体２０にそれぞれを書き込む。なお、合成部２６０により生成された合成データは、図５（ａ）〜図５（ｃ）に示されたような種々の論理構造を備えることが可能である。例えば、図５（ａ）に示されたように、生成された合成データは、符号化音声データａ１，ａ２，ａ３，…，ａｎの各データごとに対応する復号化補助情報ｓ１，ｓ２，ｓ３，…，ｓｎが付加された構造であってもよい。また、図５（ｂ）に示されたように、生成された合成データは、符号化音声データａ１，ａ２，ａ３，…，ａｎと復号化補助情報ｓ１，ｓ２，ｓ３，…，ｓｎとがそれぞれ異なるグループのデータとして取り扱われる構造であってもよい。さらに、図５（ｃ）に示されたように、生成された合成データは、符号化音声データａ１，ａ２，ａ３，…，ａｎを構成する複数のグループと、復号化補助情報ｓ１，ｓ２，ｓ３，…，ｓｎの対応する複数のグループとの対により構成されてもよい。
【００４４】
次に、音声データの復号化及び再生を行う利用者側の端末装置４００の構造について説明する。
【００４５】
図６は、端末装置４００の復号化部４１０の構造を示す図であり、図７は、図６に示された符号化部４１０におけるＰＣＭデータ生成部４１５の構造を示す図である。
【００４６】
図６に示されたように、外部記憶装置３０からＩ／Ｏ３１を介して音声基礎データが復号化部４１０に取り込まれる。なお、外部記憶装置３０に格納された音声基礎データは、コンピュータ・ネットワークや衛星などの情報通信手段を介して配信されたり、利用者が購入したＣＤ等に格納されているデータであり、その他画像データも該外部記憶装置３０内には記録されている。また、外部記憶装置３０内に格納された音声基礎データが圧縮されている場合には、ソフトウエア等によるデータ伸長が復号化の前処理として行われる。
【００４７】
復号化部４１０では、まず抽出部４１１が、外部記憶装置３０から読み出された音声基礎データから復号化補助情報ｓ１，ｓ２，ｓ３，…，ｓｎを抽出する。抽出された復号化補助情報ｓ１，ｓ２，ｓ３，…，ｓｎのうち、発生音を構成する各部の音に関する情報（Ｖ、ＣＦ、ＣＲ、ＴＦ、ＴＲ、Ｐ１、Ｐ２、Ｐ３）は、入力手段４６０から入力された利用者からの指示情報とともに時間係数生成部４１２に入力される。また、抽出された復号化補助情報ｓ１２，ｓ２，ｓ３，…，ｓｎのうち、強調位置識別情報は、入力処理手段４６０から入力された利用者の指示情報とともに振幅強調係数生成部４１２に入力される。さらに、抽出された復号化補助情報ｓ１２，ｓ２，ｓ３，…，ｓｎのうち、強調すべき周波数成分（中心ＣＨ）に関する情報は、入力処理手段４６０から入力された利用者の指示情報とともに強調バンドデータ生成部４１４に入力される。
【００４８】
また、この実施形態では、入力手段４６０から入力される利用者の再生速度指示情報としては、図８の表に示されたように、複数の再生レベルＨ３〜Ｓ６が用意されている。図８の表からも分かるように、この実施形態では、再生レベルＮを標準の再生速度（ナチュラル・スピード）とし、Ｈ３に向かうほど再生速度を早く、逆にＳ６に向かうほど再生速度を遅くするように、該ナチュラル・スピードを基準とした再生時間の比及び再生速度の倍率で指示される。
【００４９】
上記時間係数生成部４１１は、図９に示されたような、再生レベル（利用者が指示）と発生音を構成する各部の音の種類との関係によって決定される再生速度倍率が予め設定された表を備えており、この表に基づいて、再生速度倍率をＰＣＭデータ生成部４１５に出力する。
【００５０】
上記振幅強調係数生成部４１２は、図１０に示されたような２種類の表を備える。図１０（ａ）は、抽出部４１１によって抽出された復号化補助情報ｓ１，ｓ２，ｓ３，…，ｓｎに強調位置識別情報が含まれていない場合（強調指示がない場合）に適用される表であり、図１０（ｂ）は、復号化補助情報ｓ１，ｓ２，ｓ３，…，ｓｎに強調位置識別情報が含まれている場合（強調指示がない場合）に適用される表である。なお、これらの表に示されたパラメータは、抽出部４１１において復号化補助情報と分離された符号化音声データの各周波数成分の振幅を基準とした倍率を意味する。
【００５１】
上記強調バンドデータ生成部４１４は、復号化補助情報ｓ１，ｓ２，ｓ３，…，ｓｎに強調すべき周波数帯（中心ＣＨで指定）の指示情報が含まれている場合、図１１（ａ）に示されたように、中心ＣＨに隣接する低周波数成分側５ＣＨ及び高周波数成分側５ＣＨの合計１１ＣＨについて、各周波数成分の振幅を変更するパラメータを生成する。なお、強調バンドデータ生成部４１４は、図１１（ｂ）に示されたように、再生レベルに応じた中心ＣＨの振幅倍率が予め設定された表を備えており、中心ＣＨの振幅倍率は、入力手段４６０から入力された再生速度指示情報に従って決定される。また、中心ＣＨに隣接する各ＣＨの振幅倍率は、この中心ＣＨの振幅倍率を基準にして、図１１（ａ）のように直線近似できるようにそれぞれ設定され、ＰＣＭデータ生成部４１５に出力される。
【００５２】
ＰＣＭデータ生成部４１５は、図７に示されたように、各チャネルに相当する周波数成分を発生させる正弦波ジェネレータ４２２を備える。制御部４２１は、抽出部４１１からの符号化音声データから各周波数成分の振幅情報と強調バンドデータ生成部４１４からの振幅倍率データに基づいて新たに振幅係数を生成し、この生成された振幅係数を乗算器４２３において正弦波ジェネレータ４２２からのデータ（基準振幅を示す）に乗算させる。そして、得られた各周波数成分のデータが加算器４２４で加算させることにより復号化されたＰＣＭデータが得られる。さらに、制御部４２１は、時間係数生成部４１２からの再生速度倍率データに基づいて、該各符号化音声データａ１，ａ２，ａ３，…，ａｎの出力回数を調節することにより、復号化される音声データの間延びや短縮を行う。このとき、各符号化音声データａ１，ａ２，ａ３，…，ａｎごとに出力される画像同期信号Ｄの出力回数も同時に調節されることとなるため、音声データの再生側において画像の表示タイミング制御が可能になる。
【００５３】
以上のようにＰＣＭデータ生成部４１５において復号化されたデータは、利用者の再生速度指示情報に従って時間軸に沿って調節された復号化データとなる。このＰＣＭデータ生成部４１５で復号化されたデータは、図１０（ａ）あるいは図１０（ｂ）のいずれかの表から振幅強調係数生成部４１２が決定した倍率パラメータと乗算器４１６において乗算される。これにより、再生用音声データが得られる。得られた再生用音声データはＤ／Ａ変換器４１７によりアナログデータに変換され、利用者が指示した再生速度の音声としてスピーカー４８０から出力される。
【００５４】
一方、端末装置４００では外部記憶装置３０から読み出された画像データの表示も可能である。図１２は、ビットマップ・ディスプレイの構造を示す図である。
【００５５】
ビットマップ・ディスプレイは、１又はそれ以上のフレームを格納するメモリ４３２（ＶＲＡＭ）を備えており、描画部４３１が、外部記憶装置３０からＩ／Ｏ３２を介して読み出された画像データ（圧縮されている場合にはソフトウエア等３２によりデータ伸長される）をこれらメモリ４３２に書き込んでいく。メモリ４３２に書き込まれた画像データは１フレームごとにスイッチＳ／Ｗ４３３を介してディスプレイ４７０に表示される。なお、これら描画部４３１の書き込みタイミング及びＳ／Ｗ４３３の切り替えタイミングはタイミングコントローラ４３４により行われる。
【００５６】
音声再生と画像表示とのタイミングは、この実施形態では図１３（ａ）に示されたようにＰＣＭデータ生成部４１５から出力された画像同期信号Ｄをカウントすることにより行われる。すなわち、ナチュラル・スピードでの音声再生の場合、例えば、３クロックごとにメモリ４３２のデータ書き換えを行うことにしておけば、図１３（ｂ）に示されたように、ＰＣＭデータ生成部４１５が再生速度の遅い再生用音声データを生成する場合にも、該音声データの遅延タイミングに合ったデータ書き換えが可能になる（画像の表示タイミングを音声再生のタイミングに一致させることが可能になる）。
【００５７】
すなわち、この実施形態では、メモリ４３２に格納される複数の画像データのうち１フレーム分又はそのＮ倍（正の有理数であって、Ｎは１／２や２／３であってもよい）の画像データの基準書き換え周期をＴｖ、音声のディジタル化サンプリング周期（例えば、音楽ＣＤの音響クロック）に基づいて決定された基準再生時間周期をＴａ、そして、指示された再生速度情報に基づいて発生音を構成する各部の音ごとに決定された再生時間周期をＴａ´（＞Ｔａ）とするとき、所定タイミングでの画像データ書き換え動作の終了時点からＴｖ×（（Ｔａ´／Ｔａ）−１）まで、次回の画像データ書き換え動作を休止させることを特徴としている。
【００５８】
なお、音声再生と画像表示とのタイミング調整は、上述の実施形態に限定されるものではない。例えば、音声のディジタル化サンプリング周期に基づいて決定された基準再生時間周期をＴａ、そして、指示された再生速度情報に基づいて発生音を構成する各部の音ごとに決定された再生時間周期をＴａ´（＞Ｔａ）とするとき、上記メモリ４３２に格納される画像データの平均書き換え周波数は、予め指定された書き換え周期の（Ｔａ´／Ｔａ）倍に設定されてもよい。
【００５９】
【発明の効果】
以上のようにこの発明によれば、マイク等から取り込まれたり、過去に蓄積された音声信号から所定の規則に従って符号化した符号化音声データと、該符号化音声データの復号化の際に参照される発生音を構成する各部の音の種類等を含む復号化補助情報とにより音声基礎データが得られる。このような音声基礎データを所定の記録媒体や配信方法により利用者に提供することにより、利用者側では任意に設定された速度の異なる複数種類の再生用音声データを復号化することができる。これにより、データ提供者から利用者へ提供すべき音声基礎データのデータ量を低減することができ、記録媒体の記録量の節約や、データ配信時間の短縮が実現される。
【００６０】
さらに、上記符号化音声データに復号化補助情報とともに画像同期信号を付加することにより、復号化された再生用音声データの再生速度に合った画像再生も可能になる。
【図面の簡単な説明】
【図１】この発明の各実施形態を概念的に説明するための図である。
【図２】（ａ）は、この発明に係る音声データの符号化方法を実現する音声データ生成装置の概略構成を示すブロック図であり、（ｂ）は、生成された音声基礎データから音声再生を実現する音声データ再生装置の概略構成を示すブロック図である。
【図３】図２（ａ）に示された音声データ生成装置における符号化部の構成を示すブロック図である。
【図４】符号化音声データの復号化に必要な復号化補助情報の一部を概念的に説明するための図である。
【図５】この発明に係る音声データの符号化方法により得られた符号化データを概念的に説明するための図である。
【図６】音声データ再生装置（端末装置）の構成を示すブロック図である。
【図７】図６に示された音声データ再生装置におけるＰＣＭデータ生成部の構成を示すブロック図である。
【図８】再生レベルごとに設定された、ナチュラル・スピードの再生レベルを基準とした再生時間の比率及び再生速度の倍率の一例を示す表である。
【図９】図６に示された時間係数生成部において参照される表であって、発生音を構成する各部の音の種類ごとに設定された再生速度の一例を、ナチュラル・スピードの再生レベルを基準とした倍率で示した表である。
【図１０】図６に示された振幅強調係数生成部において参照される表であって、発生音を構成する各部の音の種類ごとに設定される振幅の一例を、ナチュラル・スピードの再生レベルを基準とした倍率で示した表である。
【図１１】（ａ）は、図６に示された強調バンドデータ生成部において参照される表であって、指示された周波数バンドデータの編集動作を説明するための図であり、（ｂ）は、指示された周波数バンド（中心ＣＨ）の振幅を、ナチュラル・スピードの再生レベルを基準とした倍率で示した表である。
【図１２】図６に示された音声データ再生装置（端末装置）による音声再生に同期して画像データを表示する表示装置の構成を示す図である。
【図１３】音声再生動作に同期した画像表示タイミングを説明するためのタイムチャートである。
【符号の説明】
１０…情報源、２０、３０、３１０…記録媒体、２００…音声データ生成装置、２１０…符号化部、２５０…解析部、２６０…合成部、４００…端末装置（ＰＣ）、４１０…復号化部。
【図１】
0003620787.tif 000002
【図２】
0003620787.tif 000003
【図３】
0003620787.tif 000004
【図４】
0003620787.tif 000005
【図５】
0003620787.tif 000006
【図６】
0003620787.tif 000007
【図７】
0003620787.tif 000008
【図８】
0003620787.tif 000009
【図９】
0003620787.tif 000010
【図１０】
0003620787.tif 000011
【図１１】
0003620787.tif 000012
【図１２】
0003620787.tif 000013
【図１３】
0003620787.tif 000014