(57)【要約】      （修正有）【課題】音声情報列の中の音声認知塊を全自動で抜き出し、抜き出された音声認知塊を自動的に分類し特定する方法を提供する。【解決手段】音声情報列を媒体に記録する又は発信する為に音声情報列にデータ圧縮などの加工を施す場合に音声情報に対応した文字情報列を入力する手段を備え、辞書手段（音声認知塊文字情報、音声認知塊典型音声情報、音声認知塊分類記号情報の少なくとも３種類の情報を備える）を使って、音声情報列の中の音声認知塊を抜き出し且つ音声認知塊を分類し音声認知塊分類記号を特定する。【選択図】図２
2007279644.tif 000002
【特許請求の範囲】
【請求項１】
デジタル化された音声情報を入力する音声情報入力手段と、当該音声情報に対応するデジタル化された文字情報を入力する文字情報入力手段と、少なくとも音声認知塊文字情報、音声認知塊典型音声情報、音声認知塊分類記号情報の少なくとも３情報の対応関係を記憶する辞書手段の少なくとも３種類の手段を備え、且つ前記入力された文字情報をもとに辞書手段の中の音声認知塊文字情報を検索する第１の工程と、検索結果の音声認知塊文字情報と辞書手段の中の対応する音声認知塊典型音声情報を用いて前記入力された音声情報の中の音声認知塊音声情報を抽出する工程と、辞書手段を参照しながら抽出された音声認知塊音声情報の音声認知塊分類記号情報を特定する工程の少なくとも３種類の工程を備えた音声認知塊分類記号特定方法。
【請求項２】
デジタル化された音声情報を入力する音声情報入力手段と、特許請求項１の音声認知塊分類記号特定方法で特定した音声認知塊分類記号情報を入力する手段と、音声認知塊分類記号情報および音声認知塊修正情報の少なくとも２種類の情報の対応関係を記憶する辞書手段の少なくとも３種類の手段を備え、且つ前記辞書手段から各音声認知塊分類記号情報に対応した音声認知塊修正情報を取り出す第１の工程と、当該音声認知塊修正情報に従い各音声認知塊を修正する第２の工程と、修正された各音声認知塊を連続して再生する機能を有する再生手段に出力する第３の工程の少なくとも３種類の工程を備えた音声情報再生方法。
【請求項３】
文字情報入力手段として、入力された音声情報を音声認識手段にて文字情報に変換した上で、変換後の当該文字情報を用いることを特徴とする特許請求項１の音声認知塊分類記号特定方法。
【発明の詳細な説明】
【技術分野】
【０００１】  この発明は、音声信号をデジタル化して記憶装置に収納したり、他に伝達する方法と当該音声情報を人間が聴ける状態に再生する方法に関し、更に掘り下げた分野としてはある言語の音声をその言語が母国語ではない外国人に聴き易くする技術に関するものである。
【背景技術】
【０００２】  本発明は、音声情報デジタル化手段およびデジタル化された音声情報を再生する方法に関するものである。本発明は、これら従来の手段が全く対象としていない分野があることを発明者が発見したことに始まる。つまり従来の音声関係技術は聴く人がその言語を母国語とする人々を想定した音声技術と外国語として学習している人々向けと２種類に分かれていて、１種類の技術で両方をカバーできるものはなかった。【０００３】  外国人にとっては、母国語とする人が普通に喋った音声情報は喋る速度が速いことと聴き慣れない発音が多い為に聴き取り難い部分が多く存在するのが普通である。その為、当該言語に未熟な外国人にとっては、言語として役立たない場面が多くあった。一方、外国人向けの音声情報は母国語の人にとっては不自然に遅い発音で実用にはならなかった。【０００４】  その言語を母国語としない外国人が聴くには、母国語の人用に出来ている音声情報を再生する時に再生速度を遅くすることが有効であることは自明の理である。そして、再生速度を遅くする為に、音声情報の音程を変えずに再生速度を遅くする技術は既に存在している。
【特許文献１】日本国特許第３６１７６０３号、日本国特許第３６２０７８７号
【発明の開示】
【発明が解決しようとする課題】
【０００５】  発明者は、従来の音声情報の再生速度を遅くする方法を詳細に検討した結果、以下のような課題を発見した。【０００６】  例えば、日本国特許第３６２０７８７号では時間軸の変更のみならず振幅方向にも修正を加える方式が開示されている。しかし、音声情報のどの部分に修正を加えるかについては音声情報のデジタル化時点に人手で行うことしか方法が無かった。【０００７】  音声情報のデジタル化時点に人手を要する方法では、経済性が損なわれ特殊なコンテンツにしか使われず、世の中に普及しない問題があった。従って、本発明が解決しようとする課題は音声情報の再生時に外国人が聴き易くなるように音声情報を修正すべきところと、そこをどう修正すべきかの分類を人手ではなく自動的に分類しなければならないと云うことである。
【課題を解決するための手段】
【０００８】  音声情報を分析する手段は音声学や音韻学で古くから多くの方法が提案されているが、本発明の発明者は今までの音声学や音響学が着眼していなかった音声の要素分類法を発見し当該要素分類方法を人手を煩わせずにコンピュータ上で自動的に行える方法を発明した。【０００９】  今までの言語に関する専門家は、音声の発音の塊の性質を示すものとして、音素、音韻などを定義していた。本発明ではこれら従来の音声学で定義されていた発音の塊と必ずしも一致しない別の定義をしなければならない。【００１０】  従来の分類と違う分析をしなければならない理由は、発明者が、外国人にとって「比較的聴き取り易い発音の塊」と「聴き取り難い発音の塊」が多数あることを発見し且つその聴き取り難い発音の塊を外国人に聴き易く修正する方法を発明したからである。従って、外国人が聴いた時の聴き取りの難易度が異なる部分で区切る必要がある。そこで、本発明では、外国人が聴き取る時に困難な部分や比較的容易な部分を区分する発音の塊を「音声認知塊」と呼ぶことにする。【００１１】  二つの言語の間の類似点を見ると、スペイン語とポルトガル語のように類似点の多い言語関係と、日本語と英語のように類似点が非常に少ない言語関係がある。従って、本発明の実施例は二つの言語に関係して実施していくものであるから、ここでは、日本人が英語を聴く場合を中心に据えて論理を組み立て、実施例を説明することにする。但し、本発明は二つの言語としては日本語と英語の関係に限らないので、どのような言語間でも適用できる。【００１２】  音声認知塊は、従来の言語学では一まとまりの発音とされているような発音の塊でも二つの音声認知塊の集合として扱うことがある。例えば、英語の助動詞のＣＡＮを否定形にする為に後ろにＮＯＴの短縮形のＴをアッポストロフィと共に付けて、前のＣＡＮと一緒にして発音する場合がある。このＴの発音は、母国語の人は付加した前のＣＡＮの発音に付けて非常に短く且つ弱く発音する。従来の言語学では、このアッポストロフィＴは前の音に付いた従属的な発音とされている。しかし、外国人特に日本人にとってはこの短く弱い発音が前のＣＡＮより圧倒的に聴き取り難いので、前のＣＡＮとは別の音声認知塊として扱うのである。この点が今までの音声学などで着眼されていなかった。【００１３】  そして、再生時に母国語とする人の自然な発話速度を１００％とした場合、１００％未満の再生速度が選ばれたと云うことは、そのリスナーは再生速度を遅くして欲しいことを示す。このような場合、このアポストフィＴの音声認知塊の持続時間を他より一層長く伸ばし且つ振幅を他より増幅して再生することで、外国人に聴き易くするのである。【００１４】  単語を表す音声信号はこの音声認知塊が連なって構成されていることになる。さらに複数の単語がまとまってしかも崩れて発音される場合、例えば二つの単語にまたがって発音されている場合は原則としてそれらは二つの音声認知塊になる。例えば、英語を母国語とする人々は、「何々することを望む」を意味するＷＡＮＴ＿ＴＯの発音をＷＡＮＮＡと二つの単語を連結し更に崩して発音し、Ｔの発音を消してしまう。この場合は、ＷＡＮとＮＡの二つを音声認知塊として扱う。【���０１５】  本発明が提供する課題を解決する為の手段のうち最も重要な手段は、音声情報の中の音声認知塊を自動的に順に抽出することである。【００１６】  そして、それを実現する為の重要な手段は、「音声認知塊文字情報」「音声認知塊典型音声情報」「音声認知塊分類記号情報」の３情報の対応関係を示す辞書手段である。また、音声情報に対応した文字情報を入力する手段を備え、文字情報を参照しながら音声情報を分析することである。【００１７】  音声情報の中から音声認知塊を抽出する基礎的方法論の一つ目の例は、音声情報に対応して入力された文字情報から辞書の中の文字情報に対応する典型音声情報を取り出し入力された音声情報との相互相関係数を算出し相互相関係数が最も高くなった位置が当該音声認知塊の発音の塊を示す。但し、これは基礎の方法を示したものであり、実際の応用例では細部に微調整が必要になる。【００１８】  音声情報の中から音声認知塊を抽出する基礎的方法論の二つ目は、次のようになる。入力される文字情報に代わり音声認識の手段を使い、まず音声情報を文字情報に変換してからその文字情報を用いる方法である。
【発明の効果】
【００１９】  本方式によれば、音声のデジタル化側では人手をかけずに自動的に音声認知塊の分類記号を特定することができ、音声の再生側では音声認知塊毎の分類記号により適切に音声認知塊の修正を施せることになる。その為、母国語の人向けの音声情報であっても外国人が自分のレベルに合った再生速度に合わせて遅く出来、且つその速度を好む外国人に合わせて聴き易く修正した音声情報を提供できる。その為、一つの放送が母国語の人とその言語に初心者の外国人までカバーできることになり、本発明はインターネットを通じたオンディマンド放送が普及してくる２１世紀の時代に非常に役立つ道具となる。
【発明を実施するための最良の形態】
【００２０】  以下、この発明に係るデジタル音声情報デジタル化方式の第１の実施形態について、図１〜図６を用いて詳細に説明する。なお、図面の説明において、同一部分、同一要素には同一番号を付して重複する説明を省略する。【００２１】  この発明に係る重要な要素として発明者が新しく定義した音声認知塊がある。これは今までの音声学や音韻学では着目していなかった要素なので、ここで図１に例を掲げて説明する。例えば、図１の表の最上位にある単語は英語を母国語とする人なら一まとめに発音する。しかし、音声認知塊としては表に示すように２つの音声認知塊になる。これは、後側の音声認知塊のアッポストロフィＴが日本人など英語を母国語としない人にとって聴き取り難いので、この発音の塊は再生時に音声情報を修正する単位になるからである。【００２２】  本発明による方法で編集および制作された音声情報を受信し再生する時には、音声情報の中の音声認知塊を音声認知塊分類記号に基づき修正することになる。但し、この修正は再生速度として１００％未満が選ばれた場合に限る。１００％以上の速度を選ぶ人はその言語が母国語の人かそれと同等の人であるから音声認知塊の修正は不要である。その為に発信側では、音声情報の中からどれが再生時に修正を必要とする音声認知塊かを分類抽出し且つ音声認知塊の分類記号を特定する必要がある。本発明はその為の工程を人手をかけずに自動的に特定する。【００２３】  その為に音声認知塊文字情報と音声認知塊典型音声情報および音声認知塊分類記号情報の少なくとも３情報の対応関係を収録した辞書手段を使って、まず入力された音声情報に対応する文字情報にて辞書手段の中の音声認知塊文字情報を検索して対応する音声認知塊文字情報を抽出する。辞書手段の一例を図２に示す。その後当該音声認知塊文字情報に対応する音声認知塊典型音声情報を用いて音声情報列上の対応する音声認知塊典型音声情報に最も一致した場所を抽出する。【００２４】  その方法の一つの例は入力された音声情報列の上で音声認知塊典型音声情報を少しづつずらしながら相互相関係数を取る方法である。【００２５】  尚、辞書手段の中の音声認知塊典型音声情報は紙上で表現することが困難なのでここでは便宜的に文字で表している。【００２６】  辞書手段の中には、音声認知塊分類記号情報が含まれている。そして、当該記号情報は音声情報を再生するときに音声認知塊を修正する方法を意味する記号になっている。それを図３に示す。図３から分かるとおり、本実施例では音声認知塊毎に８ビットの音声認知塊分類記号がある。２ビットづつ４種類の意味を持っている。【００２７】  最初の２ビットは時間軸の修正の仕方が４種類ある。これはリスナーが指定した遅い再生速度に対しその通りに修正する場合は０１と指定し、その他の３種類は図３にある通りである。【００２８】  次の２ビットは振幅方向の修正を施すかどうかの記号である。振幅を修正しない場合は００となる。他の３種類は図３の通りである。【００２９】  その次の２ビットは単語の後に挿入する無音の長さを指定する。無音には大きく２種類がある。一つはある量をまとめて喋ったあと息をつく為短い無音部分が生じる。もう一つは、明らかに喋らずにいる長い無音���分である。後者の場合、たとえリスナーが遅い再生速度を指定しても無音の長さは同じにする。このような場合はこの２ビットは００になる。長い無音部分を指定されたまま遅い速度で再生したのでは、不必要に無音部分が長くなりかえって不快な感じになるからである。【００３０】  普通の場合は、無音の修正方法として０１を指定する。図３から分かる通り、指定速度が８０％の場合、それに更に０．２秒の無音を挿入する。そして、指定速度が６０％の場合には０．２の８分の６の長さ、つまり０．１５秒の長さの無音を挿入する。これは全体が遅くなっているので、単語の後の無音部分も長くなるから、それに挿入する無音時間は反比例して短くする。【００３１】  最後の２ビットは、文の区切りを示す記号である。これは、リスナーが今聴いている文又はその前の文をもう一度聴いてみたい場合などに、文の先頭を示す最後の２ビットが０１になっている音声認知塊まで遡る時の手がかりになる。繰り返し聴くときに文の途中から再生が始まると不快になるが、この記号を使えばそれを防げるので快適に同じ文を文の先頭から繰り返し聴けることになる。【００３２】  次に、入力された音声情報を音声認知塊に分解し且つ音声認知塊分類記号を特定する工程を図４の流れ図にそって説明する。まず、図４のＦ１で音声情報列を入力する。次にＦ２で音声情報列に対応する音声文字情報列を入力する。【００３３】  次にＦ３により、音声認知塊典型音声情報を使って音声情報列の上の音声認知塊の前側の区切りの位置を見つける。その次にＦ４にて後ろ側の位置を見つける。【００３４】  Ｆ５にて当該音声認知塊の分類番号を辞書手段から特定し、所定のメモリに収納する。次に、Ｆ６で音声情報列が最後まで行ったかを判定し、ＮＯであればＦ３の先頭に戻り、次の音声認知塊の分析に進む。【００３５】  図５は、音声情報列と文字情報列が入力されて、上記工程で分析されて区切られた音声認知塊文字情報列の例を示す。【００３６】  次に、再生側の処理の流れを図６の流れ図に従って説明する。まず、Ｇ１でリスナーが聴きたい再生速度の比率を取り込む。次にＧ２で音声認知塊列を取り込む。Ｇ３で対応した音声認知塊分類記号を取り込む。次に指定された再生速度が１００％以上かどうかをＧ４で判定する。もしＹＥＳなら、音声認知塊を修正する必要がないので単純に再生するＧ５の処理をして、それからＧ６のパスを通り次の処理に進む。【００３７】  Ｇ４の判定がＮＯなら音声認知塊分類記号により辞書手段から音声認知塊修正パターンを取り出す処理Ｇ７に進む。次に音声認知塊を辞書手段から取り出した修正パターンで修正する処理Ｇ８に入る。その次に修正した音声認知塊を再生バッファに転送する処理Ｇ９に進む。その後、対象とする音声認知塊を総て再生したかをＧ１０で判定して、もしＮＯの場合、Ｇ１１のパスを通り再び処理Ｇ７に戻る。もしＧ１０の判定がＹｅｓの場合はＧ１２のパスを通り次の処理に移る。
【実施例】
【００３８】
【００３９】  本発明をパソコン上で実施した例を図を参照しながら説明する。パソコンのメモリ上に図２に例が示されている辞書を記憶させる。且つ、図４の流れ図に沿った処理を行うプログラムを実行して、音声情報列に対応した音声認知塊列およびそれに対応する音声認知塊分類記号列を生成しメモリに収納する。【００４０】  音声情報列を再生する側では、もし再生速度として１００％未満を指定された場合には、音声認知塊毎の音声認知分類記号を用いて振幅を強調する等の音声認知塊毎の修正を行う。再生速度として１００％以上を指定された場合は音声認知塊にいかなる修正も施さない。
【産業上の利用可能性】
【００４１】  本発明によれば母国語の人に向けて発信された音声情報であっても、それを外国人が聴く時に外国人が好む再生速度にした時に音声認知塊毎に外国人に聴き易いように適切に修正を加えられる特徴がある。そして、発信者側でその為の発信情報を制作する時に人手を要しないので、効率良く発信情報を制作でき、母国語とする人だけに発信する場合と経済性は変らない。【００４２】  受信側では、母国語の人なら再生速度を１００％とすれば従来と全く変わらぬ音声情報を聴くことができる。外国人なら、再生速度を１００％より遅い速度で聴けば、再生速度が遅いだけではなく聴き難い音声認知塊を聴きやすく変形して再生してくれるので楽に聴ける。【００４３】  そして、始めは再生速度を５０％とか極端に遅い速度でニュース等を聴いていた外国人も、遅い速度で耳を慣らしながら徐々に再生速度を上げていくことで、苦労なく１００％の速度即ち母国語の人にとって自然な速度でも聴き取れるようになる。つまり実際のニュース等を聴きながらリスニング力が苦労なく向上することになるので、地球が小さくなった２１世紀の国際社会に大きく貢献することになる。
【図面の簡単な説明】
【００４４】
【図１】は、この発明に係る重要な概念の音声認知塊の例を示す。
【図２】は、音声認知塊文字情報、音声認知塊典型音声情報、音声認知塊分類記号情報を集録する辞書手段の一部の例を示す。
【図３】は、音声認知塊分類記号情報が示す意味を説明する表である。
【図４】は、入力された音声情報とそれに対応した文字情報から音声認知塊を抽出し、各音声認知塊の分類記号を特定する工程の流れ図である。
【図５】は、文字情報列と対応する音声情報列の例を示す。
【図６】は、再生側の処理の流れ図を示す。
【符号の説明】
【００４５】Ｆ１〜Ｆ８…音声認知塊分類記号を特定する工程の流れ図の中の処理の番号
Ｇ１〜Ｇ１２…再生時の音声認知塊音声情報を修正する工程の流れ図の中の処理の番号
【図１】
2007279644.tif 000003
【図２】
2007279644.tif 000004
【図３】
2007279644.tif 000005
【図４】
2007279644.tif 000006
【図５】
2007279644.tif 000007
【図６】
2007279644.tif 000008