(57)【要約】【課題】  音声認識された文字列に対し、特殊文字等の文字、記号及び／又は図形等からなる追加情報を簡単に付加すること。【解決手段】  マイク１１からの入力音声に関する各種の音声データを検出する音声検出部１５と、この音声検出部１５で検出された音声データから、入力音声に相当する文字列を作成する主変換部１７と、音声検出部１５で検出された音声データから、前記文字列に付加される追加情報を作成する追加情報変換部１８と、前記文字列に前記追加情報を付加した出力情報を作成する変換結合部１９とを備えて音声認識装置１２が構成されている。追加情報変換部１８は、音声検出部１５で検出された韻律情報を補正する補正手段２１と、補正後の韻律情報から、入力音声に込められた感情を推定して当該感情が表現された追加情報を選択する追加情報選択手段２２とを備えている。【選択図】          図１
2006259641.tif 000002
【特許請求の範囲】
【請求項１】
入力音声から変換された文字列に付加される追加情報を作成する追加情報変換部を備え、当該追加情報変換部は、前記入力音声の韻律情報に基づいて作成されることを特徴とする音声認識装置。
【請求項２】
前記追加情報変換部は、前記韻律情報から前記入力音声に込められた感情を推定し、当該感情を表現する追加情報を作成することを特徴とする請求項１記載の音声認識装置。
【請求項３】
前記追加情報変換部は、前記追加情報が付加される入力音声の対象部分の全体の韻律情報と、前記対象部分の中の最終モーラ部分の韻律情報とに基づいて、前記追加情報の内容を決定することを特徴とする請求項１又は２記載の音声認識装置。
【請求項４】
前記追加情報変換部は、一定時間以上のポーズで区切られた区間ごとに前記追加情報を付加すべきか否かを判断することを特徴とする請求項１、２又は３記載の音声認識装置。
【請求項５】
前記追加情報変換部は、正規化された前記韻律情報を使って前記追加情報を作成することを特徴とする請求項１〜４の何れかに記載の音声認識装置。
【請求項６】
コンピュータに対し音声認識処理を実行させる音声認識用プログラムであって、
入力音声から変換された文字列に対し、前記入力音声の韻律情報に基づいて付加される追加情報の作成を前記コンピュータに実行させることを特徴とする音声認識用プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、音声認識装置及び音声認識用プログラムに係り、更に詳しくは、音声による文字入力を行う際に、顔文字、絵文字の特殊文字等の追加情報を簡単に付加することのできる音声認識装置及び音声認識用プログラムに関する。
【背景技術】
【０００２】
近時、パソコンや携帯電話の普及により、電子メール等の文字によるコミュニケーションが盛んに行われている。これに伴い、コミュニケーションの多様性が追求され、その結果、若者を中心としたユーザ間のやり取りには、単純な文章のみならず、各種文字及び記号で構成される顔文字や絵文字（以下、「特殊文字」と称する。）を併用した表現が用いられているところである。これら特殊文字は、昨今のワープロ変換辞書機能の向上により、通常の文字と同様、キーボードやテンキー等を使って入力可能になっている。
【０００３】
ところで、人間の音声を文字列（テキスト）に変換する音声認識技術が発達してきており、当該音声認識技術により、音声による電子メール等への文字入力が可能となっている。このような音声認識技術として、入力された音声情報の変化から、当該音声情報に基づいて変換された文字列に対し、色やフォントを部分的に変える音声認識システムが知られている（特許文献１参照）。
【特許文献１】特開２００１−１３４２９０号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかしながら、前記音声認識システムにあっては、変換された文字列の色やフォントを変えることができるものの、前記特殊文字のような追加情報を入力できないという不都合がある。また、現行の音声認識技術を使って、変換された文字列に前記追加情報を付加しようとすると、ユーザ側で面倒な入力が必要になるという問題がある。すなわち、音声によって特殊文字を入力する際、その文字の種類を意味する音声、例えば、「顔文字１」、「顔文字、喜び」、「顔文字、ニコニコ」等、特殊文字入力を意味する音声と、当該入力文字の内容を意味する音声等とをユーザ側で複合的に入力しなければならず、面倒な入力作業が必要となる。
【０００５】
本発明は、このような不都合に着目して案出されたものであり、その目的は、音声認識された文字列に対し、特殊文字等の文字、記号及び／又は図形等からなる追加情報を簡単に付加することができる音声認識装置及び音声認識用プログラムを提供することにある。
【課題を解決するための手段】
【０００６】
（１）前記目的を達成するため、本発明は、入力音声から変換された文字列に付加される追加情報を作成する追加情報変換部を備え、当該追加情報変換部は、前記入力音声の韻律情報に基づいて作成される、という構成を採っている。
【０００７】
（２）また、前記追加情報変換部は、前記韻律情報から前記入力音声に込められた感情を推定し、当該感情を表現する追加情報を作成する、という構成を採ることが好ましい。
【０００８】
（３）更に、前記追加情報変換部は、前記追加情報が付加される入力音声の対象部分の全体の韻律情報と、前記対象部分の中の最終モーラ部分の韻律情報とに基づいて、前記追加情報の内容を決定する、という構成を採ることが好ましい。
なお、本明細書において、「モーラ」とは、拍感覚に相当する単位であり、例えば、「おんせい」という発声は、４モーラと数えられる。
【０００９】
（４）また、前記追加情報変換部は、一定時間以上のポーズで区切られた区間ごとに前記追加情報を付加すべきか否かを判断する、という構成を併せて採用するとよい。
【００１０】
（５）更に、前記追加情報変換部では、正規化された前記韻律情報を使って前記追加情報を作成するとよい。
【００１１】
（６）また、本発明は、コンピュータに対し音声認識処理を実行させる音声認識用プログラムであって、
入力音声から変換された文字列に対し、前記入力音声の韻律情報に基づいて付加される追加情報の作成を前記コンピュータに実行させる、という構成を採っている。
【発明の効果】
【００１２】
本発明によれば、ユーザである話者の韻律情報に基づいて追加情報が作成されるため、韻律情報から話者の感情を推定し、当該感情に相当する追加情報等が自動的に作成可能となり、当該追加情報の作成に際し、追加情報の内容を意味する音声を話者が独立して入力する必要がなく、ユーザに馴染みやすい簡単な入力方法で、追加情報を精度良く文字列に付加させることができる。
【発明を実施するための最良の形態】
【００１３】
以下、本発明の実施例について図面を参照しながら説明する。
【実施例】
【００１４】
図１には、本実施例に係る音声認識装置が適用された音声認識システムの概略構成図が示されている。この図において、音声認識システム１０は、パーソナルコンピュータ、携帯情報端末、携帯電話機等の端末に組み込まれており、ユーザである話者の音声が入力されるマイク１１と、このマイク１１への入力音声から文字、記号及び／又は図形からなる出力情報を作成する音声変換装置１２と、音声変換装置１２で作成された出力情報を表示する液晶ディスプレイ等の表示装置１３とを備えている。ここで、本実施例のマイク１１及び表示装置１３は、公知の構成のものが採用されており、ここでは、各構成の詳細な説明を省略する。
【００１５】
前記音声認識装置１２は、ハードウェア及び／又はソフトウェアによって構成され、プロセッサ等、複数のプログラムモジュール及び／又は処理回路より成り立っており、以下に説明する各種処理を実行可能なプログラムがインストールされている。
【００１６】
具体的に、この音声認識装置１２は、マイク１１からの入力音声に関する各種の音声データを検出する音声検出部１５と、この音声検出部１５で検出された音声データから、入力音声に相当する文字列を作成する主変換部１７と、音声検出部１５で検出された音声データから、前記文字列に付加される追加情報を作成する追加情報変換部１８と、主変換部１７で作成された文字列に、追加情報変換部１８で作成された追加情報を付加した出力情報を作成する変換結合部１９とを備えて構成されている。
【００１７】
前記音声検出部１５は、主変換部１７及び追加情報変換部１８で必要となる音声データを検出可能に設けられており、そのうちの一つとして、韻律情報、すなわち、音調となる周波数（Ｈｚ）と、音量（ｄＢ）と、速度（モーラ数／時間）とがそれぞれ検出される。
【００１８】
前記主変換部１７は、マイク１１からの入力音声データに対し、従来知られている種々の音声認識技術のうち何れか一若しくは複数の技術を使って、入力音声をテキストで表現するようになっている。なお、この音声認識技術は、本発明の要旨ではないため、詳細な説明を省略する。
【００１９】
前記追加情報変換部１８は、音声検出部１５で検出された韻律情報を補正する補正手段２１と、補正後の韻律情報から、入力音声に込められた感情を推定して当該感情が表現された追加情報を選択する追加情報選択手段２２とを備えて構成されている。
【００２０】
前記補正手段２１は、音声検出部１５で検出された韻律情報に対して正規化処理（標準化処理）を行うようになっている。ここでの正規化処理は、同じ感情を表現した音声の韻律情報でも、例えば男女差等の個人差により、声の高さ等、大きさの程度が相違することから、追加情報選択手段２２での一定基準への適用のために行われるものである。すなわち、ここでは、後述するように、音声認識を行う話者個人の固有データである各韻律情報の平均値及び標準偏差を予め求めておき、当該平均値及び標準偏差を使って、音声認識を行う際に入力された話者の音声の各韻律情報を正規化するようになっている。
【００２１】
前記追加情報選択手段２２は、話者が音声を入力する際に、一定時間以上のポーズで区切られた各音声区間に対し、前記追加情報が付加される対象部分として、補正手段２１で補正された後の各韻律情報の値に基づき、前記追加情報を付加するか否かとその種類が決定される。ここで、本実施例での追加情報としては、対象部分の全文字列を太字にする強調表現と、対象部分の文字列の最後を改行する段落変更と、対象部分の文字列の最後に付加される顔文字（怒）、顔文字（喜）、顔文字（悲）とからなる全５種類が用意されている。この追加情報としては、これら５種類に限定されるものではなく、他の顔文字や絵文字を含む文字、記号類及び／又は図形等、種々の情報を、各韻律情報と関連付けて採用することも可能である。
【００２２】
ここでの各追加情報の選択基準は、対象部分全体の各韻律情報と、発声の最終拍部分である最終モーラの各韻律情報とをパラメータとし、それら値が所定の基準値を超えたか否か応じて判断され、具体的には、図２にフローチャート化した決定木方式により判断される。この決定木は、複数の話者に対して、予め指示した感情通りに同一文章を発声させることで蓄積されたデータにより構築され、予め設定されたものである。この決定木は、ユーザ側の発声による学習により構築するようにしてもよい。
【００２３】
本実施例における追加情報選択手段２２では、図２の決定木による決定に際し、対象部分全体の韻律情報として、周波数の平均値及び音量の平均値が少なくとも求められる一方、最終モーラの韻律情報として、周波数の句末上昇度、音量の平均値、及び速度が少なくとも求められる。周波数の句末上昇度は、最終モーラ全体の周波数曲線を最小二乗法で直線に近似して求められた直線の傾きである。なお、周波数や音量に関しては、対象部分全体及び最終モーラ共に、最大値、最小値、それらの幅であるレンジ等を求め、更に複雑な決定木を使って追加情報の判断を行うようにするとよく、この場合、認識精度が一層向上する。
【００２４】
次に、前記音声認識装置１２による音声認識手順につき説明する。
【００２５】
先ず、初期設定が行われる。すなわち、音声認識装置１２を使って音声認識を行う話者に対し、複数種類の文章をそれぞれ数回ずつ発声させ、その音声がマイク１１に入力される。そして、音声検出部１５で、当該音声の韻律情報である周波数、音量、速度がそれぞれ検出される。次に、補正手段２１で、音声検出部１５にて検出された周波数、音量、速度に対し、平均値及び標準偏差がそれぞれ算出される。これら平均値及び標準偏差は、後述するように、前記出力情報への変換の際に、入力音声の韻律情報に対する正規化処理に用いられる。
【００２６】
以上の初期設定が行われた後、ユーザとなる話者側で、音声認識を行う音声がマイク１１に入力される。例えば、話者が、怒りを込めて「何で昨日来なかったの」と発声したとする。このとき、話者が文末に顔文字（怒）付加させたいため、「来なかったの」の前後にポーズを入れ、「来なかったの」の部分の発音を、本当に怒りを表現しているかのように、全体的に、最終モーラ「たの」の部分を早く発声し、低い音から高い音（低周波数から高周波数）に徐々にシフトさせたとする。
【００２７】
すると、主変換部１７では、入力音声の内容に一致する文字列（テキスト）の変換が行われる。つまり、先の例では、入力音声から文字列「何で昨日来なかったの」に変換される。
【００２８】
また、追加情報変換部１８では、ポーズで区切られた各部分につき、追加情報が作成される。つまり、先の例では、前段の「何で昨日」の部分と、後段の「来なかったの」の部分に対し、追加情報の付加の判断及びその選択が行われる。
【００２９】
先ず、音声検出部１５で検出された検出値すなわち入力音声の各韻律情報（周波数、音量、速度）が、補正手段２１により正規化処理され、各韻律情報の補正値が求められる。この補正値は、先の初期設定時に求められた話者個人の音声の周波数、音量、速度の各平均値及び各標準偏差を使って、次式により求められる。
補正値＝（検出値−平均値）／標準偏差          （１）
【００３０】
そして、追加情報を付加する対象部分に対し、求められた補正値を使って、図２の決定木方式により追加情報の選択が行われる。先の例だと、各補正値から、図２の決定木によって、普通に発音された「何で昨日」の部分は、「追加情報無し」と判断される一方、感情を込められた「来なかったの」の部分に対し、追加情報として顔文字（怒）が選択される。
【００３１】
そして、変換結合部１９で、主変換部１７で作成された文字列に、追加情報変換部１８で作成された追加情報が付加される。先の例では、主変換部で作成された文字列「何で昨日来なかったの」の後に、追加情報変換部１８で作成された顔文字（怒）が付加される。このようにして完成した出力情報が表示装置１３に表示される。
【００３２】
従って、このような実施例によれば、人間が実際に強調や感情を表現するときの韻律的な特徴を参考にして、当該強調や感情を表現する追加情報が決定されるため、文字列に顔文字等の特殊文字の追加を行う際、対応する感情を込めて音声入力することで、特殊な操作や入力を行わなくても、特殊文字を簡単に付加できるという効果を得る。
【００３３】
また、追加情報の付加に際し、感情表現の特徴が現れる韻律情報、すなわち、対象部分全体の韻律情報と、その最終モーラの韻律情報とを使うため、ユーザの感情に対応する追加情報に対する識別率を大幅に向上させることが可能となる。
【００３４】
なお、音声認識システム１０は、前記実施例のようにシステム全体を端末等の一つのハードウェアに組み込んで構成する他、マイク１１や表示装置１３等の構成をユーザの端末側に残し、前記音声認識装置１２を遠隔地に存在するサーバ等のコンピュータに組み込んで、遠隔地に存在するインターネット等のネットワーク通信網を使って、遠隔的な音声認識処理を行うようにしてもよい。
【００３５】
なお、本発明における装置各部の構成は図示構成例に限定されるものではなく、実質的に同様の作用を奏する限りにおいて、種々の変更が可能である。
【図面の簡単な説明】
【００３６】
【図１】本実施例に係る音声認識システムの概略構成図。
【図２】決定木方式を説明するためのフローチャート。
【符号の説明】
【００３７】
１０  音声認識システム
１１  マイク
１２  音声認識装置
１３  表示装置
１５  音声検出部
１７  主変換部
１８  追加情報変換部
１９  変換結合部
２１  補正手段
２２  追加情報選択手段
【図１】
2006259641.tif 000003
【図２】
2006259641.tif 000004