(57)【要約】【課題】テキストを見ながら音声の確認も容易に行うことができる音声認識装置およびプログラムを提供する。【解決手段】音声データは、所定の長さに分割され、テキスト化される。分割された各音声データは、元の音声データにおける位置（先頭からの経過時間またはアドレス等）情報が検出され、テキストデータと対応付けられる。テキスト化されたテキストデータを表示部２５に表示される。ユーザは、ユーザＩ／Ｆ２６を介して、各テキストデータのうち、音声を確認したい部分を指定する。ＣＰＵ２２は、指定されたテキストデータに対応付けられた位置情報を読み出し、当該位置情報に示された位置から音声データを生成する処理を行う。【選択図】図２
2014235263.tif 000002
【特許請求の範囲】
【請求項１】
音声データを入力する入力手段と、
前記音声データを所定の長さに分割する分割手段と、
前記分割した音声データの、前記入力した音声データにおける位置を示す位置情報を生成する位置情報生成手段と、
前記分割した音声データをテキスト化する音声認識手段と、
前記テキスト化したテキストデータと前記位置情報とを対応付ける対応付け手段と、
前記テキスト化したテキストデータを複数表示する表示手段と、
前記テキストデータのうち部分の指定を受け付ける受付手段と、
前記位置情報に基づいて、前記指定された部分のテキストデータに対応する音声データを再生する再生手段と、
を備えたことを特徴とする音声認識装置。
【請求項２】
前記受付手段は、テキストの入力を受け付け、
前記入力を受け付けたテキストを前記複数のテキストデータの中から検索し、検索結果を前記表示手段に表示させる検索手段を備えたことを特徴とする請求項１に記載の音声認識装置。
【請求項３】
前記音声認識手段は、前記テキスト化したテキストデータから特定の語を抽出し、
前記表示手段は、前記特定の語毎に前記テキストデータを表示することを特徴とする請求項１または請求項２に記載の音声認識装置。
【請求項４】
音声データを入力する入力ステップと、
前記音声データを所定の長さに分割する分割ステップと、
前記分割した音声データの、前記入力した音声データにおける位置を示す位置情報を生成する位置情報生成ステップと、
前記分割した音声データをテキスト化する音声認識ステップと、
前記テキスト化したテキストデータと前記位置情報とを対応付ける対応付けステップと、
前記テキスト化したテキストデータを複数表示する表示ステップと、
前記テキストデータのうち部分の指定を受け付ける受付ステップと、
前記位置情報に基づいて、前記指定された部分のテキストデータに対応する音声データを再生する再生ステップと、
を情報処理装置に実行させるプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、音声認識を行い、音声データに対応するテキストを作成する音声認識装置およびプログラムに関する。
【背景技術】
【０００２】
従来、録音された音声データをテキスト化するものとしては、例えば特許文献１のような装置がある。特許文献１の装置は、音声データの所望の区間を選択してテキスト化することができるものである。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００１−２２７４４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかし、従来の装置は、単に音声データをテキスト化するだけであった。したがって、例えばテキストだけでは表せない会話、または音声の雰囲気等を確認することができない、あるいは誤変換があった場合に正しい内容を理解するのに手間がかかる、という場合があった。この場合、音声データを再生して音声を聞き直す必要があり、都度聞き直すのが煩わしいという課題があった。
【０００５】
そこで、この発明は、テキストを見ながら対応する音声の確認を容易に行うことができる音声認識装置およびプログラムを提供することを目的とする。
【課題を解決するための手段】
【０００６】
本発明の音声認識装置は、音声データを入力する入力手段と、前記音声データを所定の長さに分割する分割手段と、前記分割した音声データの、前記入力した音声データにおける位置を示す位置情報を生成する位置情報生成手段と、前記分割した音声データからテキスト化する音声認識手段と、前記テキスト化したテキストデータと前記位置とを対応付ける対応付け手段と、前記テキスト化したテキストデータを表示する表示手段と、前記テキストデータのうち一部の指定を受け付ける受付手段と、前記位置情報に基づいて、指定された部分のテキストデータに対応する音声データを再生する再生手段と、を備たことを特徴とする。
【０００７】
このように、音声認識装置は、会話・講義などの音声に対応するテキストの広がりを目で確認しながら指定された部分のテキストデータに対応する位置から音声が再生されるため、テキストを見ながら音声の確認も容易に行うことができる。これにより、例えばテキストの誤変換があった場合でも、元の音声を確認するのが容易であり、テキストだけでは表せない雰囲気等（自信を持って発言した内容か否か等）を音声で理解することができる。また、音声データという時間対聴覚のデータを、テキストデータという２次元平面対視覚データで表現して、音声データの全体像を視覚で確認しつつ、全体位置に対応する音声の確認を容易に行う事ができる。
【０００８】
また、音声認識装置は、テキストの入力を受け付け、受け付けたテキストに対応付けられたテキストを検索し、検索結果を表示手段に表示させる検索手段を備えることが好ましい。
【０００９】
これにより、まずテキスト検索で目的の語を探し出し、対応する音声データを再生することが可能となるため、目的の再生位置に素早く変更することが可能である。
【００１０】
また、音声認識手段は、テキスト化したテキストデータから特定の語を抽出し、表示手段は、前記特定の語毎に前記テキストデータを表示することも可能である。
【００１１】
特定の語とは、例えば「まず」、「では」、「したがって」、等の、ひと区切りの発言の最初に良く用いられる語である。このような特定の語に続く区間毎にテキストデータを表示することで、ある程度まとまった発言としてテキストを表示することが可能になる。
【００１２】
なお、音声認識装置は、情報処理装置により実行されるプログラムで実現することも可能である。この場合、全ての処理をユーザが所有する装置（スマートフォン等）で実行することも可能であるし、ネットワークを介して接続されるサーバに音声データを送信し、サーバに各種処理を実行させることも可能である。
【発明の効果】
【００１３】
本発明によれば、テキストを見ながら音声の確認も容易に行うことができるため、例えばテキストの誤変換があった場合でも、対応する元の音声を確認するのが容易であり、テキストだけでは表せない雰囲気・ニュアンス等（自信を持って発言した内容か否か等）を対応する元の音声を再生させることで理解することができる。
【図面の簡単な説明】
【００１４】
【図１】音声認識装置の構成を示すブロック図である。
【図２】テキストデータの表示例を示す図である。
【図３】リアルタイム変換を行う場合の構成を示す図である。
【図４】リアルタイム変換を行う場合の構成を示す図である。
【発明を実施するための形態】
【００１５】
図１は、本発明の実施形態に係る音声認識装置の構成を示す概略図である。音声認識装置１は、入力Ｉ／Ｆ２１、ＣＰＵ２２、ＲＯＭ２３、ＲＡＭ２４、表示部２５、ユーザＩ／Ｆ２６、通信部２７、ＨＤＤ２８、マイク２９、および音声出力部３０を備えている。
【００１６】
音声認識装置１は、パーソナルコンピュータ、スマートフォン、ＩＣレコーダ、またはデジタルオーディオプレーヤ等の情報処理装置により実現される。
【００１７】
ＲＯＭ２３は、ＣＰＵ２２の動作用プログラムを記憶する記憶媒体である。ＣＰＵ２２は、ＲＯＭ２３に記憶されている動作用プログラムをＲＡＭ２４に読み出し、音声認識装置１を統括的に制御する。これにより、ＣＰＵ２２は、本発明の分割手段、位置情報生成手段、音声認識手段、対応付け手段、および再生手段を実現する。
【００１８】
入力Ｉ／Ｆ２１は、ＣＰＵ２２とともに本発明の入力手段を実現するものであり、他装置から音声信号（デジタル音声信号、アナログ音声信号、または圧縮音声信号等）を入力する。入力された音声信号は、音声データとしてＨＤＤ２８に記憶される。また、マイク２９で収集された音声もＨＤＤ２８に音声データとして記憶される。
【００１９】
ＨＤＤ２８は、大容量の記憶装置であり、上記音声データやテキストデータ等を記憶する。なお、本実施形態では記憶装置の例としてＨＤＤを示しているが、ＳＳＤ等のフラッシュメモリであってもよい。
【００２０】
ユーザＩ／Ｆ２６は、ＣＰＵ２２とともに本発明の受付手段を実現するものであり、ユーザの操作を受け付けるインタフェースである。ユーザＩ／Ｆ２６は、例えばキーボード、マウス、または表示部２５と一体化されたタッチパネル等からなる。ユーザは、ユーザＩ／Ｆ２６を介して、ＨＤＤ２８に記憶されている音声データの再生指示、テキスト化の指示等を行う。
【００２１】
ＣＰＵ２２は、ユーザＩ／Ｆ２６を介して再生指示を受け付けた音声データをＨＤＤ２８から入力し、再生処理を行う。再生された音声データは、音声信号として音声出力部３０に入力される。音声出力部３０は、入力された音声信号を出力する。音声出力部３０にスピーカ等の外部装置が接続されている場合には、当該外部装置から音声を発する。音声認識装置１がスピーカを内蔵している場合には、内蔵されたスピーカから音声を発する。
【００２２】
また、ＣＰＵ２２は、ユーザＩ／Ｆ２６を介してテキスト化の指示を受け付けた音声データを入力し、音声認識処理によりテキスト化処理を行う。テキスト化処理の具体的な内容については、後述する。ＣＰＵ２２は、テキスト化したテキストデータを表示部２５に表示する。これにより、ユーザは、指定した音声データに対するテキストを確認することができる。
【００２３】
通信部２７は、ネットワーク１１を介してサーバ２と通信を行う。サーバ２は、音声認識装置１のＣＰＵ２２と同じ機能を実現することが可能である。したがって、ＣＰＵ２２は、通信部２７およびネットワーク１１を介してサーバ２に音声データを送信し、サーバ２でテキスト化されたテキストデータを受信し、表示部２５に表示することが可能である。
【００２４】
次に、テキスト化処理の具体的な内容について説明する。まず、ＣＰＵ２２は、テキスト化の指示を受け付けた音声データをＨＤＤ２８から入力し、所定の長さに分割する処理を行う。そして、ＣＰＵ２２は、分割した各音声データに係る音声信号を用いて音声認識処理を行う。
【００２５】
音声認識の手法はどのようなものであってもよいが、例えばケプストラム分析を行う。ケプストラム分析では、ＣＰＵ２２は、分割した各音声データに係る音声信号をフーリエ変換（ＦＦＴ）し、周波数軸の音声信号に変換する。次に、ＣＰＵ２２は、この周波数軸の音声信号をさらにフーリエ変換（ＦＦＴ）することで、ケプストラムを取得する。このケプストラムの高次成分がピッチ情報であり、ケプストラムの低次成分がフォルマント情報となる。
【００２６】
ＣＰＵ２２は、ケプストラムの低次成分を抽出することで、フォルマント情報を抽出する。ＣＰＵ２２は、抽出したフォルマント情報をリファレンスのフォルマントデータと比較する。比較手法は、例えば相互相関を算出することによって行われる。リファレンスデータは、テキスト（語）毎にＲＯＭ２３またはＨＤＤに予め記憶しておく。
【００２７】
ＣＰＵ２２は、検出したフォルマント情報に最も相関の高いリファレンスのフォルマントデータを検出し、当該リファレンスのフォルマントデータに対応するテキストを取得する。
【００２８】
なお、上述の方法では、ケプストラムの低次成分であるフォルマント情報を用いて音声認識を行ったが、高次成分であるピッチ情報を用いてもよい。
【００２９】
なお、音声データを分割する所定の長さとは、予め定められた時間（例えば１００ｍｓ）であってもよいが、例えば音声信号のレベルに基づいて連続して有音と検出した部分（文節）を検出し、当該文節毎に分割するようにしてもよい。また、一旦テキスト化してから、「まず」、「では」、「したがって」、等の特定の語を検出し、これら特定の語毎に続く区間毎にテキストをまとめてもよい。
【００３０】
また、ＣＰＵ２２は、分割した各音声データについて、元の音声データにおける位置（先頭からの経過時間またはアドレス等）を検出し、テキストデータと対応付ける処理を行う。すなわち、各テキストデータには、全体の音声データにおける位置を示す情報（以下、位置情報と称する。）が付加される。ＣＰＵ２２は、これらテキストデータおよび位置情報をＨＤＤ２８に記憶する。
【００３１】
そして、ＣＰＵ２２は、テキスト化したテキストデータを表示部２５に表示する。図２（Ａ）は、テキストデータの表示例を示した図である。図２（Ａ）においては、特定の語に続く区間毎に音声データをテキスト化して表示する例を示している。同図の左右方向には、音声信号のレベルが時系列に表示されている。そして、区間毎にテキスト化されたテキストデータが表示され、各テキストデータには位置情報として先頭からの経過時間が表示される。例えば、先頭から１５秒（０：００：１５）の位置において、「まず、この発明について・・・」というテキストデータが表示される。
【００３２】
ユーザは、ユーザＩ／Ｆ２６を介して、図２（Ａ）に示された各テキストデータのうち、音声を確認したい部分を指定する。すると、ＣＰＵ２２は、指定されたテキストデータに対応付けられた位置情報を読み出し、当該位置情報に示された位置から音声データを再生する処理を行う。これにより、指定されたテキストデータに対応する区間の音声データが再生される。再生された音声データは、音声出力部３０から出力され、ユーザが音声の内容を確認することができる。
【００３３】
よって、ユーザは、テキストデータを見ながら、対応する位置の音声データを容易に再生させることができ、音声の確認を容易に行うことができる。これにより、例えばテキストの誤変換があった場合でも、元の音声を確認するのが容易であり、テキストだけでは表せない雰囲気等（自信を持って発言した内容か否か等）を音声を確認することにより容易に理解することができる。
【００３４】
また、ユーザが、ユーザＩ／Ｆ２６を介してテキストの入力を行うと、ＣＰＵ２２は、入力されたテキストに対応する箇所を検索し、検索結果を表示部２５に表示させる。例えば、図２（Ｂ）に示すように、「ボイスレコーダ」のテキストが入力された場合、「ボイスレコーダ」に対応する箇所のテキストの表示色を変更する。そして、ユーザは、表示された検索結果のうち、音声を確認したい部分を指定する。すると、ＣＰＵ２２は、指定されたテキストデータに対応付けられた位置情報を読み出し、当該位置情報に示された位置から音声データを再生する処理を行う。
【００３５】
これにより、ユーザは、まずテキスト検索で目的の語を探し出し、指定した部分に対応する音声データを再生することが可能となるため、目的の再生位置に素早く変更することが可能になる。
【００３６】
図２（Ｃ）は、音声信号の表示を行わず、テキストのみを２次元的（または１次元的）に表示した場合の例である。このようにテキストのみを表示することで、音声データという時間対聴覚のデータを、テキスト表示という２次元平面対視覚データで表現して、音声データの全体像を視覚で確認しつつ、視覚上の全体位置に対応する音声の確認を容易に行うことができる。
【００３７】
なお、上述の例では、既に録音されて音声データファイルとして記憶されたものからテキスト化処理を行う例を示したが、音声認識装置１は、マイク２９から入力された音声信号に対して、リアルタイムにテキスト化処理を行うことも可能である。
【００３８】
図３は、リアルタイムにテキスト化処理を行う場合のＣＰＵ２２の機能ブロック図である。ＣＰＵ２２は、機能的にＡ／Ｄ変換部３１、有音無音判定部３２、時間決定部３３、遅延部３４、符号化部３５、およびフレーム化部３６を備えている。
【００３９】
Ａ／Ｄ変換部３１は、マイク２９から入力されたアナログ音声信号をデジタル音声信号に変換する。デジタル音声信号は、有音無音判定部３２および遅延部３４に入力される。
【００４０】
遅延部３４は、有音無音判定部３２および時間決定部３３が処理に要する時間分の音声信号をバッファして符号化部３５に出力する。
【００４１】
有音無音判定部３２は、入力された音声信号が有音であるか無音であるかを判定する。例えば、入力された音声信号のレベルが、所定のしきい値以上である場合に有音と判定し、しきい値未満である場合に無音と判定する。判定結果は、時間決定部３３に入力される。
【００４２】
時間決定部３３は、上述の実施形態において説明した位置情報に相当する時間データを生成する。すなわち、時間決定部３３は、録音開始時からの時間経過を計測する。時間決定部３３は、有音無音判定部３２から有音の判定結果が入力されたときの時間、無音の判定結果が入力されたときの時間、をそれぞれ計測し、有音部の開始時間および終了時間、ならびに無音部の開始時間および終了時間を計測する。ただし、有音部は、判定結果よりも開始時間を早く、かつ終了時間を遅くし、前後に拡張して話頭欠けを防止する。
【００４３】
時間決定部３３は、有音部および無音部がそれぞれ確定した時点で、これらの開始時間および終了時間を示す情報を符号化部３５に出力する。
【００４４】
符号化部３５は、遅延部３４から入力された音声信号のうち有音部だけをＡＤＰＣＭ等の符号化方式で圧縮音声信号（符号化データ）に変換する。符号化データは、フレーム化部３６に入力される。また、符号化部３５は、時間決定部３３から入力された開始時間および終了時間を示す時間情報も符号化し、時間データとしてフレーム化部３６に入力する。時間データは、有音部も無音部も入力される。
【００４５】
フレーム化部３６は、符号化部３５から出力された有音部の圧縮符号化信号と、有音部および無音部の時間を示す時間データと、を対応付け、図４（Ａ）に示すようなフレームデータを生成する。図４（Ａ）の「時間データｎ」は、ｎフレーム目の「符号化データｎ」に対応付けられた時間データであり、録音開始からの経過時間を示す。
【００４６】
このようにして生成されたフレームデータが、上述の分割された音声データに相当する。そして、ＣＰＵ２２は、各フレームデータをテキスト化し、図４（Ｂ）に示すように、テキストデータと時間データを対応付けたフレームデータを生成する。このようなフレームデータは、図４（Ｃ）に示すように一連のテキストデータとしてＨＤＤ２８に記憶される。
【００４７】
なお、表示部２５には、テキストデータが表示され、フレーム毎の時間データは表示されない。ただし、特定の語を検出して、当該特定の語毎に続く区間毎にテキストデータを表示する場合は、区間毎に時間データを表示することが好ましい。
【符号の説明】
【００４８】
１…音声認識装置
２１…入力Ｉ／Ｆ
２２…ＣＰＵ
２３…ＲＯＭ
２４…ＲＡＭ
２５…表示部
２６…ユーザＩ／Ｆ
２７…通信部
２８…ＨＤＤ
２９…マイク
３０…音声出力部
【図２】
2014235263.tif 000003
【図３】
2014235263.tif 000004
【図４】
2014235263.tif 000005
【図１】
2014235263.tif 000006