(57)【要約】【課題】音声認識の精度・性能を向上させることのできる文字起こし装置およびプログラムを提供する。【解決手段】モデル記憶部は、音響モデルおよび言語モデルを記憶する。音声認識部は、音響モデルおよび言語モデルを参照しながら、入力音声データから抽出された特徴量を基に認識処理を行なう。修正部は、ユーザーによる操作に基づく認識結果テキストの修正を可能とし、修正の結果として修正結果テキストを作成する。発音付与部は、修正結果テキストに対応する音素列を付与する。整列部は、付与された音素列と入力音声データとを時刻において対応付けて整列させる。適応部は、整列された音素列と、入力音声データと、修正結果テキストとに基づいて、音響モデルおよび言語モデルを適応化する。【選択図】図１
2014134640.tif 000002
【特許請求の範囲】
【請求項１】
音響モデルおよび言語モデルを記憶するモデル記憶部と、
前記モデル記憶部に記憶されている音響モデルおよび言語モデルを参照しながら、入力音声データから抽出された特徴量を基に認識処理を行ない、認識結果テキストを出力する音声認識部と、
ユーザーによる操作に基づく前記認識結果テキストの修正を可能とし、修正の結果得られる修正結果テキストを作成する修正部と、
前記修正結果テキストの発音に対応する音素列を付与する発音付与部と、
前記発音付与部によって付与された前記音素列と前記入力音声データとを時刻において対応付けて整列させる整列部と、
前記整列部によって整列された前記音素列と前記入力音声データとの対応関係と、前記入力音声データの特徴量と、に基づいて音響モデルを適応化または作成して前記モデル記憶部を更新するとともに、前記修正結果テキストに基づいて言語モデルを適応化または作成して前記モデル記憶部を更新する、適応部と、
を具備することを特徴とする文字起こし装置。
【請求項２】
前記修正部は、ユーザーによる操作に基づき前記認識結果テキストの修正を行わない場合には、前記認識結果テキストをそのまま前記修正結果テキストとして出力する、
ことを特徴とする請求項１に記載の文字起こし装置。
【請求項３】
前記音声認識部による認識処理と、前記修正部が前記修正結果テキストを作成する処理と、前記発音付与部が前記音素列を付与する処理と、前記整列部が前記音素列と前記入力音声データとを整列させる処理と、前記適応部が前記モデル記憶部を更新する処理とを含む一連の処理を、複数回繰り返すように制御する制御部、
をさらに具備することを特徴とする請求項１または２に記載の文字起こし装置。
【請求項４】
コンピューターを、
音響モデルおよび言語モデルを記憶するモデル記憶部、
前記モデル記憶部に記憶されている音響モデルおよび言語モデルを参照しながら、入力音声データから抽出された特徴量を基に認識処理を行ない、認識結果テキストを出力する音声認識手段、
ユーザーによる操作に基づく前記認識結果テキストの修正を可能とし、修正の結果得られる修正結果テキストを作成する修正手段、
前記修正結果テキストの発音に対応する音素列を付与する発音付与手段、
前記発音付与手段によって付与された前記音素列と前記入力音声データとを時刻において対応付けて整列させる整列手段、
前記整列手段によって整列された前記音素列と前記入力音声データとの対応関係と、前記入力音声データの特徴量と、に基づいて音響モデルを適応化または作成して前記モデル記憶部を更新するとともに、前記修正結果テキストに基づいて言語モデルを適応化または作成して前記モデル記憶部を更新する、適応手段、
として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、音声を基に文字を起こして文字起こし結果のテキストを出力する文字起こし装置およびそのプログラムに関する。
【背景技術】
【０００２】
会議参加者の発言や記者会見における発言など、音声を何らかの媒体に録音し、発言者らが発言した通りに文字化してテキストとして記録することが一般的に行なわれている。このように音声を文字化する作業を文字起こしあるいは書き起こしなどと呼ぶ。
【０００３】
文字起こしを人手で行なうには、つまり文字起こし作業者が録音された音声を聞きながらその発話内容をキーボード等から入力するという方法では、多大な労力を要する。そこで、音声認識技術を用いてその人手による手間を軽減する取り組みが行なわれている。
【０００４】
特許文献１や特許文献２には、音声認識処理によって得られた音声認識結果のテキストを、編集し、記憶装置に書き込む構成が開示されている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特許第４０２００８３号公報
【特許文献２】特許第３８５９６１２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、上に挙げた先行技術文献に開示された技術では、音声認識の精度が十分とは言えない。認識結果の中に誤りが含まれていると、人手でその部分を修正する必要があり、作業効率が上がらないという問題があった。
【０００７】
本発明は、上記の課題認識に基づいて行なわれたものであり、音声認識の精度・性能を向上させることのできる文字起こし装置およびそのプログラムを提供するものである。また特に、本発明は、装置の運用中であっても音声認識の精度・性能を適応的に向上させることのできる文字起こし装置およびそのプログラムを提供するものである。
【課題を解決するための手段】
【０００８】
［１］上記の課題を解決するため、本発明の一態様による文字起こし装置は、音響モデルおよび言語モデルを記憶するモデル記憶部と、前記モデル記憶部に記憶されている音響モデルおよび言語モデルを参照しながら、入力音声データから抽出された特徴量を基に認識処理を行ない、認識結果テキストを出力する音声認識部と、ユーザーによる操作に基づく前記認識結果テキストの修正を可能とし、修正の結果得られる修正結果テキストを作成する修正部と、前記修正結果テキストの発音に対応する音素列を付与する発音付与部と、前記発音付与部によって付与された前記音素列と前記入力音声データとを時刻において対応付けて整列させる整列部と、前記整列部によって整列された前記音素列と前記入力音声データとの対応関係と、前記入力音声データの特徴量と、に基づいて音響モデルを適応化または作成して前記モデル記憶部を更新するとともに、前記修正結果テキストに基づいて言語モデルを適応化または作成して前記モデル記憶部を更新する、適応部と、を具備することを特徴とする。
【０００９】
この構成によれば、認識結果テキストおよび認識結果テキストを修正して得られる修正結果テキストに基づいて、自動的に発音系列を付与する。また、付与された発音系列と入力音声データとの間での時間方向における整列がなされる。よって、音響モデルならびに言語モデルの両方に関して、認識結果テキストおよび修正結果テキストに基づくモデルの適応化を行える。よって、音声認識の精度を向上させることができる。
【００１０】
［２］また、本発明の一態様は、上記の文字起こし装置において、前記修正部は、ユーザーによる操作に基づき前記認識結果テキストの修正を行わない場合には、前記認識結果テキストをそのまま前記修正結果テキストとして出力する、ことを特徴とする。
【００１１】
この構成により、認識結果テキストの全体または一部を修正しない場合にも、モデルを適応化することが可能となる。
【００１２】
［３］また、本発明の一態様は、上記の文字起こし装置において、前記音声認識部による認識処理と、前記修正部が前記修正結果テキストを作成する処理と、前記発音付与部が前記音素列を付与する処理と、前記整列部が前記音素列と前記入力音声データとを整列させる処理と、前記適応部が前記モデル記憶部を更新する処理とを含む一連の処理を、複数回繰り返すように制御する制御部、をさらに具備する。
【００１３】
これにより、ある入力音声データを基とする文字起こし処理を、複数回にわたって繰り返し行なうことが可能となる。このような文字起こし装置を用いることにより、ユーザーは、漸次、文字起こし結果を作成するとともにモデルを適応させて、音声認識結果の精度を高めていくことができる。
【００１４】
［４］また、本発明の一態様は、コンピューターを、音響モデルおよび言語モデルを記憶するモデル記憶部、前記モデル記憶部に記憶されている音響モデルおよび言語モデルを参照しながら、入力音声データから抽出された特徴量を基に認識処理を行ない、認識結果テキストを出力する音声認識手段、ユーザーによる操作に基づく前記認識結果テキストの修正を可能とし、修正の結果得られる修正結果テキストを作成する修正手段、前記修正結果テキストの発音に対応する音素列を付与する発音付与手段、前記発音付与手段によって付与された前記音素列と前記入力音声データとを時刻において対応付けて整列させる整列手段、前記整列手段によって整列された前記音素列と前記入力音声データとの対応関係と、前記入力音声データの特徴量と、に基づいて音響モデルを適応化または作成して前記モデル記憶部を更新するとともに、前記修正結果テキストに基づいて言語モデルを適応化または作成して前記モデル記憶部を更新する、適応手段、として機能させるためのプログラムである。
【発明の効果】
【００１５】
本発明によれば、音声認識結果および修正結果に基づいてモデルを更新するため、音声認識精度を向上させることができる。よって、文字起こしの作業効率を向上させることができる。また、本発明によれば、装置の運用中であっても音声認識の精度・性能を適応的に向上させることができる。
【図面の簡単な説明】
【００１６】
【図１】本発明の実施形態による文字起こし装置の概略機能構成を示すブロック図である。
【図２】同実施形態による入力音声記憶部が記憶する入力音声データの構成を示す概略図である。
【図３】同実施形態による特徴量抽出部が抽出した特徴量のデータ構成を示す概略図である。
【図４】同実施形態による認識結果記憶部が記憶するデータの構成を示す概略図である。
【図５】同実施形態による修正結果出力部が出力する修正結果データの構成を示す概略図である。
【図６】同実施形態による文字起こし装置の全体的な処理手順を示すフローチャートである。
【図７】同実施形態による修正部が提供するユーザーインターフェースの画面例を示す概略図である。
【発明を実施するための形態】
【００１７】
以下、図面を参照しながら、本発明の実施形態について説明する。
図１は、本実施形態による文字起こし装置の概略機能構成を示すブロック図である。図示するように、文字起こし装置１は、音声取得部１１と、入力音声記憶部１２と、特徴量抽出部１４と、モデル記憶部１５と、音声認識部１６と、認識結果記憶部１８と、修正部２０と、修正結果出力部２２と、発音付与部２４と、整列部２６と、適応部２８と、制御部４０とを含んで構成される。
【００１８】
音声取得部１１は、外部から音声データを取得し、入力音声記憶部１２に書き込む。
入力音声記憶部１２は、文字起こし処理の対象となる音声データを記憶する。
特徴量抽出部１４は、入力音声記憶部１２に記憶されている入力音声データを読み込み、その音響特徴量を抽出する。特徴量抽出部１４は、抽出した音響特徴量のデータを、入力音声データと関連付けて記憶させる。
【００１９】
モデル記憶部１５は、内部に、音響モデル記憶部１５１と言語モデル記憶部１５２とを含んで構成される。音響モデルは、音声から抽出される音響特徴量と音素記号との関係を表わすものである。言語モデルは、言語要素（文字や単語など）の出現に関する統計的な傾向を表わすものである。本実施形態において、音響モデル記憶部１５１は、ＨＭＭ（隠れマルコフモデル）音響モデルを記憶する。また、言語モデル記憶部１５２は、ｎ−ｇｒａｍ（エヌグラム）言語モデルを記憶する。
音声認識部１６は、特徴量抽出部１４によって抽出された音響特徴量を用いて、モデル記憶部１５に記憶されている音響モデルおよび言語モデルを参照しながら、入力音声データの認識処理を実行する。音声認識部１６は、認識結果であるテキストのデータを認識結果記憶部１８に書き込む。
認識結果記憶部１８は、音声認識部１６から出力された認識処理結果のテキストデータを記憶する。
【００２０】
修正部２０は、認識結果記憶部１８に記憶された認識結果のテキストデータを編集、修正する機能を有し、ユーザーによる操作に基づく前記認識結果テキストの修正を可能とする。そして、修正部２０は、修正の結果得られる修正結果テキストを作成する。具体的には、修正部２０はユーザーインターフェースを提供する。これにより、ユーザーは、認識結果のテキストデータのうち、誤りである箇所を修正する操作を行なうことができる。このとき修正部２０は、認識結果のテキストデータの位置と、入力音声データの位置とを、時刻によって関連付けてユーザーに対して表示する。また、修正部２０は、入力音声データに対応する波形を画面に表示する。また、修正部２０は、ユーザーが指定する任意の位置から入力音声データの頭だしを行なって、音声の再生を行なう機能を有する。
【００２１】
修正結果出力部２２は、認識処理結果のテキストデータ、および修正された場合には修正結果を反映したテキストデータを出力する。修正結果出力部２２による出力先は、情報記憶媒体や外部の装置等である。また、修正結果出力部２２は、発音付与部２４に対しても、修正結果を反映した上記のテキストデータを出力する。修正結果出力部２２によって出力されるテキストデータは、即ち、文字起こし結果のデータ（以後、「文字起こしテキスト」と呼ぶ場合がある。）である。なお、認識結果に対する修正箇所がない場合には、修正結果出力部２２が出力するテキストデータは、認識処理結果のテキストデータと同一となる。
【００２２】
発音付与部２４は、文字起こしテキストに発音系列を付与する。発音系列とは、典型的には、音素を表わす記号の列のデータである。
整列部２６は、発音付与部２４によって付与された発音系列の位置（時刻）と、入力音声データの位置（時刻）とを対応付ける（アラインメント、整列）。なお、このとき、特徴量抽出部１４から、入力音声データおよびそれに対応する音響特徴量データの列（図３に示す）が整列部２６に渡される。
【００２３】
適応部２８は、修正結果出力部２２から出力された文字起こしテキスト、または認識結果記憶部１８から読み出した認識結果テキストと、そのテキストに対応して整列部２６によって整列された音素列と、入力となった音声データおよびそれに対応する音響特徴量データの列（図３に示す）とを用いて、モデル記憶部１５に記憶されているモデル（音響モデルまたは言語モデルまたはそれらの両方）を適応化する。具体的には、適応部２８は、整列部２６によって整列された音素列と入力音声データとの対応関係（相対的な時刻により関連付けられる関係）と、入力音声データの特徴量とに基づいて音響モデルを適応化または作成してモデル記憶部１５を更新する。また、適応部２８は、修正結果テキストに基づいて言語モデルを適応化または作成してモデル記憶部１５を更新する。適応部２８が、モデル記憶部１５に既に登録されている既存のモデルを更新する場合と、新たなモデルを作成してモデル記憶部１５に登録する場合とがある。ここで適応化されたモデルは、次回以後の認識処理において参照され得る。
制御部４０は、文字起こし装置１に含まれる各部の動作を制御する。また、制御部４０は、ユーザーインターフェース（コンピューターの表示用画面への出力、キーボードからの文字入力、マウス等のポインティングデバイスによる指示入力など）を制御する。
【００２４】
なお、上記の各部は、例えば電子回路等を用いて実現される。また、データを記憶する各記憶部は、半導体メモリや磁気ディスク装置等を用いて実現される。
【００２５】
図２は、入力音声記憶部１２が記憶する入力音声データの構成を示す概略図である。一例として、入力音声記憶部１２が記憶するデータはオブジェクト指向データベースに格納される。図示するように、このデータは、発話番号、相対時刻、音声波形データの項目を有する表のデータである。そして、この表の各行が発話に対応する。ここで、発話とは、人が声で発する言葉の一区切りである。このとき区切りとなるのは、始端と終端と途中の句読点、あるいはポーズ（pause）などである。発話番号は、各々の発話をユニークに識別可能とするシリアル番号である。相対時刻は、その発話の、入力音声データ全体における相対的な位置を示すものであり、「ＨＨ：ＭＭ：ＳＳ．ｈｈ」（時、分、秒、百分の一秒）の形式で表現される。音声波形データは、音声波形を表わすデータであり、具体的には所定のサンプリング周波数でサンプリングされた振幅値の列である。
【００２６】
図３は、特徴量抽出部１４による特徴量抽出の結果のデータ構成を示す概略図である。一例として、特徴量抽出結果データは、オブジェクト指向データベースに格納される。図示するように、このデータは、発話番号、相対時刻、音声波形データ、特徴量データの項目を有する表のデータである。この表の各行が発話に対応する。発話番号、相対時刻、音声波形データの項目については、図２において説明した通りである。特徴量データの項目に格納されるのは、音声波形データから抽出された音響特徴量のデータである。音響特徴量としては、例えば、周波数ケプストラム係数（ＭＦＣＣ、Mel-Frequency Cepstrum Coefficients）を用いる。特徴量データの項目は、具体的には、周波数ケプストラム係数の時系列のデータを格納する。なお、特徴量抽出のためにフーリエ変換を行う際の窓の長さを、例えば１０ミリ秒とする。
【００２７】
図４は、認識結果記憶部１８のデータ構成を示す概略図である。音声認識部１６がこのデータを書き込む。一例として、この認識結果のデータは、オブジェクト指向データベースに格納される。図示するように、このデータは、発話番号、相対時刻、音声波形データ、特徴量データ、認識結果（テキスト）の項目を有する表のデータである。この表の各行が発話に対応する。発話番号、相対時刻、音声波形データ、特徴量データの項目については、図２および図３において説明した通りである。認識結果の項目は、音声認識部１６がその発話を認識処理した結果のテキストを格納する。なお、認識結果のテキストに含まれる語または文字の単位で、相対時刻のデータが関連付けられている。これにより、認識結果のテキストに含まれる語または文字は、音声波形データ内の対応する時刻のデータや、特徴量データ内の対応する時刻のデータと、関連付けられる。
【００２８】
図５は、修正結果出力部２２によって出力される修正結果データの構成を示す概略図である。一例として、修正結果データは、オブジェクト指向データベースに格納される。図示するように、このデータは、発話番号、相対時刻、音声波形データ、特徴量データ、認識結果（テキスト）、修正結果（テキスト）の項目を有する表のデータである。この表の各行が発話に対応する。発話番号、相対時刻、音声波形データ、特徴量データ、認識結果（テキスト）の項目については、図２から図４までにおいて説明した通りである。修正結果の項目は、修正部２０における修正処理によって修正された結果のデータを格納する。既に説明したように、修正結果は、認識結果をユーザーが修正したことによって得られるデータである。ここでの修正とは、語単位または文字単位で認識結果の一部が削除されたり、認識結果の一部が別の語または文字で置換されたり、認識結果には含まれていなかった新たな語または文字が挿入されたり、といった操作である。認識結果のテキストと修正結果のテキストのペア自体が、いかなる修正の操作が為されたかを情報として有している。なお、いかなる修正操作が行なわれたかを表わす付加的なデータを合わせて保持するようにしても良い。
【００２９】
図６は、文字起こし装置１による処理の手順を示すフローチャートである。以下、このフローチャートに沿って、処理の流れを説明する。なお、音声取得部１１が取得した入力音声データは、既に入力音声記憶部１２に記憶されている。また、モデル記憶部１５には、複数の音響モデルおよび言語モデルが既に保存されている。なお、音響モデルは話者に依存するものであり、言語モデルは話題に依存するものであるため、それぞれ複数が準備されている。
【００３０】
まずステップＳ２０１において、制御部４０は、ユーザーからの指示に基づいて、文字起こしを行なう対象の入力音声データを選択する。
次にステップＳ２０２において、制御部４０は、ユーザーからの指示に基づいて、文字起こしを行なう対象の話者に対応した音響モデルと、その話題に対応する言語モデルを選択する。なお、このとき、最適な音響モデルまたは最適な言語モデルがモデル記憶部１５中に存在しない場合には、該当の話者に最も近い音響モデル、または該当の話題に最も近い言語モデルを選択するようにする。あるいは、一般的な（汎用の）音響モデルまたは言語モデルを選択するようにしても良い。
【００３１】
次にステップＳ２０３において、音声認識処理を実行する。具体的には、特徴量抽出部１４が選択された入力音声データの音響特徴量を抽出し、音声認識部１６は選択されたモデルを用いてその入力音声データの認識処理を行なう。そして、音声認識部１６は、認識結果のデータを認識結果記憶部１８に書き込む。既に述べたように、音声認識結果のテキストは、元の音声データや、抽出された特徴量のデータと、時刻において対応付けられる形で認識結果記憶部１８に書き込まれる。
【００３２】
次にステップＳ２０４において、制御部４０は、ユーザーからの操作に基づいて、認識結果を修正するか否かを判断する。判断の結果、修正の必要がないという指示がユーザーから為された場合（ステップＳ２０４：ＮＯ）には、ステップＳ２０５へ進む。修正をするという指示がユーザーから為された場合（ステップＳ２０４：ＹＥＳ）には、ステップＳ２０６へ進む。
【００３３】
次にステップＳ２０５に進んだ場合には、同ステップにおいて、修正結果出力部２２は、認識結果のテキストをそのまま文字起こし結果として保存・出力する。この場合、修正部２０は、認識結果記憶部１８から読み出した認識結果のデータを、修正せずに、そのまま修正結果出力部２２に渡す。つまり、ユーザーによる操作に基づき認識結果テキストの修正を行わない場合には、修正部２０および修正結果出力部２２は、認識結果のデータをそのまま修正結果のデータとみなして、保存・出力する。
このような処理にすることにより、ユーザーは、認識結果の精度よりも、文字起こし結果を出力する早さのほうを優先することができる。また、そのように認識結果を修正しない場合にも認識結果を用いたモデルの適応化を行なうことができる。後で再度音声認識処理を行なう場合には、今回適応化されたモデルを用いることができるようになる。
【００３４】
次にステップＳ２０６に進んだ場合には、同ステップにおいて、修正部２０がテキストの修正を行なう。具体的には、修正部２０は、まず、認識結果のテキストを入力音声データと対応付けて画面に表示する。このとき、修正部２０は、入力音声データを音声波形の形でグラフィカルに画面に表示する。なお、画面表示の例については後述する。また、修正部２０は、ユーザーからのポインティングデバイス等による指示に基づき、入力音声データ内の指定された箇所（時刻）から頭だしして、音声を再生出力する。ユーザーは、これらの表示された情報および再生された音声などに基づいて、誤り箇所を特定し、キーボード等から文字を入力することによってテキストの修正を行なう。修正された結果のテキストは、図５で説明した形式で、文字起こし結果として修正結果出力部２２によって保存・出力される。具体的には、修正結果出力部２２は、修正結果のデータを外部の装置等に出力し、または文字起こし装置内の記憶媒体に書き込む。
【００３５】
なお、ステップＳ２０５に進んだ場合も、ステップＳ２０６に進んだ場合も、修正結果出力部２２は、修正結果のデータを文字起こしデータとして発音付与部２４に渡す。文字起こし結果データとしては、音声波形データと、特徴量データと、修正結果のテキストデータとが、互いに、時刻によって対応付け可能な形で記憶される。ステップＳ２０５またはステップＳ２０６の処理の完了後は、いずれの場合も、次のステップＳ２０７に進む。
【００３６】
次にステップＳ２０７において、発音付与部２４は、修正結果のテキスト（修正が行なわれなかったことにより認識結果のテキストがそのまま修正結果のテキストとみなされた場合を含む）に、発音系列（音素列）を付与する。そして、整列部２６は、入力音声データ中のどの時間区間においてその発音がなされたかを対応付ける整列処理（アラインメント処理）を行なう。
【００３７】
発音付与部２４が発音系列を付与するための処理の具体的な手順は次の通りである。即ち、発音付与部２４は、漢字仮名混じり文として与えられている修正結果テキストを、平仮名のみのテキストに変換する。漢字仮名混じり文のテキストを平仮名のみのテキストに変換するためには、例えば、「MeCab」などの形態素解析器を用いる。「MeCab」は、オープンソースの（ソースプログラムの形式で一般に提供されている）形態素解析エンジンのプログラムである［参考ＵＲＬ：http://mecab.googlecode.com/svn/trunk/mecab/doc/index.html］。平仮名のみのテキストに変換された後には、発音付与部２４は、予め記憶してある平仮名と発音記号との対応テーブルを参照することにより、平仮名のテキストを発音記号（音素を表わす記号の列）に変換する。なお、このような既存技術を用いて発音の付与を行なった場合、その精度は９５％程度である。つまり、得られる音素列には５％程度のエラーを含むが、モデルを適応化するための元となる情報の精度としては９５％という数値は十分に良好な値である。
【００３８】
また、整列部２６が入力音声データと音素記号の列との整列を行なう処理の例は次の通りである。即ち、整列部２６は、発音付与部２４によって付与された音素列を出力する確率が最大となるような音響モデル（ＨＭＭ）の状態遷移系列を探索する。この処理は、ビタビアラインメントと呼ばれるもので、既存技術の一つである。このビタビアラインメントを実行することにより、付与された音素列に含まれる各音素に対応する時刻情報を得ることができる。つまり、整列部２６は、修正結果のテキストと、そのテキストに対応する音素列と、入力音声データと、音声データの特徴量とを、相互に、同一の時間軸上で対応付けたことに相当するデータを出力する。なお、上記の「時間区間」のサイズは、入力音声データから特徴量を抽出する際の時間窓の長さに等しい１０ミリ秒としている。言い換えれば、整列部２６による整列処理の最小単位が１０ミリ秒である。
【００３９】
次にステップＳ２０８において、適応部２８は、整列部２６によって出力された整列の結果と、文字起こしテキスト（修正結果テキスト）と入力音声データとを基に、モデル（音響モデルまたは言語モデル、あるいはそれらの両方）を適応化する。適応部２８は、具体的には、新たなモデルを作成してモデル記憶部１５に登録するか、元のモデル（直前の音声認識処理において選択された用いられたモデル）を更新するか、いずれかの処理を行なう。なお、適応部２８がモデルを適応化するための具体的な処理例は、次の通りである。
【００４０】
即ち、音響モデルに関しては、実際の話者に一致した音響モデルが選択されていた場合には、適応部２８は、ＭＡＰ（Maximum a posteriori、事後最大確率）法やＭＬＬＲ（Maximum Likelihood Linear Regression）法を用いてモデルを適応化する。ＭＡＰ法やＭＬＬＲ法自体は、いずれも、利用可能な既存技術である。音響モデルに関して、実際の話者と音響モデルが一致していない場合には、適応部２８は、Baum-Welchアルゴリズムを用いて、新しく音響モデルを学習する。
【００４１】
また、言語モデルに関しては、認識処理の対象となった実際の話題に一致した言語モデルが選択されていた場合には、適応部２８は、ＭＡＰ法やモデル混合法を用いてモデルを適応化する。モデル混合法は、新たに得られたテキスト内におけるn-gramの出現頻度を加味して、既存の言語モデルにおけるn-gramの出現頻度をカウントしなおし、新たに算出されたn-gramの出現確率で言語モデルを更新する方法である。実際の話題と言語モデルとが一致していない場合には、適応部２８は、獲得したテキストに基づいて新規に言語モデルを学習する。
【００４２】
次にステップＳ２０９において、制御部４０は、ユーザーからの操作に基づいて、文字起こしの処理を完了させるか否かを判断する。判断の結果、完了させるという指示がユーザーから為された場合（ステップＳ２０９：ＹＥＳ）には、このフローチャートの処理を終了する。完了させないという指示がユーザーから為された場合（ステップＳ２０９：ＮＯ）には、ステップＳ２０３に戻り、適応化されたモデル（新たに学習されたモデルを含む）を用いて、文字起こしの処理を続行する。つまり、ステップＳ２０３からＳ２０８までの一連の処理を繰り返す。
【００４３】
このように、複数回、繰り返して、徐々に詳細な文字起こしを行なっていくことが可能となる。一例として、記者会見における発言者の発話に基づいて報道映像の原稿や字幕等に用いるためのテキストを書き起こす場合、最初の段階では、速報性が優先されるとともに発話の中の重要な部分だけが文字起こしできていれば十分である。つまり、その他の部分の認識結果が仮に誤っていてもそのときには使用されないこともある。そして、後の段階では、発話の中のより多くの部分を、より正確に文字起こしする必要も生じる。つまり、制御部４０が入力音声データの文字起こしを複数回に渡って繰り返し行なえるように制御すること、および必ずしも初回からすべての発話を完全且つ正確に文字起こしする必要もないという事情がある。これらの事情を考慮した利用もできるように、制御部４０は、上述した手順による処理の制御を行なう。
【００４４】
図７は、修正部２０によるユーザーインターフェースの画面例を示す概略図である。同図において、８０は修正用の画面である。修正用画面は、例えば、パーソナルコンピューターの基本ソフトによって管理される１つの窓として、ディスプレイ装置に表示される。また、８１は、画面８０の一部分であり、文字起こしの対象となっている入力音声データを波形で表示するための領域である。８２は、画面８０の一部分であり、音声認識部１６から出力された認識処理結果のテキストを表示するための領域である。８３は、同じく画面８０の一部分であり、認識処理結果のテキストを修正するための編集領域である。ユーザーがポインティングデバイスやキーボードを用いて、この編集領域８３に含まれるテキストを修正、編集できるようになっている。そして、音声波形を表示するための領域８１と、認識処理結果のテキストを表示するための領域８２と、修正処理のための編集領域８３とは、縦方向の破線を用いて対応付けられている。同図において、横方向が時間軸に対応している。領域８１と領域８２との間に縦に引かれている複数の破線や、領域８２と編集領域８３との間に縦に引かれている複数の破線は、所定の時刻を示すものである。
【００４５】
なお、上述した実施形態における文字起こし装置の機能をコンピューターで実現するようにしても良い。その場合、この制御機能を実現するためのプログラムをコンピューター読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピューターシステムに読み込ませ、実行することによって実現しても良い。なお、ここでいう「コンピューターシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。また、「コンピューター読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピューターシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピューター読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間の間、動的にプログラムを保持するもの、その場合のサーバーやクライアントとなるコンピューターシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含んでも良い。また上記プログラムは、前述した機能の一部を実現するためのものであっても良く、さらに前述した機能をコンピューターシステムにすでに記録されているプログラムとの組み合わせで実現できるものであっても良い。
【００４６】
以上、複数の実施形態を説明したが、本発明はさらに次のような変形例でも実施することが可能である。
【００４７】
（変形例１）  前述の構成では、修正結果出力部２２が出力した修正結果テキストのすべてに対して、発音付与部が発音（音素列）を付与し、それらのすべてを用いて適応部２８がモデルの適応化を行なうこととした。本変形例では、発音付与部２４は、ユーザーが選択した発話のみについて発音を付与する。また、適応部は上記のユーザーによって選択された発話のみに対応する修正結果テキスト、発音、入力音声データ（および特徴量）を用いて、モデルの適応化を行うようにする。この場合、修正結果出力部２２または発音付与部２４が、図５に示す修正結果データに基づいて、ユーザーが発話を選択することができるようにした画面を表示し、ユーザーからの選択操作を受け付けるようにする。
本例のように構成することにより、すべての認識結果、すべての修正結果をモデルの適応化に用いるのではなく、それらの一部のみを用いたモデルの適応化を行なうこととなる。これにより、適応化のために要する計算量を削減することができる。
【００４８】
（変形例２）  発音付与部２４による自動的な発音付与の精度が９５％程度であることは既に述べた。本変形例では、発音付与部２４は、自動的な処理による発音付与の結果を画面等に表示するとともに、ユーザーからの入力操作等により、発音（音素列）を修正できるようにする。そして、後段の処理においては、発音付与部２４によって自動的に付与され且つユーザーによって修正済みの発音を用いてモデルの適応化を行なうようにする。これにより、モデルの適応化をより良好に行うことができ、音声認識の精度がより一層向上する。
【００４９】
（変形例３）  上述した実施形態においては、録音されたひとまとまりの入力音声データについて、（オフラインで）音声認識処理を行ない、そして、認識結果テキストおよび修正結果テキストを用いた文字起こし処理を行なった。本変形例では、外部から入力される音声のストリームに基づき、オンラインで音声認識処理を行い、認識結果テキストおよび修正結果テキストを用いた文字起こし処理を行なう。なお、修正結果テキストに基づいて、発音付与、整列、モデルの適応化の処理を上述した実施形態と同様の方法により行なう。つまり、オンラインでの音声認識処理と並行して、モデルの適応化を行う。
【００５０】
以上、説明した、実施形態およびその変形例において、制御部４０による制御について以下に整理する。
（ａ）制御部４０は、音声認識処理を行なった後に、ユーザーからの指示に基づき、認識結果テキストの修正処理を行なうか否かを制御する。
（ｂ）制御部４０は、認識結果テキストの修正処理を行なう場合において、ユーザーからの指示に基づき、修正結果テキストの全部を用いた適応化を行なうか、修正結果テキストの一部のみを用いた適応化を行なうかを制御する。
（ｃ）制御部４０は、ユーザーからの指示に基づき、ある入力音声データに関して、１回だけ修正結果テキストに基づくモデルの適応化を行うか、複数回繰り返して修正結果テキストに基づくモデルの適応化を行うかを制御する。
（ｄ）制御部４０は、ユーザーからの指示に基づき、オンラインで音声認識処理を行なうかオフラインで音声認識処理を行なうかを制御する。
【００５１】
以上、この発明の実施形態について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。
【産業上の利用可能性】
【００５２】
本発明は、文字起こしの作業を効率化するために利用可能である。具体的用途としては、会議録の作成や、記者会見やインタビュー等に基づく記録作成、放送番組等の音声の書き起こしなどに利用可能である。
【符号の説明】
【００５３】
１  文字起こし装置
１１  音声取得部
１２  入力音声記憶部
１４  特徴量抽出部
１５  モデル記憶部
１６  音声認識部
１８  認識結果記憶部
２０  修正部
２２  修正結果出力部
２４  発音付与部
２６  整列部
２８  適応部
４０  制御部
１５１  音響モデル記憶部
１５２  言語モデル記憶部
【図１】
2014134640.tif 000003
【図２】
2014134640.tif 000004
【図３】
2014134640.tif 000005
【図４】
2014134640.tif 000006
【図５】
2014134640.tif 000007
【図６】
2014134640.tif 000008
【図７】
2014134640.tif 000009