(57)【特許請求の範囲】
【請求項１】
音声データをテキスト化する書き起こし作業を支援する書き起こし支援システムであって、
前記音声データを記憶する第１記憶部と、
前記音声データを再生する再生部と、
前記音声データに対して音声認識処理を実行する音声認識部と、
前記音声認識処理で生成された複数の文字列の各々と、前記音声データの位置を示す音声位置情報とが対応付けられた音声インデックスを生成するインデックス生成部と、
前記音声インデックスを記憶する第２記憶部と、
ユーザーの操作入力に応じてテキストを作成するテキスト作成部と、
前記音声インデックスに含まれる文字列と一致する前記テキストを構成する文字列のうち終端の文字列に最も近い文字列を示す基準文字列に対応する音声位置情報と、前記テキストを構成する文字列のうち基準文字列の次の文字列から終端の文字列までの文字列を示す不一致文字列の再生に要する再生時間とに基づいて、前記音声データのうち、前記テキストの作成が完了した位置を示す作成済み音声位置情報を推定する推定部と、
を備える書き起こし支援システム。
【請求項２】
音声データをテキスト化する書き起こし作業を支援する書き起こし支援システムであって、
前記音声データを記憶する第１記憶部と、
前記音声データを再生する再生部と、
前記音声データに対して音声認識処理を実行する音声認識部と、
前記音声認識処理で生成された複数の文字列の各々と、前記音声データの位置を示す音声位置情報とが対応付けられた音声インデックスを生成するインデックス生成部と、
前記音声インデックスを記憶する第２記憶部と、
ユーザーの操作入力に応じてテキストを作成するテキスト作成部と、
前記テキストを構成する文字列から前記音声インデックスに一致する文字列が存在しない正解候補文字列を抽出し、かつ、前記音声インデックスに含まれる文字列から前記正解候補文字列の音声位置情報に対応する誤認識候補文字列を抽出する抽出部と、
を備え、
前記インデックス生成部が、前記音声インデックスから前記誤認識候補文字列に一致する文字列を検索し、前記正解候補文字列を、前記検索された文字列の音声位置情報に対応付けて前記音声インデックスに追加する書き起こし支援システム。
【請求項３】
前記抽出部が、前記正解候補文字列を再生するのに要する時間を用いて、前記正解候補文字列の音声位置情報を推定する請求項２記載の書き起こし支援システム。
【請求項４】
前記抽出部が、前記正解候補文字列と前記正解候補文字列の音声位置情報に対応する文字列との類似度が所定値以上である場合、前記文字列を前記誤認識候補文字列として抽出する請求項２記載の書き起こし支援システム。
【請求項５】
前記類似度が文字列を構成する音素列の類似度で計算される請求項４記載の書き起こし支援システム。
【請求項６】
前記推定部が、前記テキストを構成する文字列から前記音声インデックスに一致する文字列がない正解候補文字列を抽出し、
前記音声認識部が、前記正解候補文字列を認識辞書に追加して前記音声認識処理を実行する請求項１記載の書き起こし支援システム。
【請求項７】
音声データをテキスト化する書き起こし作業を支援する書き起こし支援方法であって、
前記音声データを再生するステップと、
前記音声データに対して音声認識処理を実行するステップと、
前記音声認識処理で生成された複数の文字列の各々と、前記音声データの位置を示す音声位置情報とが対応付けられた音声インデックスを生成するステップと、
ユーザーの操作入力に応じてテキストを作成するステップと、
前記音声インデックスに含まれる文字列と一致する前記テキストを構成する文字列のうち終端の文字列に最も近い文字列を示す基準文字列に対応する音声位置情報と、前記テキストを構成する文字列のうち基準文字列の次の文字列から終端の文字列までの文字列を示す不一致文字列の再生に要する再生時間とに基づいて、前記音声データのうち、前記テキストの作成が完了した位置を示す作成済み音声位置情報を推定するステップと、
を備える書き起こし支援方法。
【請求項８】
音声データをテキスト化する書き起こし作業を支援する書き起こし支援方法であって、
前記音声データを再生するステップと、
前記音声データに対して音声認識処理を実行するステップと、
前記音声認識処理で生成された複数の文字列の各々と、前記音声データの位置を示す音声位置情報とが対応付けられた音声インデックスを生成するステップと、
ユーザーの操作入力に応じてテキストを作成するステップと、
前記テキストを構成する文字列から前記音声インデックスに一致する文字列が存在しない正解候補文字列を抽出し、かつ、前記音声インデックスに含まれる文字列から前記正解候補文字列の音声位置情報に対応する誤認識候補文字列を抽出するテップと、
を備え、
前記インデックスを生成するステップが、前記音声インデックスから前記誤認識候補文字列に一致する文字列を検索し、前記正解候補文字列を、前記検索された文字列の音声位置情報に対応付けて前記音声インデックスに追加する書き起こし支援方法。
【請求項９】
音声データをテキスト化する書き起こし作業を支援する書き起こし支援システムに、
前記音声データを再生するステップと、
前記音声データに対して音声認識処理を実行するステップと、
前記音声認識処理で生成された複数の文字列の各々と、前記音声データの位置を示す音声位置情報とが対応付けられた音声インデックスを生成するステップと、
ユーザーの操作入力に応じてテキストを作成するステップと、
前記音声インデックスに含まれる文字列と一致する前記テキストを構成する文字列のうち終端の文字列に最も近い文字列を示す基準文字列に対応する音声位置情報と、前記テキストを構成する文字列のうち基準文字列の次の文字列から終端の文字列までの文字列を示す不一致文字列の再生に要する再生時間とに基づいて、前記音声データのうち、前記テキストの作成が完了した位置を示す作成済み音声位置情報を推定するステップと、
を実現させるための書き起こし支援プログラム。
【請求項１０】
音声データをテキスト化する書き起こし作業を支援する書き起こし支援システムであって、
前記音声データを再生するステップと、
前記音声データに対して音声認識処理を実行するステップと、
前記音声認識処理で生成された複数の文字列の各々と、前記音声データの位置を示す音声位置情報とが対応付けられた音声インデックスを生成するステップと、
ユーザーの操作入力に応じてテキストを作成するステップと、
前記テキストを構成する文字列から前記音声インデックスに一致する文字列が存在しない正解候補文字列を抽出し、かつ、前記音声インデックスに含まれる文字列から前記正解候補文字列の音声位置情報に対応する誤認識候補文字列を抽出するステップと、
を実現させ、
前記インデックスを生成するステップが、前記音声インデックスから前記誤認識候補文字列に一致する文字列を検索し、前記正解候補文字列を、前記検索された文字列の音声位置情報に対応付けて前記音声インデックスに追加する書き起こし支援プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明の実施形態は、音声データをテキスト化する書き起こし作業を支援するための書き起こし支援システムおよび書き起こし支援方法に関する。
【背景技術】
【０００２】
従来、書き起こし作業の効率化を図るための様々な技術が知られている。例えば、音声データに対して音声認識処理を実行することにより得られた音声テキストデータを構成する複数の文字列の各々と、音声データの位置（再生位置）とを対応付けて画面上に表示させるという技術が知られている。この技術では、画面上の文字列が選択されると、その文字列に対応する再生位置から音声データが再生されるので、ユーザー（書き起こし作業者）は、文字列を選択して音声データを聞きながら当該文字列の修正を行う。
【０００３】
上述した技術では、音声テキストデータを構成する複数の文字列の各々と、音声データの再生位置とを対応付けて画面上に表示させる必要があるので、表示制御の構成が複雑になるという問題がある。また、書き起こし作業では、フィラーや文法的な誤りを含む音声データをそのまま書き起こすことは少なく、整文作業を行うのが一般的である。すなわち、音声データと、ユーザーが書き起こそうとする文章との間には大きな差異があるので、上述した技術のように、音声データの音声認識結果を修正する作業を行うことは、必ずしも効率的ではない。したがって、構成の簡素化を図るという観点からは、音声認識結果の修正作業を行う書き起こす方式よりも、音声データを再生しながら、聞き取れた範囲をテキスト化していく書き起こし方式の方が好ましい。この場合、ユーザーは、音声データの一時停止、巻き戻しを繰り返しながら書き起こし作業を行うことになる。ここで、一時停止を解除して音声データの再生を再開する場合（書き起こし作業を再開する場合）は、音声データのうち書き起こしが完了した位置から再生が再開されることが望ましい。
【０００４】
しかしながら、従来においては、音声データのうち書き起こしが完了した位置を特定することは困難であるという問題がある。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００５−２２８１７８号公報
【特許文献２】特許第４５５８３０８号
【発明の概要】
【発明が解決しようとする課題】
【０００６】
本発明が解決しようとする課題は、音声データのうち書き起こしが完了した位置を特定可能な書き起こし支援システムおよび書き起こし支援方法を提供することである。
【課題を解決するための手段】
【０００７】
実施形態の書き起こし支援システムは、第１記憶部と、再生部と、音声認識部と、インデックス生成部と、第２記憶部と、テキスト作成部と、推定部とを備える。第１記憶部は、音声データを記憶する。再生部は、音声データを再生する。音声認識部は、音声データに対して音声認識処理を実行する。インデックス生成部は、音声認識処理で生成された複数の文字列の各々と、音声データの位置を示す音声位置情報とが対応付けられた音声インデックスを生成する。第２記憶部は、音声インデックスを記憶する。テキスト作成部は、ユーザーの操作入力に応じてテキストを作成する。推定部は、音声インデックスに基づいて、音声データのうち、テキストの作成が完了した位置を示す作成済み音声位置情報を推定する。
【図面の簡単な説明】
【０００８】
【図１】第１の実施形態に係る書き起こし支援システムの概略構成例を示すブロック図。
【図２】実施形態の音声テキストデータの一例を示す図。
【図３】実施形態の音声インデックスの一例を示す図。
【図４】実施形態のテキスト作成処理の一例を示すフローチャート。
【図５】実施形態の推定処理の一例を示すフローチャート。
【図６】第２の実施形態に係る書き起こし支援システムの概略構成例を示すブロック図。
【図７】実施形態の音声インデックスを修正する処理の一例を示すフローチャート。
【図８】実施形態の音声テキストデータの一例を示す図。
【図９】実施形態の音声インデックスの一例を示す図。
【図１０】実施形態の音声インデックスの一例を示す図。
【図１１】実施形態の音声インデックスの一例を示す図。
【図１２】実施形態の音声テキストデータの一例を示す図。
【図１３】実施形態の音声テキストデータの一例を示す図。
【発明を実施するための形態】
【０００９】
以下、添付図面を参照しながら、本発明に係る書き起こし支援システムの実施の形態を詳細に説明する。なお、以下の各実施形態では、書き起こし支援システムとして、音声データを再生する機能、および、ユーザーの操作に応じてテキストを作成するテキスト作成機能を有するＰＣ（Personal  Computer）を例に挙げて説明するが、これに限定されるものではない。
【００１０】
以下の各実施形態では、書き起こし作業を行う場合、ユーザーは、収録された音声データを再生しながらキーボードを操作してテキスト入力を行い、音声データをテキスト化していく。この際、各実施形態の書き起こし支援システムは、書き起こしが完了した音声データの位置を推定する。そして、ユーザーからの指示に応じて、推定した位置から音声データを再生する。これにより、ユーザーは、作業の過程で音声データの再生を一時停止させた場合であっても、書き起こしが完了した位置から音声データの再生を再開することができる。
【００１１】
（第１の実施形態）
図１は、第１の実施形態に係る書き起こし支援システム１００の概略構成例を示すブロック図である。図１に示すように、書き起こし支援システム１００は、第１記憶部１１と、再生部１２と、音声認識部１３と、インデックス生成部１４と、第２記憶部１５と、入力受付部１６と、テキスト作成部１７と、推定部１８と、設定部１９と、再生指示受付部２０と、再生制御部２１とを含む。
【００１２】
第１記憶部１１は、音声データを記憶する。音声データは、例えばwav、mp3などの形式の音声ファイルである。音声データの取得方法は任意であり、例えばインターネット等のネットワーク経由で取得することもできるし、マイクロフォンなどを用いて取得することもできる。再生部１２は、音声データを再生する手段であり、例えばスピーカ、ＤＡコンバータおよびヘッドフォンなどから構成される機器である。
【００１３】
音声認識部１３は、音声データに対して音声認識処理を実行してテキスト化する。音声認識処理により得られたテキストデータを音声テキストデータと呼ぶ。音声認識処理は、公知の様々な技術を利用することができる。本実施形態では、音声認識部１３により生成された音声テキストデータは、単語・形態素・文節などの文よりも小さい単位で分割され、ラティスと呼ばれる認識候補（分割単位の候補）をつないだネットワーク構造で表される。音声テキストデータの形態はこれに限られない。例えば音声認識処理の最適な認識結果を表す一次元構造（１つのパス）で音声テキストデータを表すこともできる。図２は、「先ほどの内容、今日議題にございました件ですが」という音声データに対して音声認識処理を実行して得られた音声テキストデータの一例を示す図である。図２の例では、分割単位は形態素である。
【００１４】
音声認識部１３は、認識可能な語彙に関する認識辞書を有している（図示なし）。音声データに認識辞書に登録されていない語彙が含まれる場合、音声認識部１３はこの音声を誤認識してしまう。したがって、認識辞書を音声データに含まれる語彙に応じてカスタマイズすることは、認識精度を向上させるためにも重要である。
【００１５】
再び図１に戻って説明を続ける。インデックス生成部１４は、音声認識部１３により生成された音声テキストデータを構成する複数の文字列の各々と、音声データの位置（再生位置）を示す音声位置情報とを対応付けた音声インデックスを生成する。例えば、音声認識部１３により図２に示す音声テキストデータが生成された場合を想定する。この場合、インデックス生成部１４は、音声テキストデータを構成する複数の形態素の各々と、音声データの音声位置情報とを対応付ける。これにより、図３に示されるような音声インデックスが生成される。音声認識処理では、音声データを１０〜２０ｍｓ程度の一定間隔で処理する。音声位置情報との対応付けは、処理対象となっている音声データとそれに対応する認識結果を音声認識処理の過程で取得することで実現できる。
【００１６】
図３の例では、音声データの音声位置情報は、音声データの先頭からその位置まで再生するのに要する時間を示す時間情報を用いて表される（単位はミリ秒）。例えば図３の「今日」に対応する音声位置情報は「１１００ｍｓ−１４００ｍｓ」であるが、これは、音声データを再生した場合に、「今日」という音声の再生開始位置が１１００ｍｓで、再生終了位置が１４００ｍｓであることを意味している。言い換えれば、音声データを再生した場合に、当該音声データの先頭から１１００ｍｓ経過した時点を始点とし、先頭から１４００ｍｓ経過した時点を終点とする期間が、「今日」という音声が再生される期間であることを意味している。
【００１７】
再び図１に戻って説明を続ける。第２記憶部１５は、インデックス生成部１４で生成された音声インデックスを記憶する。なお、音声インデックスは、書き起こし作業の開始前に既に作成されていてもよいし、書き起こし作業中にリアルタイムで作成されてもよい。
【００１８】
入力受付部１６は、ユーザーからのテキストを作成するための各種の入力（テキスト入力と呼ぶ）を受け付ける。ユーザーは、再生部１２で再生された音声データを聞きながら、その内容を表すテキストを入力する。テキスト入力は、キーボードなどの操作デバイスを操作することにより行うことができる。テキスト作成部１７は、ユーザーからの操作入力に応じてテキストを作成する。より具体的には、テキスト作成部１７は、入力受付部１６で受け付けたテキスト入力に従ってテキストを作成する。以下では、説明の便宜上、テキスト作成部１７で作成されたテキストを「入力済みテキスト」と呼ぶ。
【００１９】
図４は、テキスト作成部１７が実行するテキスト作成処理の一例を示すフローチャートである。図４に示すように、テキスト作成部１７は、入力受付部１６でテキスト入力を受け付けた場合（ステップＳ１の結果：ＹＥＳ）、その受け付けたテキスト入力が、改行を指示する入力または「punctuation」の入力であるか否かを判定する（ステップＳ２）。なお、「punctuation」の入力とは、例えば句読点、疑問符、感嘆符などの入力を意味する。
【００２０】
ステップＳ１で受け付けたテキスト入力が、改行を指示する入力または「punctuation」の入力であると判定した場合（ステップＳ２の結果：ＹＥＳ）、テキスト作成部１７は、先頭の入力位置から現在の入力位置までの文字列をテキストとして確定する（ステップＳ３）。一方、ステップＳ１で受け付けたテキスト入力が、改行を指示する入力または「punctuation」の入力ではないと判定した場合（ステップＳ２の結果：ＮＯ）、処理はステップＳ４へ移行する。
【００２１】
ステップＳ４では、テキスト作成部１７は、受け付けたテキスト入力が、変換処理の確定を指示する入力であるか否かを判定する。変換処理の一例としては、平仮名を漢字に変換する処理などが挙げられる。なお、ここでは、変換処理の確定を指示する入力には、平仮名を漢字に変換せずにそのまま確定することを指示する入力も含まれる。受け付けたテキスト入力が、変換処理の確定を指示する入力であると判定した場合（ステップＳ４の結果：ＹＥＳ）、処理は上述のステップＳ３へ移行し、現在の入力位置までの文字列がテキストとして確定する。そして、テキスト作成部１７は、確定したテキスト（入力済みテキスト）を推定部１８へ送信する（ステップＳ５）。以上でテキスト作成処理が終了する。
【００２２】
再び図１に戻って説明を続ける。推定部１８は、音声インデックスに基づいて、音声データのうち、テキストの作成が完了した位置（つまりは書き起しが完了した位置）を示す作成済み音声位置情報を推定する。図５は、推定部１８が実行する推定処理の一例を示すフローチャートである。図５に示すように、入力済みテキストを取得した場合（ステップＳ１０の結果：ＹＥＳ）、推定部１８は、入力済みテキストを構成する文字列（ここでは形態素を単位とする文字列）の中に、音声インデックスに含まれる文字列と一致する文字列が存在するか否かを判断する（ステップＳ１１）。一致する文字列が存在するか否かは文字列マッチにより実現できる。
【００２３】
ステップＳ１１において、入力済みテキストを構成する文字列の中に、音声インデックスに含まれる文字列と一致する文字列が存在すると判断した場合（ステップＳ１１の結果：ＹＥＳ）、推定部１８は、入力済みテキストを構成する文字列の終端の文字列（最後の文字列）が、音声インデックスに含まれる文字列と一致するか否かを判断する（ステップ１２）。
【００２４】
上述のステップＳ１２において、終端の文字列が、音声インデックスに含まれる文字列と一致すると判断した場合（ステップＳ１２の結果：ＹＥＳ）、推定部１８は、終端の文字列と一致する文字列に対応する音声位置情報を音声インデックスから読み出し、その読み出した音声位置情報から作成済み音声位置情報を推定する（ステップＳ１３）。一方、上述のステップＳ１２において、終端の文字列が、音声インデックスに含まれる文字列と一致しないと判断した場合（ステップＳ１２の結果：ＮＯ）、処理はステップＳ１４に移行する。
【００２５】
ステップＳ１４では、推定部１８は、音声インデックスに含まれる文字列と一致する文字列のうち終端の文字列に最も近い文字列を示す基準文字列に対応する音声位置情報を音声インデックスから読み出す（ステップＳ１４）。また、推定部１８は、入力済みテキストを構成する文字列のうち、基準文字列の次の文字列から終端の文字列までの文字列を示す不一致文字列を再生するのに要する時間を示す第１再生時間を推定する（ステップＳ１５）。第１再生時間の推定方法は任意であり、例えば不一致文字列を音素列に変換し、各音素に対する標準的な音素継続時間のデータを用いて、その不一致文字列を再生（発話）するのに要する時間を推定することもできる。
【００２６】
次に、推定部１８は、ステップＳ１４で読み出した音声位置情報（基準文字列に対応する音声位置情報）と、ステップＳ１５で推定した第１再生時間とから、作成済み音声位置情報を推定する（ステップＳ１６）。より具体的には、推定部１８は、音声データのうち基準文字列の終端を示す位置よりも、ステップＳ１５で推定した第１再生時間だけ先の位置を、作成済み音声位置情報として推定する。
【００２７】
一方、上述のステップＳ１１において、入力済みテキストを構成する文字列の中に、音声インデックスに含まれる文字列と一致する文字列が存在しないと判断した場合（ステップＳ１１の結果：ＮＯ）、推定部１８は、入力済みテキストを再生するのに要する時間を示す第２再生時間を推定する(ステップＳ１７)。第２再生時間の推定方法は任意であり、例えばテキストを構成する文字列を音素列に変換し、各音素に対する標準的な音素継続時間のデータを用いて、テキストを構成する文字列を再生（発話）するのに要する時間を推定することもできる。そして、推定部１８は、第２再生時間から作成済み音声位置情報を推定する（ステップＳ１８）。
【００２８】
いま、具体例として、ユーザー（書き起こし作業者）が「先ほどの内容、今日議題にございました件ですが」という音声データを聞いて、書き起こし作業を行う場合を想定する。ここでは、音声データの再生は、上記音声データの終端の位置で一時停止しているものとする。また、この例では、書き起こし作業の開始前において、図３に示す音声インデックスが既に生成されており、当該音声インデックスは第２記憶部１５に格納されているものとする。
【００２９】
最初に、ユーザーが、「さきほどの」という文字列を入力し、その入力文字列の漢字への変換を確定することで、「先ほどの」という入力済みテキストが推定部１８に送信された場合を想定する。まず推定部１８は、「先ほどの」を構成する文字列（「先」「ほど」「の」）の中に、音声インデックスに含まれる文字列と一致する文字列が存在するか否かを判断する（図５のステップＳ１１）。この場合、「先ほどの」を構成する全ての文字列の各々が、音声インデックスに含まれる文字列と一致するので、推定部１８は、終端の文字列「の」に対応する音声位置情報を音声インデックスから読み出し、その読み出した音声位置情報から作成済み音声位置情報を推定する（図５のステップＳ１２、ステップＳ１３）。この例では、推定部１８は、終端の文字列「の」に対応する音声位置情報「６００ｍｓ−７００ｍｓ」の終点７００ｍｓを、作成済み音声位置情報として推定する。
【００３０】
次に、ユーザーが、上述の「先ほどの」という文字列（変換が確定済みの文字列）の後に続けて「ぎだいに」という文字列を入力し、その入力文字列の漢字への変換を確定することで、「先ほどの議題に」という入力済みテキストが推定部１８に送信された場合を想定する。まず推定部１８は、「先ほどの議題に」を構成する文字列（「先」「ほど」「の」「議題」「に」）の中に、音声インデックスに含まれる文字列と一致する文字列が存在するか否かを判断する（図５のステップＳ１１）。この場合、「先ほどの議題に」を構成する全ての文字列の各々が、音声インデックスに含まれる文字列と一致するので、推定部１８は、終端の文字列「に」に対応する音声位置情報を音声インデックスから読み出し、その読み出した音声位置情報から作成済み音声位置情報を推定する（図５のステップＳ１２、ステップＳ１３）。この例では、推定部１８は、終端の文字列「に」に対応する音声位置情報「１７００ｍｓ−１８００ｍｓ」の終点１８００ｍｓを、作成済み音声位置情報として推定する。
【００３１】
次に、ユーザーが、上述の「先ほどの議題に」という文字列の後に続けて「のぼった」という文字列を入力し、その入力文字列を確定（平仮名のままとすることを確定）することで、「先ほどの議題にのぼった」という入力済みテキストが推定部１８に送信された場合を想定する。まず推定部１８は、「先ほどの議題にのぼった」を構成する文字列（「先」「ほど」「の」「議題」「に」「のぼった」）の中に、音声インデックスに含まれる文字列と一致する文字列が存在するか否かを判断する（図５のステップＳ１１）。この場合、「先ほどの議題にのぼった」を構成する５つの文字列のうち４つの文字列（「先」「ほど」「の」「議題」「に」）の各々が、音声インデックスに含まれる文字列と一致するものの、終端の文字列「のぼった」が、音声インデックスに含まれる文字列と一致しない。つまり、終端の文字列「のぼった」が音声インデックスに存在しない（図５のステップS１２の結果：ＮＯ）。
【００３２】
したがって、推定部１８は、音声インデックスに含まれる文字列と一致する文字列のうち終端の文字列「のぼった」に最も近い文字列を示す基準文字列「に」に対応する音声位置情報「１７００ｍｓ−１８００ｍｓ」を音声インデックスから読み出す（図５のステップＳ１４）。また、推定部１８は、入力済みテキストを構成する文字列（「先」「ほど」「の」「議題」「に」「のぼった」）のうち基準文字列「に」の次の文字列から終端の文字列までの文字列を示す不一致文字列の再生に要する第１再生時間を推定する（図５のステップＳ１５）。この例では、不一致文字列は「のぼった」であり、当該「のぼった」の再生に要する時間の推定結果は３５０ｍｓであったとする。この場合、推定部１８は、基準文字列「に」に対応する音声位置情報「１７００ｍｓ−１８００ｍｓ」の終点１８００ｍｓよりも、「のぼった」の再生に要する３５０ｍｓだけ先の位置である「２１５０ｍｓ」を、作成済み音声位置情報として推定する（図５のステップＳ１６）。
【００３３】
次に、ユーザーが、上述の「先ほどの議題にのぼった」という文字列の後に続けて「けんですが」という文字列を入力し、その入力文字列の漢字への変換を確定することで、「先ほどの議題にのぼった件ですが」という入力済みテキストが推定部１８に送信された場合を想定する。まず推定部１８は、「先ほどの議題にのぼった件ですが」を構成する文字列（「先」「ほど」「の」「議題」「に」「のぼった」「件」「です」「が」）の中に、音声インデックスに含まれる文字列と一致する文字列が存在するか否かを判断する（図５のステップＳ１１）。この場合、「先ほどの議題にのぼった件ですが」を構成する９つの文字列のうち８つの文字列（「先」「ほど」「の」「議題」「に」「件」「です」「が」）の各々が、音声インデックスに含まれる文字列と一致し、終端の文字列「が」も、音声インデックスに含まれる文字列と一致するので、推定部１８は、終端の文字列「が」に対応する音声位置情報を音声インデックスから読み出し、その読み出した音声位置情報から作成済み音声位置情報を推定する（図５のステップＳ１２、ステップＳ１３）。この例では、推定部１８は、終端の文字列「が」に対応する音声位置情報「２８００ｍｓ−２９００ｍｓ」の終点２９００ｍｓを、作成済み音声位置情報として推定する。
【００３４】
この例では、入力済みテキストを構成する文字列のうち、音声インデックスに含まれない文字列「のぼった」を無視し、終端の文字列が、音声インデックスに含まれている文字列と一致していることを優先して、終端の文字列に対応する音声位置情報から作成済み音声位置情報を推定している。すなわち、テキストを構成する文字列の終端の文字列が、音声インデックスに含まれている文字列と一致している場合は、無条件に、終端の文字列に対応する音声位置情報から作成済み音声位置情報を推定しているが、これに限らず、例えば終端の文字列が、音声インデックスに含まれている文字列と一致している場合であっても、所定の条件を満たさない限りは、終端の文字列に対応する音声位置情報から作成済み音声位置情報を推定することはしない構成であってもよい。
【００３５】
上記所定の条件は任意に設定可能である。例えば推定部１８は、入力済みテキストを構成する文字列のうち音声インデックスに含まれる文字列と一致する文字列の数が所定数以上である場合は、所定の条件を満たすと判断することもできる。また、例えば推定部１８は、入力済みテキストを構成する文字列であって終端の文字列以外の文字列の中に、音声インデックスに含まれる文字列と一致する文字列が存在し、その文字列のうち終端の文字列に最も近い文字列に対応する音声位置情報が示す位置と、終端の文字列に対応する音声位置情報が示す位置との差が所定範囲内である場合は、所定の条件を満たすと判断することもできる。
【００３６】
再び図１に戻って説明を続ける。設定部１９は、推定部１８で推定された作成済み音声位置情報に基づいて、音声データのうち再生が開始される位置を示す再生開始位置を設定する。本実施形態では、設定部１９は、推定部１８で推定された作成済み音声位置情報が示す位置を、再生開始位置に設定する。再生指示受付部２０は、音声データの再生を指示する再生指示を受け付ける。例えばユーザーは、マウスなどのポインティングデバイスを操作して、コンピュータの画面上に表示された再生用ボタンを選択することで、再生指示を入力することができるが、これに限らず、再生指示の入力方法は任意である。なお、本実施形態では、ユーザーは、マウスなどのポインティングデバイスを操作して、コンピュータの画面上に表示された停止用ボタン、巻き戻し用ボタン、早送り用ボタンなどを選択することで、各種の指示を入力することができる。そして、その入力に応じて音声データの再生が制御される。
【００３７】
再生制御部２１は、再生指示受付部２０で再生指示を受け付けた場合、設定部１９で設定された再生開始位置から音声データを再生するように再生部１２を制御する。再生制御部２１は、例えばＰＣのオペレーションシステムやドライバが有するオーディオ機能で実現されるが、電子回路などのハードウェア回路でも実現可能である。
【００３８】
本実施形態では、上述の第１記憶部１１、再生部１２および第２記憶部１５はハードウェア回路で構成される。一方、上述の音声認識部１３、インデックス生成部１４、入力受付部１６、テキスト作成部１７、推定部１８、設定部１９、再生指示受付部２０および再生制御部２１の各々は、ＰＣに搭載されたＣＰＵがＲＯＭなどに格納された制御プログラムを実行することにより実現されるが、これに限らず、例えば音声認識部１３、インデックス生成部１４、入力受付部１６、テキスト作成部１７、推定部１８、設定部１９、再生指示受付部２０および再生制御部２１のうちの少なくとも一部がハードウェア回路で構成されてもよい。
【００３９】
以上に説明したように、本実施形態の書き起こし支援システム１００は、音声データに対する音声認識処理を実行することにより得られる音声テキストデータを構成する複数の文字列の各々と、音声データの音声位置情報とを対応付けた音声インデックスに基づいて、音声データのうち、テキストの作成が完了した位置（つまりは書き起しが完了した位置）を示す作成済み音声位置情報を推定する。これにより、ユーザーが、音声データに含まれるフィラーや文法的な誤りを修正しながら書き起こし作業を行い、入力済みテキストと、音声テキストデータ（音声認識結果）とが相違する場合であっても、音声データのうち書き起こしが完了した位置を正確に特定することができる。また、本実施形態の書き起こし支援システム１００は、推定した作成済み音声位置情報が示す音声データの位置を再生開始位置に設定するので、ユーザーは、音声データの巻き戻しや早送りを繰り返しながら、書き起こしが完了した位置に再生開始位置を合わせる必要はない。これにより、作業効率を向上させることが可能になる。
【００４０】
（第２の実施形態）
第２の実施形態に係る書き起こし支援システムは、上述した第１の実施形態に記載した機能に加え、音声認識部１３によって生成された音声テキストに含まれる誤認識の影響を低減させる機能を有する。
【００４１】
図６は、第２の実施形態に係る書き起こし支援システム２００の概略構成例を示すブロック図である。第１の実施形態に係る書き起こし支援システム１００との違いは、インデックス生成部１４が、推定部１８での音声位置情報の推定処理に基づいて、音声インデックスを修正する点である。具体的には、入力済みテキストを構成する文字列が第２記憶部１５に記憶された音声インデックスに含まれる文字列に一致しない場合、この文字列を音声インデックスに追加する。
【００４２】
図７は、本実施形態の書き起こし支援システムが音声インデックスを修正する際の処理の一例を示すフローチャートである。具体例として、ユーザー（書き起こし作業者）が「Ｔテレで放送していた」という音声データを聞いて、書き起こし作業を行う場合を想定する。この例では、書き起こし作業の開始前に、音声認識部１３により図８に示す音声テキストデータが生成されているものとする。また、インデックス生成部１４が、音声認識部１３における認識処理の過程で取得された情報を基に、図９に示す音声インデックスを生成しているものとする。なお、この例では、音声認識部１３の認識処理によって、「Ｔテレ」という音声データが「いい」「手」と「Ｔトレ」とに誤認識されている。
【００４３】
図７のフローチャートについて説明する。まず、推定部１８は、入力済みテキストを構成する文字列から、音声インデックスに一致する文字列が存在しない正解候補文字列を抽出する（ステップＳ３１）。ユーザーが「てぃーてれ」という文字列を入力し、その入力文字列の漢字への変換を確定することで、「Ｔテレ」という入力済みテキストが推定部１８に送信された場合を想定する。この場合、「Ｔテレ」に一致する文字列は図９の音声インデックスには存在しない。したがって、推定部１８は、正解候補文字列として「Ｔテレ」を抽出する。一致する文字列が存在するか否かの判断は、テキストを構成する文字列と音声インデックスの形態素の文字列マッチで実現できる。
【００４４】
次に、推定部１８は、正解候補文字列の音声位置情報を推定する。推定部１８は、「Ｔテレ」を再生するのに要する時間を推定する。推定部１８は、「Ｔテレ」を音素列に変換し、各音素に対する標準的な音素継続時間のデータを用いて、「Ｔテレ」を再生（発話）するのに要する時間を推定する。推定の結果、「Ｔテレ」の再生時間は３５０ｍｓであったとする。この場合、「Ｔテレ」の作成済み音声位置情報は、「０ｍｓ−３５０ｍｓ」と推定される。
【００４５】
この他にも、推定部１８は、第１の実施形態に記載したように、基準文字列や文字列の終端に対応する音声位置情報を用いて、正解候補文字列の音声位置情報を推定することもできる。例えば、推定部１８に送信された入力済みテキストが「Ｔテレで放送」の場合、文字列の終端にあたる「放送」やその直前の「で」は音声インデックスに含まれている。したがって、これらの文字列の音声位置情報を用いて、「Ｔテレ」の音声位置情報を推定することができる。図９の音声インデックスより、「で放送」の音声位置情報は「４００ｍｓ−１０００ｍｓ」であることから、「Ｔテレ」の音声位置情報は「０ｍｓ−４００ｍｓ」であると推定できる。
【００４６】
次に、推定部１８は、音声インデックスに含まれる文字列から、正解候補文字列の音声位置情報に対応する誤認識候補文字列を抽出する（ステップＳ３３）。図９より、正解候補文字列（「Ｔテレ」）の音声位置情報「０ｍｓ−３５０ｍｓ」に対応する文字列は、「いい手」および「Ｔトレ」である。抽出された文字列を誤認識候補文字列と呼ぶ。推定部１８は、正解候補文字列（「Ｔテレ」）と誤認識候補文字列（「いい手」、「Ｔトレ」）とを対応付ける。なお、この例では、音声インデックスに含まれる文字列の一部が正解候補文字列の音声位置情報に対応する場合も、この文字列を誤認識候補文字列として抽出している。この他にも、文字列の全体が正解候補文字列の音声位置情報に対応する場合のみ、この文字列を誤認識候補文字列として抽出するようにしてもよい。この場合、先ほどの例では「いい」のみが誤認識候補文字列として抽出される。
【００４７】
また、推定部１８は、正解候補文字列と正解候補文字列の音声位置情報に対応する文字列との類似度が所定値以上である場合にのみ、この文字列を誤認識候補文字列として抽出することもできる。類似度が所定値以上の文字列に限定することにより、本来対応付けられるべきでない文字列同士が正解候補文字列および誤認識候補文字列として対応付けられることを防ぐことができる。類似度の計算には、文字列を音素列に変換し、既定の音素間距離テーブルを用いて計算する手法などを用いることができる。
【００４８】
次に、インデックス生成部１４は、ステップ３４で得られた正解候補文字列と誤認識候補文字列の対応関係を利用して、第２記憶部１５に記憶された音声インデックスから誤認識候補文字列が出現する他の個所を検索する（ステップＳ３４）。具体的には、「いい手」と「Ｔトレ」の両方が重複して出現する他の音声インデックスの該当個所を検索する。検索は、音声インデックスにおける形態素を文字列マッチすることで実現できる。この例では、図１０に示す箇所が検索されたものとする。なお、インデックス生成部１４が、候補文字列の一部（「いい手」もしくは「Ｔトレ」の何れか）が出現する箇所も検索するようにしてもよい。
【００４９】
次に、インデックス生成部１４は、ステップＳ３４で検索された箇所に誤認識候補文字列に対応付けられた正解候補文字列を追加する（ステップＳ３５）。具体的には、図１１の１１１に示すように、形態素「Ｔテレ」およびその読み「てぃーてれ」を、検索された「いい手」および「Ｔトレ」に対応する音声位置情報に追加する。この修正をラティスで表現すると、図１２から図１３のように修正されたことに相当する。インデックス生成部１４は、修正した音声インデックスを第２記憶部１５に上書き保存する。
【００５０】
このように本実施形態に係る書き起こし支援システムは、入力済みテキストを構成する文字列が音声インデックスに含まれる文字列に一致しない場合、この文字列（正解候補文字列）を音声インデックスに追加する。これにより、音声テキストに含まれる誤認識の影響を低減させることができ、正解候補文字列を含む新たな音声データを書き起こす際、作成済み音声位置情報の推定精度を向上させることができる。
【００５１】
例えば、ユーザーが「Ｔテレを見る」という音声データを聞いて、書き起こし作業を行う場合を想定する。この場合、図１０の音声インデックスではなく、インデックス生成部１４によって修正された図１１の音声インデックスを利用することにより、再生時間等の推定を行うことなく、ユーザーが入力した「Ｔテレ」という正しい文字列の作成済み音声位置情報を推定できる。
【００５２】
本実施形態では、上述の第１記憶部１１、再生部１２および第２記憶部１５はハードウェア回路で構成される。一方、上述の音声認識部１３、インデックス生成部１４、入力受付部１６、テキスト作成部１７、推定部１８、設定部１９、再生指示受付部２０、再生制御部２１、インデックス生成部１４の各々は、ＰＣに搭載されたＣＰＵがＲＯＭなどに格納された制御プログラムを実行することにより実現されるが、これに限らず、例えば音声認識部１３、インデックス生成部１４、入力受付部１６、テキスト作成部１７、推定部１８、設定部１９、再生指示受付部２０、再生制御部２１、インデックス生成部１４のうちの少なくとも一部がハードウェア回路で構成されてもよい。
【００５３】
以上、本発明の実施形態を説明したが、この実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。以下に変形例を記載する。以下の変形例は、任意に組み合わせることが可能である。
【００５４】
（１）変形例１
上述の実施形態では、書き起こし支援システムとして、ＰＣが採用されているが、これに限定されるものではない。例えば、音声データを再生する機能を有する第１装置（テープレコーダー等）と、テキスト作成機能を有する第２装置とを含むシステムが、書き起こし支援システムとして採用されてもよい。そして、上述した各部（第１記憶部１１、再生部１２、音声認識部１３、インデックス生成部１４、第２記憶部１５、入力受付部１６、テキスト作成部１７、推定部１８、設定部１９、再生指示受付部２０、再生制御部２１、インデックス生成部１４）が、第１装置および第２装置の何れかに含まれていればよい。
【００５５】
（２）変形例２
上述の実施形態では、書き起こし作業の対象となる言語は日本語であるが、これに限らず、書き起こし作業の対象となる言語の種類は任意である。例えば書き起こし作業の対象となる言語は英語であってもよいし、中国語であってもよい。英語音声を聞いて書き起こしを行う場合、書き起こし文は英語である。この場合に作成済み音声位置情報を推定する方法は、日本語音声の場合とほとんど同じであるが、上述の第１再生時間および第２再生時間の推定が異なる。英語の場合の入力文字列はアルファベットであるため、アルファベット列に対する音素継続時間を使用する必要がある。これに関しては母音・子音の音素継続時間や音節単位での継続時間を使って上述の第１再生時間および第２再生時間を推定してもよい。中国語音声を聞いて書き起こしを行う場合、書き起こし文は中国語である。この場合に作成済み音声位置情報を推定する方法は、日本語音声の場合とほとんど同じであるが、上述の第１再生時間および第２再生時間の推定が異なる。中国語の場合は入力文字ごとにピン音が決まっているため、ピン音列に対する音素継続時間を使用して第１再生時間および第２再生時間を推定する。
【００５６】
（３）変形例３
音声認識部１３において、「Ｔテレ」という音声データが「いい」「手」と「Ｔトレ」に誤認識される原因の一つとして、「Ｔテレ」という単語が音声認識部１３における認識辞書に登録されていない可能性がある。したがって、書き起こし支援システム２００における音声認識部１３は、推定部１８で検出された正解候補文字列が認識辞書に登録されていない場合、正解候補文字列を認識辞書に追加登録することができる。そして、追加登録後の認識辞書を用いて音声データの音声認識処理を実行することにより、音声テキストに含まれる誤認識を減少させることができる。
【符号の説明】
【００５７】
１１  第１記憶部
１２  再生部
１３  音声認識部
１４  インデックス生成部
１５  第２記憶部
１６  入力受付部
１７  テキスト作成部
１８  推定部
１９  設定部
２０  再生指示受付部
２１  再生制御部
１００、２００  書き起こし支援システム
１１１  正解候補文字列
【図１】
0005787780.tif 000002
【図２】
0005787780.tif 000003
【図３】
0005787780.tif 000004
【図４】
0005787780.tif 000005
【図５】
0005787780.tif 000006
【図６】
0005787780.tif 000007
【図７】
0005787780.tif 000008
【図８】
0005787780.tif 000009
【図９】
0005787780.tif 000010
【図１０】
0005787780.tif 000011
【図１１】
0005787780.tif 000012
【図１２】
0005787780.tif 000013
【図１３】
0005787780.tif 000014