(57)【要約】  【課題】  音声認識によって書き起こされたテキストに対して修正が行われた場合でも、修正後のテキストと元の音声との間に適当な対応付けを行うことを可能とし、裁判や会議といった特殊な状況で取得された音声のテキストへの書き起こしに適したデータ処理方法およびこれを用いたシステムを提供する。  【解決手段】  音声データに対して、発話区間を特定し、各発話区間の音声認識を行い、得られた発話区間ごとの認識データの文字列と音声データとを発話時刻の情報により対応付ける音声認識処理部３２と、この発話区間ごとの認識データをソートして作成されたテキストを表示出力する出力制御部３４とを備え、さらに作成されたテキストを編集するテキスト編集部３５と、編集されたテキスト中の文字列と音声データとの対応付けをダイナミックプログラミングの手法を用いて行う音声対応推定部３６とをさらに備える。  【選択図】  図１
2005165066.tif 000002
【特許請求の範囲】
【請求項１】
音声データを取得するためのマイクロフォンと、
前記マイクロフォンにて取得された音声データに対して、発話区間を特定し、各発話区間の音声認識を行い、得られた発話区間ごとの認識データの文字列と音声データとを発話時刻の情報により対応付ける音声認識処理部と、
前記音声認識処理部の処理により得られた発話区間ごとの前記認識データからテキストを作成するテキスト作成部と、
前記テキスト作成部にて作成された前記テキストを表示出力する出力制御部と
を備えることを特徴とする音声認識システム。
【請求項２】
前記出力制御部は、前記発話区間を単位として指定された前記テキストの前記認識データに対応する前記音声データを再生することを特徴とする請求項１に記載の音声認識システム。
【請求項３】
前記マイクロフォンは、発話者の数に応じて複数用意され、
前記音声認識処理部は、複数の前記マイクロフォンにて取得される音声をチャネルごとに処理し、各チャネルの認識データに対して当該チャネルに対応付けられる発話者を識別する識別情報を付与することを特徴とする請求項１に記載の音声認識システム。
【請求項４】
前記出力制御部は、前記テキスト中から前記識別情報にて特定される同一発話者の前記認識データを検索し、検索された当該認識データに対応する前記音声データを再生することを特徴とする請求項３に記載の音声認識システム。
【請求項５】
前記出力制御部は、前記テキスト中から特定の語句を含む前記認識データを検索し、検索された当該認識データに対応する前記音声データを再生することを特徴とする請求項１に記載の音声認識システム。
【請求項６】
前記テキスト作成部にて作成された前記テキストを編集するテキスト編集部と、
前記テキスト編集部にて編集されたテキスト中の文字列と前記音声データとの対応付けを行う音声対応推定部とをさらに備え、
前記出力制御部は、前記テキスト編集部にて編集されたテキストを表示出力することを特徴とする請求項１に記載の音声認識システム。
【請求項７】
前記音声対応推定部は、前記テキスト編集部による編集前後のテキストに対して、ダイナミックプログラミングによりマッチングを行って両テキストの対応関係を推定し、推定結果に基づいて、編集前のテキストにおける前記認識データの文字列が対応付けられている前記音声データと編集後のテキストとを対応付けることを特徴とする請求項６に記載の音声認識システム。
【請求項８】
文字列および当該文字列と音声データとの対応関係を記述した対応データを入力し、当該文字列を編集する編集手段と、
前記編集手段にて編集された前記文字列と編集前の文字列とに対して、ダイナミックプログラミングによりマッチングを行って両文字列の対応関係を推定し、推定結果に基づいて、当該編集された文字列と前記音声データとの対応付けを行う音声対応推定手段と
を備えることを特徴とするデータ処理装置。
【請求項９】
前記音声対応推定手段は、前記編集手段による文字の置換、挿入、削除の操作に対して、編集前後の文字列パターンの間の差異を評価するための距離尺度を定義してマッチングを行うことを特徴とする請求項８に記載のデータ処理装置。
【請求項１０】
前記音声対応推定手段は、前記編集手段による編集前後の文字列中に、対応関係のない文字の存在を許すような局所パス制限を用いてマッチングを行うことを特徴とする請求項８に記載のデータ処理装置。
【請求項１１】
音声を収録して音声認識を行い、得られた認識データの文字列と音声データとを発話時刻の情報により対応付ける音声認識手段をさらに備え、
前記編集手段は、前記音声認識手段にて前記音声データと対応付けられた前記認識データを前記対応データとして入力することを特徴とする請求項８に記載のデータ処理装置。
【請求項１２】
前記編集手段にて編集された文字列を表示出力し、表示された文字列中に対する範囲指定を受け付け、指定された範囲の文字列に対して前記音声対応推定手段にて対応付けられた音声データを再生する出力制御手段をさらに備えることを特徴とする請求項８に記載のデータ処理装置。
【請求項１３】
コンピュータを用いて音声データを処理するデータ処理方法であって、
前記コンピュータが、音声入力手段にて取得された音声データに対して、発話区間を特定し、各発話区間の音声認識を行うステップと、
前記コンピュータが、得られた発話区間ごとの認識データの文字列と音声データとを発話時刻の情報により対応付けるステップと、
前記コンピュータが、得られた発話区間ごとの前記認識データからテキストを作成するステップと
を含むことを特徴とするデータ処理方法。
【請求項１４】
前記音声認識を行うステップは、
発話者の数に応じて用意された複数のマイクロフォンにて取得される音声を認識するステップと、
各チャネルにおける音声パワーを時間軸上で比較してチャネルごとの発話区間を特定するステップと、
各チャネルの音声認識の結果に対して特定された発話区間を当てはめ、各チャネルに対応する発話者の発話に対する前記認識データを特定し、当該認識データに発話者の識別情報を付与するステップと
を含むことを特徴とする請求項１３に記載のデータ処理方法。
【請求項１５】
前記テキストを作成するステップで作成されたテキストを編集するステップと、
編集されたテキスト中の文字列と編集前の文字列とに対して、ダイナミックプログラミングによりマッチングを行って両文字列の対応関係を推定し、推定結果に基づいて、当該編集された文字列と前記音声データとの対応付けを行うステップと
をさらに含むことを特徴とする請求項１３に記載のデータ処理方法。
【請求項１６】
コンピュータによるデータ処理方法であって、
前記コンピュータが、文字列および当該文字列と音声データとの対応関係を記述した対応データを入力し、当該文字列を編集するステップと、
前記コンピュータが、編集された前記文字列と編集前の文字列とに対して、ダイナミックプログラミングによりマッチングを行って両文字列の対応関係を推定し、推定結果に基づいて、当該編集された文字列と前記音声データとの対応付けを行うステップと
を含むことを特徴とするデータ処理方法。
【請求項１７】
前記文字列と音声データとの対応付けを行うステップでは、前記文字列の編集における文字の置換、挿入、削除の操作に対して、編集前後の文字列パターンの間の差異を評価するための距離尺度を定義してマッチングを行うことを特徴とする請求項１６に記載のデータ処理方法。
【請求項１８】
前記文字列と音声データとの対応付けを行うステップでは、前記文字列の編集における編集前後の文字列中に、対応関係のない文字の存在を許すような局所パス制限を用いてマッチングを行うことを特徴とする請求項１６に記載のデータ処理方法。
【請求項１９】
コンピュータを、
マイクロフォンにて取得された音声データに対して、発話区間を特定し、各発話区間の音声認識を行い、得られた発話区間ごとの認識データの文字列と音声データとを発話時刻の情報により対応付ける音声認識処理手段と、
得られた発話区間ごとの前記認識データからテキストを作成するテキスト作成手段と、
作成された前記テキストを表示出力する出力制御手段として
機能させることを特徴とするプログラム。
【請求項２０】
前記出力制御手段の機能として、前記コンピュータに、前記発話区間を単位として指定された前記テキストの前記認識データに対応する前記音声データを再生させることを特徴とする請求項１９に記載のプログラム。
【請求項２１】
前記音声認識処理手段の機能として、前記コンピュータに、複数の前記マイクロフォンにて取得される音声をチャネルごとに処理し、各チャネルの認識データに対して当該チャネルに対応付けられる発話者を識別する識別情報を付与させ、
前記出力制御手段の機能として、前記コンピュータに、前記テキスト中から前記識別情報にて特定される同一発話者の前記認識データを検索し、検索された当該認識データに対応する前記音声データを再生させることを特徴とする請求項１９に記載のプログラム。
【請求項２２】
前記出力制御手段の機能として、前記コンピュータに、前記テキスト中から特定の語句を含む前記認識データを検索し、検索された当該認識データに対応する前記音声データを再生させることを特徴とする請求項１９に記載のプログラム。
【請求項２３】
前記テキスト作成手段の機能により作成された前記テキストを編集するテキスト編集手段と、
編集されたテキスト中の文字列と編集前の文字列とに対して、ダイナミックプログラミングによりマッチングを行って両文字列の対応関係を推定し、推定結果に基づいて、当該編集された文字列と前記音声データとの対応付けを行う音声対応推定として、
前記コンピュータをさらに機能させることを特徴とする請求項１９に記載のプログラム。
【請求項２４】
請求項１３から請求項１８のいずれかに記載の方法における各ステップに対応する処理を、コンピュータに実行させるプログラム。
【請求項２５】
請求項１９から請求項２４のいずれかに記載のプログラムを、コンピュータが読み取り可能に記録した記録媒体。
【請求項２６】
裁判の参加者に対して個別に用意された複数のマイクロフォンと、
前記複数のマイクロフォンにて取得された音声をチャネルごとに音声認識し、各チャネルにおける音声パワーを時間軸上で比較することによりチャネルごとの発話区間を特定することにより、各チャネルに対応する発話者の発話区間ごとの認識データを特定し、当該認識データに発話者の識別情報を付与し、かつ認識データの文字列と音声データとを発話時刻の情報により対応付ける音声認識処理手段と、
前記音声認識処理部の処理により得られた各発話者の発話区間ごとの前記認識データを発話時刻に基づいてソートして電子調書を作成し表示出力し、かつ当該発話区間を単位として指定された前記電子調書の前記認識データに対応する前記音声データを再生する出力手段と
を備えることを特徴とする電子調書作成システム。
【請求項２７】
作成された前記電子調書を編集する編集手段と、
前記編集手段による編集前後のテキストに対して、ダイナミックプログラミングによりマッチングを行って両テキストの対応関係を推定し、推定結果に基づいて、編集前のテキストにおける前記認識データの文字列が対応付けられている前記音声データと編集後のテキストとを対応付ける音声対応推定手段とをさらに備え、
前記出力手段は、前記編集手段にて編集された電子調書を表示出力することを特徴とする請求項２６に記載の電子調書作成システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、音声認識システムに関し、特に裁判や会議のような特殊な状況で収録された音声を認識し、文書を作成するシステムおよびその方法に関する。
【背景技術】
【０００２】
音声認識技術の進歩と精度向上に伴って、その適用分野は大きく広がりつつあり、ディクテーション（口述筆記）によるビジネス文書の作成、医療所見、法律文書の作成、テレビ放送の字幕作成などに利用され始めている。また、裁判や会議等において、その進行を録音しておき、テキストに書き起こすことによって調書や議事録を作成するために、音声認識を用いたテキスト化技術を導入することが考えられている。
【０００３】
従来、この種の音声認識を用いたテキスト化技術としては、マルチチャネルで録音された音声をチャネルごとに認識し、チャネル（すなわち話者）ＩＤを付けて時間に沿って管理し、表示させるもの（例えば、非特許文献１参照）や、音声認識して得られたテキストに関して、テキストの全てを元の音と対応付けて、テキストを指定することで対応音声を再生できるようにするもの（例えば、非特許文献２参照）などがあった。
【０００４】
【非特許文献１】“音声認識による「書き起こしシステム」のご紹介”、[online]、株式会社アドバンスト・メディア、[平成１５年１１月２５日検索]、インターネット＜url: http://www.advanced-media.co.jp/event/news/AmiVoice_Rewriter.pdf＞
【非特許文献２】E. W. Brown 他、“Toward speech as knowledge resources”、IBM Sys. Journal、Vol. 40、No. 4、２００１年、ｐ. 985-1001、インターネット＜url: http://www.research.ibm.com/journal/sj/404/brown.pdf＞
【発明の開示】
【発明が解決しようとする課題】
【０００５】
上述したように、発話された音声をテキストに書き起こすために音声認識技術が利用されているが、内容の検討や検証等の種々の理由により、元の音声を再生して書き起こされたテキストと比較することが行われる場合がある。上述した従来技術は、このような場合に対応するため、作成されたテキストと元の音声とを対応付けて管理する機能を持つ。
しかし、裁判における調書や会議の議事録を作成するために音声からテキストへの書き起こしを行う場合、裁判や会議での発話は自由発話となるので、書き言葉や原稿を読み上げる朗読発話と異なり、書き起こされたテキストは話し言葉で、かつ言い直しや繰り返し等を多く含む読みにくいものとなってしまう。したがって、この種のテキストの書き起こしを行った場合は、作成されたテキストを読み易いものに修正することが必要である。
【０００６】
その一方で、修正後のテキストを読む際にも、発話者の心的態度を推し量るために元の発話音声を聞き直したいという場合が考えられ、この用途のためには、修正後のテキストが、発話者ごと等の適当な単位で元の音声と対応付けられていることが好ましい。
非特許文献１、２等の従来技術は、上述したように、音声認識を経て作成されたテキストと元の音声とを対応付けて管理する機能を有するが、この機能は、内容の検討や検証のために音声を再生して聞き直すことを目的としており、修正されたテキストと元の音声との対応を取ることは考慮されていない。
【０００７】
また、裁判や会議における発話には、次のような特徴がある。
・質疑応答が対話の大部分を占め、質問者と回答者が逐次入れ替わることはない。
・やじなどの突発的なものを除けば、同時に発話するのは一人であり、音声が重なることがまれである。
・質問者の順序が決まっており、複数の相手に同時に質問することはほとんどない。そのため、同一トピックに関する回答が音声データの様々な部分に散在することが多い。
しかしながら上述した従来技術は、様々な発話状況に対して一般的に利用可能とするため、データ管理や出力の手法が、上記のような特殊な状況に適したものではなかった。
【０００８】
そこで本発明は、音声認識によって書き起こされたテキストに対して修正が行われた場合でも、修正後のテキストと元の音声との間に適当な対応付けを行うことが可能なデータ処理方法およびこれを用いたシステムを提供することを目的とする。
また本発明は、裁判や会議といった特殊な状況で取得された音声のテキストへの書き起こしに適したデータ処理方法およびこれを用いたシステムを提供することを、他の目的とする。
【課題を解決するための手段】
【０００９】
上記の目的を達成する本発明は、次のように構成された音声認識システムとして実現される。このシステムは、音声データを取得するためのマイクロフォンと、このマイクロフォンにて取得された音声データに対して、発話区間を特定し、各発話区間の音声認識を行い、得られた発話区間ごとの認識データの文字列と音声データとを発話時刻の情報により対応付ける音声認識処理部と、この音声認識処理部の処理により得られた発話区間ごとの認識データを時刻情報に従ってソートしてテキストを作成するテキスト作成部と、このテキスト作成部にて作成されたテキストを表示出力する出力制御部とを備えることを特徴とする。また、出力制御部は、発話区間を単位として指定されたテキストの認識データに対応する音声データを再生する。
【００１０】
ここで、より好ましくは、マイクロフォンを、発話者の数に応じて複数用意し、音声認識処理部は、複数のマイクロフォンにて取得される音声をチャネルごとに処理し、各チャネルの認識データに対してチャネルに対応付けられる発話者を識別する識別情報を付与する。そして、出力制御部は、テキスト中から識別情報にて特定される同一発話者の認識データを検索し、検索された認識データに対応する音声データを再生する。
また、出力制御部は、テキスト中から特定の語句を含む認識データを検索し、検索された認識データに対応する音声データを再生する。
【００１１】
さらに、上記の音声認識システムは、テキスト作成部にて作成されたテキストを編集するテキスト編集部と、このテキスト編集部にて編集されたテキスト中の文字列と音声データとの対応付けを行う音声対応推定部とをさらに備える構成とすることができる。この構成において、出力制御部は、テキスト編集部にて編集されたテキストを表示出力する。
また、音声対応推定部は、テキスト編集部による編集前後のテキストに対して、ダイナミックプログラミングによりマッチングを行って両テキストの対応関係を推定し、推定結果に基づいて、編集前のテキストにおける認識データの文字列が対応付けられている音声データと編集後のテキストとを対応付ける。
【００１２】
より詳しくは、音声対応推定部は、テキスト編集部による文字の置換、挿入、削除の操作に対して、編集前後の文字列パターンの間の差異を評価するための距離尺度を定義してマッチングを行う。また、編集手段による編集前後の文字列中に、対応関係のない文字の存在を許すような局所パス制限を用いてマッチングを行う。
以上のように構成された本発明の音声認識システムは、例えば裁判において、裁判官、検察官、弁護人、被告人といった参加者に対して個別に用意されたマイクロフォンからチャネル別に収録された発話音声を認識して電子調書を作成する電子調書作成システムとして用いることができる。
【００１３】
また、上記の目的を達成する他の本発明は、コンピュータを用いて音声データを処理する、次のようなデータ処理方法としても実現される。すなわち、このデータ処理方法は、音声入力手段にて取得された音声データに対して、発話区間を特定し、各発話区間の音声認識を行うステップと、得られた発話区間ごとの認識データの文字列と音声データとを発話時刻の情報により対応付けるステップと、得られた発話区間ごとの認識データを時刻情報に従ってソートしてテキストを作成するステップとを含むことを特徴とする。
より詳細には、音声認識を行うステップは、発話者の数に応じて用意された複数のマイクロフォンにて取得される音声を認識するステップと、各チャネルにおける音声パワーを時間軸上で比較してチャネルごとの発話区間を特定するステップと、各チャネルの音声認識の結果に対して特定された発話区間を当てはめ、各チャネルに対応する発話者の発話に対する認識データを特定し、この認識データに発話者の識別情報を付与するステップとを含む。
【００１４】
さらに、このデータ処理方法において、テキストを作成するステップで作成されたテキストを編集するステップと、編集されたテキスト中の文字列と編集前の文字列とに対して、ダイナミックプログラミングによりマッチングを行って両文字列の対応関係を推定し、推定結果に基づいて、編集された文字列と音声データとの対応付けを行うステップとをさらに含む構成とすることができる。
【００１５】
また本発明は、コンピュータを制御して上記の音声認識システムにおける各機能を実現させるプログラム、あるいは上記のデータ処理方法における各ステップに対応する処理を実行させるプログラムとしても実現される。このプログラムは、磁気ディスクや光ディスク、半導体メモリ、その他の記録媒体に格納して配布したり、ネットワークを介して配信したりすることにより、提供することができる。
【発明の効果】
【００１６】
以上のように構成された本発明によれば、収録された音声に対して音声認識を行い、所定のフォームに従った文書（テキスト）を出力するため、裁判や会議といった特殊な状況で取得された音声のテキストへの書き起こしに適したデータ処理方法およびシステムを実現し提供することができる。
また、本発明によれば、音声認識によって書き起こされたテキストに対して任意の修正が行われた場合でも、修正後のテキストと元の音声との間に適切な対応付けを行うことができる。
【発明を実施するための最良の形態】
【００１７】
以下、添付図面を参照して、本発明を実施するための最良の形態（以下、実施形態）について詳細に説明する。
図１は、本実施形態による音声認識システムの全体構成を示す図である。
図１を参照すると、本実施形態のシステムは、音声を収録するための単数または複数のマイクロフォン１０及びミキサ２０と、これらによって取得された音声データを処理するデータ処理装置３０とを備えて構成される。
【００１８】
マイクロフォン１０及びミキサ２０は、任意の構成とすることができるが、本実施形態では、裁判や会議等の特殊な状況で音声を収録することを前提としているため、これに応じた構成とすることが好ましい。本実施形態のシステムが音声の収録環境として前提とする状況は、具体的には次のような特徴を有する。
・質疑応答が対話の大部分を占め、質問者と回答者が逐次入れ替わることはない。
・突発的かつ例外的な音声を除けば、同時に発話するのは一人であり、音声が重なることがまれである。
・質問者の順序が決まっており、複数の相手に同時に質問することはほとんどない。そのため、同一トピックに関する回答が音声データの様々な部分に散在することが多い。
【００１９】
そこで、本実施形態は、好ましくは発話者ごとにマイクロフォン１０を用意して、チャネルごとに発話者を特定する。例えば裁判において、裁判官、検察官、弁護人、証人に対してそれぞれ個別のマイクロフォン１０を使用させ、各マイクロフォン１０にて取得された音声の発話者を特定する。なお、対話において質問者と回答者のように役割が決まっているものの、その役割に該当する人が変わることがある場合（複数の質問者が順番に質問する場合や反対に複数の回答者が順番に解答する場合など）は、役割ごとにマイクロフォン１０を設けて、チャネルごとに発話者の役割を特定するようにしても良い。例えば会議において、発言席が決まっている場合は、その発言席と議長席にマイクロフォン１０が設置されていれば足りる。以下の説明では、複数の発話者に対して各々専用のマイクロフォン１０を用意して、チャネルごとに各発話者の音声を収録することとする。
ミキサ２０は、マイクロフォン１０にて取得された音声をミキシングしてデータ処理装置３０に送る。
【００２０】
データ処理装置３０は、マイクロフォン１０及びミキサ２０にて取得された音声データに対して音声認識処理を行い、テキストの書き起こしを行って、作成されたテキストの表示出力を行う。また、収録された音声データの再生を行う。
図２は、本実施形態のデータ処理装置３０を実現するのに好適なコンピュータ装置のハードウェア構成の例を模式的に示した図である。
図２に示すコンピュータ装置は、演算手段であるＣＰＵ（Central Processing Unit：中央処理装置）１０１と、Ｍ／Ｂ（マザーボード）チップセット１０２およびＣＰＵバスを介してＣＰＵ１０１に接続されたメインメモリ１０３と、同じくＭ／Ｂチップセット１０２およびＡＧＰ（Accelerated Graphics Port）を介してＣＰＵ１０１に接続されたビデオカード１０４と、ＰＣＩ（Peripheral Component Interconnect）バスを介してＭ／Ｂチップセット１０２に接続された磁気ディスク装置（ＨＤＤ）１０５、ネットワークインターフェイス１０６と、さらにこのＰＣＩバスからブリッジ回路１０７およびＩＳＡ（Industry Standard Architecture）バスなどの低速なバスを介してＭ／Ｂチップセット１０２に接続されたフレキシブルディスクドライブ１０８およびキーボード／マウス１０９と、ミキサ２０からの入力を受け付ける音声入力インターフェイス１１０と、スピーカやＤＡ（Digital-to-Analog）コンバータからなる音声出力機構１１１とを備える。
【００２１】
なお、図２は本実施形態を実現するコンピュータ装置のハードウェア構成を例示するに過ぎず、本実施形態を適用可能であれば、他の種々の構成を取ることができる。例えば、ビデオカード１０４を設ける代わりに、ビデオメモリのみを搭載し、ＣＰＵ１０１にてイメージデータを処理する構成としても良いし、外部記憶装置として、ＡＴＡ（AT Attachment）やＳＣＳＩ（Small Computer System Interface）などのインターフェイスを介してＣＤ−Ｒ（Compact Disc Recordable）やＤＶＤ−ＲＡＭ（Digital Versatile Disc Random Access Memory）のドライブを設けても良い。
音声入力インターフェイス１１０は、実際にはミキサ２０との間の接続仕様に応じて、ＵＳＢ（Universal Serial Bus）やライン・イン等のインターフェイスにて構成される。さらに、ここではデータ処理装置３０を実現するハードウェアとして図２のコンピュータ装置を説明したが、ミキサ２０の機能を有するハードウェアを搭載したり、ソフトウェアにてミキサ２０の機能を実現し、マイクロフォン１０にて取得された音声信号を直接入力する構成とすることもできる。また、本実施形態が使用される環境によっては、マイクロフォン１０を当該コンピュータ装置の内蔵マイクロフォンにて構成することもできる。
【００２２】
図１に示すように、本実施形態のデータ処理装置３０は、収録された音声データを格納する音声データ格納部３１と、音声認識を行ってテキストの書き起こしを行う機能として、音声認識処理部３２と、テキスト作成部３３と、出力制御部３４とを備えると共に、テキストの編集作業を行うためのテキスト編集部３５と、収録された音声データとテキストとの対応を推定する音声対応推定部３６とを備える。本実施形態において、音声認識を行ってテキストを書き起こし出力するプロセスと、テキストの編集および編集されたテキストと音声データとの対応を推定するプロセスとは独立したプロセスである。したがって、音声認識処理部３２、テキスト作成部３３及び出力制御部３４と、テキスト編集部３５および音声対応推定部３６とを別個のハードウェアにて実現しても良いし、本実施形態が適用される状況によっては、音声認識処理部３２、テキスト作成部３３及び出力制御部３４のみの構成とすることもできる。
【００２３】
音声データ格納部３１は、例えば図２に示したコンピュータ装置のメインメモリ１０３や磁気ディスク装置１０５にて実現され、マイクロフォン１０にて取得した音声信号をミキサ２０および音声入力インターフェイス１１０を介して入力し、ＡＤ（Analog -to- Digital）変換された音声データ（例えばＰＣＭ（Pulse Code Modulation）データ）を保存する。
【００２４】
音声認識処理部３２は、例えば図２に示したコンピュータ装置のプログラム制御されたＣＰＵ１０１にて実現され、音声データ格納部３１に格納されている音声データを読み出して音声認識処理を行う。音声認識の手法としては既存の音響処理および言語復号の手法を適用することができるが、本実施形態では、裁判や会議等の特殊な状況で音声を収録することを前提としており、この音声収録環境の特殊性を利用して発話者や発話のターンを特定し、また音声認識の結果に対する加工処理を行う。
【００２５】
すなわち、上述した本実施形態が対象とする音声収録環境の「質疑応答が対話の大部分を占め、質問者と回答者が逐次入れ替わることはない」、「突発的かつ例外的な音声を除けば、同時に発話するのは一人であり、音声が重なることがまれである」という特徴は、発話者の識別が容易であり、発話のターンが明確であることを意味している。そこで、音声認識処理部３２は、まず音声データ格納部３１から音声データを読み出し、チャネルごとに音声認識を行う。また、各チャネルの音声パワーを時間軸上で比較してチャネルごとの発話区間を特定する。各チャネルの音声データには他のチャネルに対応する発話者の発話が混入されているため、発話区間を特定するためには、各チャネルの音声パワーを比較することで、どのチャネルの発話者が発話しているのかを識別することが必要である。
【００２６】
この後、音声認識処理部３２は、得られた発話区間を各チャネルの音声認識結果に当てはめて、チャネルごとの（すなわち発話者別の）発話区間における認識結果のデータ（以下、認識データ）を得る。そして、この発話区間ごとの認識データに対して、チャネルによって特定される発話者の識別情報（以下、発話者ＩＤ）と、発話区間を特定する時刻情報（以下、時刻インデックス）とを付与し、対話のターン単位で整理する。したがって、１つのターンには、１人の発話者による連続的な発話音声の認識データが含まれることとなる。なお、発話者ＩＤは、当該発話者の音声を入力したマイクロフォン１０の識別情報（マイクロフォン番号）とすることもできる。また、時刻インデックスは、例えば各発話区間の最初の時刻とすることができる。
なお、発話区間ごとの認識データを得るためには、上記のようにチャネルごとに音声認識を行い、音声データのパワーの比較から得られる発話区間に当てはめる他、先に各チャネルの音声データのパワーの比較からチャネルごとの発話区間を特定しておき、その発話区間の音声データに対して音声認識を実行することもできる。
【００２７】
図３は、ターン単位で格納される認識データのデータ構造を示す図である。
図３に示すように、認識データは、発話者ＩＤと、収録された音声データにおけるターン全体の開始時刻および終了時刻と、当該ターンにおける認識結果である文字列と、当該文字列における単語ごとの音声データの開始時刻および終了時刻とからなる。例えば図３において、ターン１は、発話者ＩＤ「弁護士」、ターンの開始時刻２００ｍｓ（ミリ秒）、ターンの終了時刻３８００ｍｓであり、発話中の文言「証人」に関して開始時刻２００ｍｓ、終了時刻６３０ｍｓというように記録されている。すなわち、認識データは、音声認識によって得られた文字列を示すデータであると共に、その文字列と音声データとの対応関係を示すデータである。
認識結果の文字列に対して、単語ごとのような細かい単位で収録された音声データのタイムフレームから得られる時刻情報（開始時刻および終了時刻）を付与して、音声データと対応付けておくことにより、ターンにおける任意の箇所に対して対応する音声を直ちに特定することができる。なお、図３に示すターン全体の開始時刻を上述した時刻インデックスとして用いることができる。
以上のようにして作成された認識データは、図２に示したメインメモリ１０３や磁気ディスク装置１０５等の記憶手段に格納されて保持される。
【００２８】
テキスト作成部３３は、例えば図２に示したコンピュータ装置のプログラム制御されたＣＰＵ１０１にて実現され、音声認識処理部３２による認識データを、時刻インデックスに基づいてソートし、一定のフォーマットのテキストを作成する。このテキストは、例えば裁判における調書や会議における議事録の、いわゆる１次書き起こしの文書として用いられる。また、作成されたテキストは、図２に示したメインメモリ１０３や磁気ディスク装置１０５等の記憶手段に格納されて保持される。
【００２９】
出力制御部３４は、例えば図２に示したコンピュータ装置のプログラム制御されたＣＰＵ１０１にて実現され、ビデオカード１０４を介してディスプレイ装置にテキスト作成部３３で作成されたテキストを表示し、音声出力機構１１１を制御して音声データ格納部３１に格納されている音声データを再生する。
図４は、出力制御部３４によってディスプレイ装置に表示されるテキスト表示画面の例を示す図である。ここでは、裁判における調書のテキストを表示するものとする。
図４を参照すると、テキストは、ターンごとに区分けされて番号が付され、各ターンに関して、時刻インデックス、発話者ＩＤ、発話内容である認識データの文字列が表示されている。上述したように、１つのターンには１人の話者による発話音声の認識データが含まれるので、ターンごとに弁護士と証人の発言がほぼ交互に繰り返されている。
【００３０】
また、ディスプレイ装置に表示されたテキストは、音声データに対するインデックスの役割を持つ。すなわち、上述したように認識データの文字列は時刻情報によって音声データに対応付けられているので、任意のターンを指定すると、当該ターンの認識データに対応する音声データを特定することができる。そこで、所定のターンが指定され、キーボード等の入力手段から音声再生指示が入力された場合に、出力制御部３４は、指定されたターンに対応する音声データを音声データ格納部３１から読み出して再生し、図２に示した音声出力機構１１１を介して出力する。さらに図３に示したように、ターンごとの認識データにおいて、単語ごとに音声データへの対応付けが行われているので、例えば図４のターン１の発話中で「現在の勤務先」という部分のみを指定し、この部分に対応する音声を再生させることも可能である。
【００３１】
また、本実施形態が対象とする裁判や会議といった特殊な音声収録環境における「質問者と回答者が逐次入れ替わることはない」、「質問者の順序が決まっており、複数の相手に同時に質問することはほとんどない」、「同一トピックに関する回答が音声データの様々な部分に散在することが多い」という特徴に鑑み、出力制御部３４は、関連する複数のターンをまとめて表示したり、そのような関連するターンに対応する音声データを連続して再生したりする機能を持つ。
例えば、質問者と回答者とが交互に現れ、その立場が入れ替わることがないため、同一の発話者ＩＤを持つターンが連続する場合は、音声認識の際に音声が途切れたために別個のターンとして認識されたものの、実際の発話では連続したものであると考えることができる。そこで、同一の発話者ＩＤを持つ連続するターンに関しては、まとめて扱うことができるものとし、連続的に音声を再生する。
また、同一トピックに関する回答が音声データの様々な部分に散在することが多いため、特定のトピックに強く関係するキーワードを含むターンは、当該トピックに関する発話であると考えることができる。そこで、キーボード等の入力デバイスからキーワードの入力を受け付け、当該キーワードを含むターンを集めてまとめて表示したり、連続して音声を再生したりする。
さらに、連続しているか否かにかかわらず、テキスト全体から特定の発話者ＩＤを持つターンを集めてまとめて表示したり、連続して音声を再生したりすることにより、裁判や会議における特定の発話者の全ての発話を検討することが可能となる。
【００３２】
さて、ここまでの段階でディスプレイ装置に表示されたテキストは、収録された音声に対して機械的に音声認識処理を施し、ターンごとに認識データを加工して得られたものである。したがって、テキストには、音声認識の誤りが含まれている可能性がある。図４の例では、例えばターン１５の弁護士の質問に対するターン１６の証人の発話内容（認識データ）は「配しております。」となっているが、これは「はい、しております」の誤りである。また、このような誤り以外にも、自由発話を音声認識して得られたテキストは、話し言葉で、かつ言い直しや繰り返し等を多く含むため、読み易いものとは言えない。そこで、テキストを修正して調書や議事録として有用な読み易いものにする必要がある。
【００３３】
テキスト編集部３５は、例えば図２に示したコンピュータ装置のプログラム制御されたＣＰＵ１０１にて実現され、ユーザの操作に従って、テキスト作成部３３にて作成されたテキストを編集する。このテキストの編集機能は、既存のテキストエディタやワードプロセッサにて提供することができる。ユーザは、キーボード等の入力手段を操作し、テキスト編集部３５の編集機能を用いて、認識データの文字列の誤りを修正したり、言い直しや繰り返しにおける不要な語句を削除したり、意味を取る上で不足している語句を補ったりすることができる。編集されたテキストは、図２に示したメインメモリ１０３や磁気ディスク装置１０５等の記憶手段に格納されて保持される。
【００３４】
音声対応推定部３６は、例えば図２に示したコンピュータ装置のプログラム制御されたＣＰＵ１０１にて実現され、テキスト編集部３５によってテキストの編集が行われた場合に、編集後のテキストの文字列と音声データとの対応付けを行う。音声認識処理部３２によって音声データから直接得られた認識データは、上述したように、その文字列を単語ごとに音声データと対応付けることができる。しかし、テキスト編集部３５によって編集されたテキストの文字列は、音声データ中に存在する単語が失われていたり、反対に音声データにはない単語が含まれていたりするため、そのままでは音声データと対応付けることができない。そこで、音声対応推定部３６により、編集後のテキストと認識データ（もしくは編集前のテキスト）との対応関係を推定することにより、編集後のテキストの文字列と音声データとを対応付ける。
【００３５】
音声対応推定部３６による編集後のテキストと認識データとの対応関係の推定は、ダイナミックプログラミング（以下、ＤＰと略す）のマッチング手法を用いて行う。
図５は、ＤＰマッチングによる認識データと編集後テキストとの対応関係の推定を説明する図である。
本実施形態が対象とする裁判等の特殊な状況では、上述したように発話のターンが明確であり、質問と回答の順序がずれることがほとんどない。したがって、大幅なテキストの修正を行ったとしても、概ねターンの時間情報は継承できると考えられる。そこで、本実施形態では、ターンごとに、認識データの文字列と編集後テキストの文字列とに対して、始端・終端フリーＤＰマッチングを実施する。ＤＰマッチングを行うために、テキストの編集における文字の置換、挿入、削除に対して、編集前後の文字列パターンの間の差異を評価する尺度としての距離尺度を定義する。この距離としては認識誤りの傾向を反映させることもできるが、ここでは単純にそれぞれの値を１とする。
【００３６】
また、連続する複数の文字列を削除したり挿入したりする編集を許可するため、図５に示すように、対応関係のない文字（編集前の文字列に存在し編集後の文字列に存在しない文字や、反対に編集前の文字列に存在せず編集後の文字列にのみ存在する文字）の存在を許す局所パス制限（一点鎖線の円で囲まれた範囲に記載されている３方向の矢印を参照）を採用する。この、局所パス上の距離計算は、次の数１式のようになる。
【数１】
2005165066.tif 000003
ここで、ｄ(i, j)は、座標(i, j)における文字の挿入、削除、置換に対応するマッチング経路上の距離であり、ｇ(i, j)は、その座標に至るまでの最小累積距離を表している。この最小累積距離をターンの始端点から終端点まで順次求めれば、終端点におけるｇ(I, J)として、この両者間における最適マッチングパス上の最小累積距離が求まる。また、最適マッチングパスの推定のためには、各局所パスの選択の際にバックポインターを設けて記憶しておき、終端点から始端点方向にこのバックポインターをたどれば良い。
【００３７】
図６は、以上のようにして対応付けられた編集後のテキストにおける文字列と音声データとの関係を示す図である。
図６に示すように、編集後テキストの文字列は、それぞれ当該ターンの認識データ（編集前のテキスト）の文字列との対応関係が推定されており、ここから直ちに該当する音声に対応付けることができる。これらの対応関係を示す情報は、例えば編集後のテキストに対して付加データとして付加され、図２に示したメインメモリ１０３や磁気ディスク装置１０５等の記憶手段に格納されて保持される。
【００３８】
なお、テキスト編集部３５によるテキストの編集において、発話の前後関係を逆転させるような大きな修正が行われた場合、ＤＰマッチングでは正確な対応関係を推定することはできない。そこで、ＤＰマッチングにおける累積距離が一定値を越えるようなターンに関して音声の再生を行う場合は、局所的な音声再生を行わず、ターン単位で発話音声を全て再生することとする。
また、ＤＰマッチングで対応関係が得られなかった部分（例えば、図６の認識データにおける「いえ」、「そうだったですね」、「確か」などの部分）は、これらの範囲を直接指定して再生することはできないが、この範囲を挟む前後の文字列が指定されて音声の再生が指示された場合は、この部分の音声をスキップせずに再生することとする。
これらによって、編集されたテキストに基づいて音声データを再生する場合に、聞き落としを防止することができる。
【００３９】
図７は、上記のように構成された本実施形態の音声認識システムを裁判における調書の作成に用いた場合の全体的な処理の流れを説明するフローチャートである。
図７に示すように、まず、裁判官、検察官、弁護人、証人といった発話者ごとに個別にマイクロフォン１０が提供され、これらのマイクロフォン１０によって各発話者の発話音声が別チャネルに収録される（ステップ７０１）。収録音声はＡＤ変換されて音声データ格納部３１に格納される。
【００４０】
次に、音声認識処理部３２により、音声データに対する音声認識が行われ、発話者ごと（チャネルごと）、発話区間ごとに認識データが作成される（ステップ７０２）。作成された認識データは、そして、テキスト作成部３３により、発話のターンごとに整理されたテキストが作成され、一次書き起こしの調書として出力制御部３４によってディスプレイ装置に表示される（ステップ７０３）。
ここまでのステップは、本実施形態のシステムによって機械的に実行されるので、裁判官席等にディスプレイ装置が設置されていれば、裁判の進行に合わせてリアルタイムに一次書き起こしの調書を作成し表示していくことが可能である。裁判官等の裁判の参加者は、この一次書き起こしの調書に対して、上述した出力制御部３４の機能を利用し、所望のキーワードを含むターンや特定の証人の発話内容をまとめて表示させて、閲覧することができる。したがって、この用途でのみ本実施形態の音声認識システムを利用する場合は、テキスト編集部３５や音声対応推定部３６を含まないシステム構成とすることも可能である。
【００４１】
一方、上記のようにして作成された一次書き起こしの調書を修正して最終的な調書を作成する際には、まず、テキスト作成部３３にて作成された一次書き起こしの調書のテキストが、出力制御部３４により所定の記憶手段から読み出され、ディスプレイ装置に表示される（ステップ７０３）。調書を作成する書記官は、必要に応じて、この一次書き起こしの調書における文字列を編集する（ステップ７０４）。この編集を行う際に、書記官は、上述した出力制御部３４の機能を利用し、所望するターンの音声データを再生して聞くことができる。
【００４２】
一次書き起こしの調書の文字列が編集された後、音声対応推定部３６により、編集後の文字列と音声データとの対応付けが行われる（ステップ７０５）。この対応付けは、ユーザである書記官の明示的なコマンド入力によって実行しても良いし、編集後のテキスト更新時などにバッチ処理にて自動実行しても良い。また、文字列の修正がなされたターンごとに個別に実行しても良いし、テキスト全体に対してまとめて実行しても良い。
【００４３】
以上のようにして作成された最終的な調書のテキストは、所定の記録装置に格納して保持され、必要に応じて、出力制御部３４により所定の記憶手段から読み出され、ディスプレイ装置に表示される。裁判官等の裁判の参加者は、上述した一次書き起こしの調書の場合と同様に、この調書に対して、所望のキーワードを含むターンや特定の証人の発話内容をまとめて表示させ、閲覧することができる。また、調書における編集された文字列に対しても音声データが対応付けられているので、所望するターンの音声データを再生して聞くことができる。これにより、調書を読む上で、収録音声を聞き直すことにより、発話者の心的態度を推測するといったことが可能となる。
【図面の簡単な説明】
【００４４】
【図１】本実施形態による音声認識システムの全体構成を示す図である。
【図２】本実施形態のデータ処理装置を実現するのに好適なコンピュータ装置のハードウェア構成の例を模式的に示した図である。
【図３】本実施形態においてターン単位で格納される認識データのデータ構造を示す図である。
【図４】本実施形態の出力制御部によってディスプレイ装置に表示されるテキスト表示画面の例を示す図である。
【図５】ＤＰマッチングによる認識データと編集後テキストとの対応関係の推定を説明する図である。
【図６】本実施形態による編集後のテキストにおける文字列と音声データとの関係を示す図である。
【図７】本実施形態の音声認識システムを裁判における調書の作成に用いた場合の全体的な処理の流れを説明するフローチャートである。
【符号の説明】
【００４５】
１０…マイクロフォン、２０…ミキサ、３０…データ処理装置、３１…音声データ格納部、３２…音声認識処理部、３３…テキスト作成部、３４…出力制御部、３５…テキスト編集部、３６…音声対応推定部、１０１…ＣＰＵ（Central Processing Unit：中央処理装置）、１０３…メインメモリ、１０４…ビデオカード、１０５…磁気ディスク装置（ＨＤＤ）、１０６…ネットワークインターフェイス、１０９…キーボード／マウス、１１０…音声入力インターフェイス、１１１…音声出力機構
【図１】
2005165066.tif 000004
【図２】
2005165066.tif 000005
【図３】
2005165066.tif 000006
【図４】
2005165066.tif 000007
【図５】
2005165066.tif 000008
【図６】
2005165066.tif 000009
【図７】
2005165066.tif 000010