(57)【特許請求の範囲】
【請求項１】
音声信号を取得する収音部と、
前記音声信号を音声認識して、単語ごとに信頼度が付与された音声認識結果を複数含む音声認識結果集合を前記収音部毎、発話毎に取得する音声認識部と、
前記音声認識結果集合と、対応する収音部の識別子であるマイクＩＤと、対応する発話の発話開始時刻とを紐づけて所定の記憶領域に記憶し、要求信号を受信した場合に、前記要求信号により指定されたマイクＩＤに対応し、かつ発話開始時刻が所定の条件を充たす音声認識結果集合を送信する認識結果集約部と、
前記要求信号を送信し、前記音声認識結果集合を受信した場合に、当該音声認識結果集合における各音声認識結果に含まれる各単語の信頼度が所定の条件を充たす単語を所定の文字列に変換する処理、前記信頼度が所定の条件を充たす単語を編集可能な状態に予め設定する処理、前記信頼度が所定の条件を充たす単語を編集可能とするための短縮操作を割り当てる処理のうち一つ以上の処理を実行し、前記音声認識結果集合に含まれる音声認識結果の全部または一部を表示し、校正者によって一つの発話につき一つずつ選択されて修正された音声認識結果と、次回の要求信号を前記認識結果集約部に送信する認識結果修正部と、を含み、
前記認識結果集約部は、
所定の期間内に修正済みの音声認識結果を受信した場合に、受信した修正済みの音声認識結果を出力し、所定の期間内に修正済みの音声認識結果を受信しない場合に、対応する音声認識結果集合を破棄する処理、対応する音声認識結果集合内の何れかの音声認識結果を出力する処理のうち、一つ以上の処理を実行する
音声認識結果編集装置。
【請求項２】
音声信号を取得する収音部と、
前記音声信号を音声認識して、単語ごとに信頼度が付与された音声認識結果を複数含む音声認識結果集合を前記収音部毎、発話毎に取得する音声認識部と、
前記音声認識結果集合と、対応する収音部の識別子であるマイクＩＤと、対応する発話の発話開始時刻とを紐づけて所定の記憶領域に記憶し、要求信号を受信した場合に、前記要求信号により指定されたマイクＩＤに対応し、かつ発話開始時刻が所定の条件を充たす音声認識結果集合を送信する認識結果集約部と、
値αは値βよりも小さいものとし、前記要求信号を送信し、前記音声認識結果集合を受信した場合に、当該音声認識結果集合における各音声認識結果に含まれる各単語の信頼度が所定の閾値α未満である単語を所定の文字列に変換し、前記信頼度が所定の閾値α以上であって所定の閾値β未満である単語を編集可能とするための短縮操作を割り当て前記音声認識結果集合に含まれる音声認識結果の全部または一部を表示する認識結果修正部と、
を含む音声認識結果編集装置。
【請求項３】
音声信号を取得する収音部を含む音声認識結果編集装置が実行する音声認識結果編集方法であって、
前記音声信号を音声認識して、単語ごとに信頼度が付与された音声認識結果を複数含む音声認識結果集合を前記収音部毎、発話毎に取得するステップと、
前記音声認識結果集合と、対応する収音部の識別子であるマイクＩＤと、対応する発話の発話開始時刻とを紐づけて所定の記憶領域に記憶するステップと、
要求信号を送信するステップと、
前記要求信号を受信した場合に、前記要求信号により指定されたマイクＩＤに対応し、かつ発話開始時刻が所定の条件を充たす音声認識結果集合を送信するステップと、
前記音声認識結果集合を受信した場合に、当該音声認識結果集合における各音声認識結果に含まれる各単語の信頼度が所定の条件を充たす単語を所定の文字列に変換する処理、前記信頼度が所定の条件を充たす単語を編集可能な状態に予め設定する処理、前記信頼度が所定の条件を充たす単語を編集可能とするための短縮操作を割り当てる処理のうち一つ以上の処理を実行し、前記音声認識結果集合に含まれる音声認識結果の全部または一部を表示し、校正者によって一つの発話につき一つずつ選択されて修正された音声認識結果と、次回の要求信号を送信するステップと、
所定の期間内に修正済みの音声認識結果を受信した場合に、受信した修正済みの音声認識結果を出力し、所定の期間内に修正済みの音声認識結果を受信しない場合に、対応する音声認識結果集合を破棄する処理、対応する音声認識結果集合内の何れかの音声認識結果を出力する処理のうち、一つ以上の処理を実行するステップと、
を含む音声認識結果編集方法。
【請求項４】
音声信号を取得する収音部を含む音声認識結果編集装置が実行する音声認識結果編集方法であって、
前記音声信号を音声認識して、単語ごとに信頼度が付与された音声認識結果を複数含む音声認識結果集合を前記収音部毎、発話毎に取得するステップと、
前記音声認識結果集合と、対応する収音部の識別子であるマイクＩＤと、対応する発話の発話開始時刻とを紐づけて所定の記憶領域に記憶するステップと、
要求信号を送信するステップと、
前記要求信号を受信した場合に、前記要求信号により指定されたマイクＩＤに対応し、かつ発話開始時刻が所定の条件を充たす音声認識結果集合を送信するステップと、
値αは値βよりも小さいものとし、前記音声認識結果集合を受信した場合に、当該音声認識結果集合における各音声認識結果に含まれる各単語の信頼度が所定の閾値α未満である単語を所定の文字列に変換し、前記信頼度が所定の閾値α以上であって所定の閾値β未満である単語を編集可能とするための短縮操作を割り当て前記音声認識結果集合に含まれる音声認識結果の全部または一部を表示するステップと、
を含む音声認識結果編集方法。
【請求項５】
コンピュータを請求項１または２に記載の音声認識結果編集装置として機能させるプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、校正者が音声認識結果の編集に用いる音声認識結果編集装置、音声認識結果編集方法、プログラムに関する。
【背景技術】
【０００２】
音声認識の分野において、誤認識を訂正する技術は多数存在する。例えば、発声される内容（セリフなど）が予め原稿データベースに記録されている映像に対して、原稿データベースと音声認識結果とを照合して、音声認識結果に最も類似するテキストを原稿データベースから選択して、これを字幕表示することで、人手による認識誤りの修正作業を必要とせず、リアルタイムに近い速度で、映像に字幕付与を行うことができる技術が知られている（非特許文献１）。また、コンフュージョンネットワークを用いて単語ごとの認識競合候補を呈示し、ユーザに選択させる音声訂正インターフェースが知られている（非特許文献２）。
【先行技術文献】
【非特許文献】
【０００３】
【非特許文献１】著者の記載なし、「ローカル番組への字幕付与技術」、ＮＨＫ技研Ｒ＆Ｄ、ＮＨＫ放送技術研究所、平成26年5月、No.145、p.70
【非特許文献２】緒方淳、後藤真孝「音声訂正：認識誤りを選択操作だけで訂正ができる新たな音声入力インタフェース」、日本ソフトウェア科学会第１２回インタラクティブシステムとソフトウェアに関するワークショップ(WISS2004)論文集、日本ソフトウェア科学会、平成16年12月、p.47-52
【発明の概要】
【発明が解決しようとする課題】
【０００４】
非特許文献１の技術は、予め発話内容をデータベースに記録しておくことができなければ、上記の効果を達成できない。また非特許文献２の技術は、複数の単語を修正する場合に校正者の操作が煩雑になり、リアルタイムに近い速度で音声認識結果を修正することが困難であった。
【０００５】
そこで本発明では、音声認識結果をリアルタイムに近い速度で校正者に編集させる音声認識結果編集装置を提供することを目的とする。
【課題を解決するための手段】
【０００６】
本発明の音声認識結果編集装置は、収音部と、音声認識部と、認識結果集約部と、認識結果修正部を含む。
【０００７】
収音部は、音声信号を取得する。音声認識部は、音声信号を音声認識して、単語ごとに信頼度が付与された音声認識結果を複数含む音声認識結果集合を収音部毎、発話毎に取得する。認識結果集約部は、音声認識結果集合と、対応する収音部の識別子であるマイクＩＤと、対応する発話の発話開始時刻とを紐づけて所定の記憶領域に記憶し、要求信号を受信した場合に、要求信号により指定されたマイクＩＤに対応し、かつ発話開始時刻が所定の条件を充たす音声認識結果集合を送信する。認識結果修正部は、要求信号を送信し、音声認識結果集合を受信した場合に、当該音声認識結果集合における各音声認識結果に含まれる各単語の信頼度が所定の条件を充たす単語を所定の文字列に変換する処理、信頼度が所定の条件を充たす単語を編集可能な状態に予め設定する処理、信頼度が所定の条件を充たす単語を編集可能とするための短縮操作を割り当てる処理のうち一つ以上の処理を実行し、音声認識結果集合に含まれる音声認識結果の全部または一部を表示する。
【発明の効果】
【０００８】
本発明の音声認識結果編集装置によれば、音声認識結果をリアルタイムに近い速度で校正者に編集させることができる。
【図面の簡単な説明】
【０００９】
【図１】実施例１の音声認識結果編集装置の構成を示すブロック図。
【図２】実施例１の音声認識結果編集装置の送信動作を示すフローチャート。
【図３】実施例１の音声認識結果編集装置の出力動作を示すフローチャート。
【図４】実施例１の認識結果集約部の構成を示すブロック図。
【図５】実施例１の認識結果集約部の動作を示すフローチャート。
【図６】実施例１の認識結果修正部の構成を示すブロック図。
【図７】実施例１の認識結果修正部の動作を示すフローチャート。
【図８】校正者が参照する画面表示を例示する図。
【図９】編集窓に表示される音声認識結果に割り当てられるショートカットキーを例示する図。
【発明を実施するための形態】
【００１０】
以下、本発明の実施の形態について、詳細に説明する。なお、同じ機能を有する構成部には同じ番号を付し、重複説明を省略する。
【実施例１】
【００１１】
以下、図１を参照して実施例１の音声認識結果編集装置１の構成について説明する。図１は、本実施例の音声認識結果編集装置１の構成を示すブロック図である。図１に示すように本実施例の音声認識結果編集装置１は、任意の数の（Ｎを１以上の整数とし、Ｎ個の）収音部１１−１、…、１１−ｎ、…、１１−Ｎと、音声認識部１２と、認識結果集約部１３と、認識結果データベース１４と、任意の数の（Ｍを１以上の整数とし、Ｍ個の）認識結果修正部１５−１、…、１５−ｍ、…、１５−Ｍを含む構成である。各収音部１１−１、…、１１−ｎ、…、１１−Ｎに対して通常は一人ずつデフォルトの話者が割り当てられているものとする。収音部に対する話者の割り当ては、収音部の識別子であるマイクＩＤと、話者の識別子である話者ＩＤを用いて予め実行されているものとする。なお話者の総数はＮより小さい場合もあるし、大きい場合もある。話者の総数がＮより小さい場合には、何れの話者とも割り当てられていない収音部が存在するものとする。話者の総数がＮより大きい場合には、何れの収音部とも対応付けられていない話者が存在するものとする。一方、各認識結果修正部に対しては一名以上の校正者（音声認識結果の校正、編集、修正を担当する者）が割り当てられているものとする。なお校正者は、自身に割り当てられた認識結果修正部を閲覧、操作可能であるものとする。校正者は、収音部１１−１、…、１１−ｎ、…、１１−Ｎで収音される音声を直接、または間接に聴取可能であれば好適である。例えば複数人のパネラーが参加する講演を生中継するような場合、校正者は講演が行われている会場内や、講演会場の楽屋裏などにいながら校正作業を行い、講演内容をリアルタイムで直接に聴取することができるものとしてもよい。これ以外にも、校正者は講演会場以外の場所にいて、コンピュータを用いて、講演内容を生配信する配信サイトなどにアクセスし、この配信サイトを閲覧して講演内容を間接的に聴取しながら、校正作業を行うこととしてもよい。
【００１２】
以下、図２、図３を参照して本実施例の音声認識結果編集装置１の動作の概要について説明する。図２は、本実施例の音声認識結果編集装置１の送信動作を示すフローチャート、図３は、本実施例の音声認識結果編集装置１の出力動作を示すフローチャートである。
【００１３】
図２に示すように、収音部１１−１、…、１１−ｎ、…、１１−Ｎは、音声信号を取得する（Ｓ１１−１〜Ｎ）。音声認識部１２は、音声信号を音声認識して、単語ごとに信頼度が付与された音声認識結果を複数含む音声認識結果集合を収音部毎、発話毎に取得する（Ｓ１２）。音声認識部１２は参考非特許文献１などの公知の技術により音声認識を実行する。
【００１４】
（参考非特許文献１：日本電信電話株式会社、”音声認識エンジンVoiceRexの開発”、[online]、日本電信電話株式会社、[平成27年8月6日検索]、インターネット<URL:http://www.ntt.co.jp/svlab/activity/category_2/product2_12.html>）
音声認識部１２は、音声信号に対して必要に応じて音声区間検出処理、雑音抑圧処理などを実行し、音声信号を音響特徴量に変換し、音声認識処理を実行する。音声認識結果集合は、参考非特許文献２に記載のような公知の技術によりリスコアリング等されたものを用いてもよい。
【００１５】
（参考非特許文献２：小林彰夫、外5名、”単語誤り最小化に基づく識別的リスコアリングによる音声認識”、[online]、平成24年1月、ＮＨＫ技研、[平成27年8月6日検索]、インターネット<URL:http://www.nhk.or.jp/strl/publica/rd/rd131/PDF/P28-39.pdf>）
認識結果集約部１３は、音声認識結果集合と、対応する収音部の識別子であるマイクＩＤと、対応する発話の発話開始時刻とを紐づけて所定の記憶領域（認識結果データベース１４）に記憶する（Ｓ１３Ａ）。認識結果データベース１４に記憶される情報は、発話開始時刻順にソートされていてもよい。
【００１６】
認識結果修正部１５−１、…、１５−ｍ、…、１５−Ｍは、要求信号を送信する（Ｓ１５Ａ）。要求信号には校正者ＩＤ、マイクＩＤ（マイクＩＤが複数指定された場合はマイクＩＤ集合）を指定する情報が含まれるものとする。要求信号が送信されるタイミングは様々である。例えば、認識結果修正部１５−１、…、１５−ｍ、…、１５−Ｍは、校正者の操作、設定に従って、定期的に要求信号を送信することとしてもよい。要求信号の定期的送信は、校正者がその実施／不実施を設定可能であるものとする。また後述するように、認識結果修正部１５−１、…、１５−ｍ、…、１５−Ｍは、修正済みの音声認識結果の送信と同じタイミングで要求信号を送信してもよい。
【００１７】
認識結果集約部１３は、要求信号を受信した場合に、要求信号により指定されたマイクＩＤ（マイクＩＤ集合）に対応し、かつ発話開始時刻が所定の条件を充たす（例えば当該時刻が最も古い）音声認識結果集合を送信する（Ｓ１３Ｂ）。認識結果修正部１５−１、…、１５−ｍ、…、１５−Ｍは、音声認識結果集合を受信した場合に、当該音声認識結果集合における各音声認識結果に含まれる各単語の信頼度が所定の条件を充たす単語を所定の文字列に変換する処理、信頼度が所定の条件を充たす単語を編集可能な状態に予め設定する処理、信頼度が所定の条件を充たす単語を編集可能とするための短縮操作（ショートカットキー）を割り当てる処理のうち少なくとも一つ以上の処理を実行し、音声認識結果集合に含まれる音声認識結果の全部または一部を表示する（Ｓ１５Ｂ）。表示された音声認識結果は校正者によって閲覧され、選択、修正される。
【００１８】
図３に示すように、認識結果修正部１５−１、…、１５−ｍ、…、１５−Ｍは、校正者によって一つの発話につき一つずつ選択されて修正された音声認識結果と、次回の要求信号を認識結果集約部１３に送信する（Ｓ１５Ｃ）。認識結果集約部１３は、受信した修正済み音声認識結果を出力する（Ｓ１３Ｃ）。認識結果集約部１３は、受信した修正済み音声認識結果を対応する音声認識結果集合と紐づけて認識結果データベース１４に記憶し、管理する。認識結果集約部１３は、受信した修正済み音声認識結果を出力するか破棄するか選択可能であるものとする。ステップＳ１３Ｃにおいて、認識結果集約部１３は、管理している修正済み音声認識結果を発話開始時刻順に随時出力するものとする。
【００１９】
以下、図４、図５を参照して、認識結果集約部１３の構成、および動作について例外処理などを含め詳細に説明する。図４は、本実施例の認識結果集約部１３の構成を示すブロック図である。図５は、本実施例の認識結果集約部１３の動作を示すフローチャートである。
【００２０】
図４に示すように、本実施例の認識結果集約部１３は、登録部１３１と、認識結果送信部１３２と、管理部１３３と、出力部１３４を含む構成である。
【００２１】
図５に示すように、登録部１３１は、音声認識結果集合、発話開始時刻、マイクＩＤを紐づけて認識結果データベース１４に登録する（Ｓ１３１）。次に、認識結果送信部１３２は、ある認識結果修正部（ここでは認識結果修正部１５−ｍとする）から要求信号を受信した場合、当該要求信号を送信した認識結果修正部１５−ｍに、当該認識結果修正部１５−ｍが要求信号において指定するマイクＩＤ（マイクＩＤ集合）に対応し、かつ最も発話開始時刻が古い音声認識結果集合、当該集合に対応するマイクＩＤ、当該マイクＩＤに対応する話者ＩＤを送信し、認識結果修正部１５−ｍに対応する校正者ＩＤを、送信した音声認識結果集合に紐づけて、認識結果データベース１４に登録する（Ｓ１３２）。上述のステップＳ１３１、Ｓ１３２は随時行われる。例えば、ステップＳ１３１は、何れかの収音部に対して音声の入力が開始されるたびに実行される。ステップＳ１３２は、何れかの認識結果修正部から要求信号を受信するたびに実行される。
【００２２】
管理部１３３は、予め定めた第１期間内に何れかの修正結果の返信があるかどうかを監視する（Ｓ１３３Ａ）。この第１期間は、認識結果集約部１３が各認識結果修正部に音声認識結果集合を送信した時刻を基準に、各認識結果修正部毎に設けられる期間である。例えば、第１期間を５分間とした場合、ある認識結果修正部１５−ｍに認識結果集約部１３が音声認識結果集合を送信した時刻を基準とし、この基準時刻から５分の間（第１期間内）に認識結果修正部１５−ｍから修正結果が返信されるか否かを、管理部１３３は監視する。従って、管理部１３３は、それぞれ異なる基準時刻となる複数の認識結果修正部に対して、それぞれの基準時刻から第１期間内にそれぞれの認識結果修正部から修正結果の返信があるか否かを監視する。それぞれの基準時刻から第１期間内に何れの修正結果も返信されない場合（Ｓ１３３ＡＮ）、出力部１３４は、タイムアウト処理として、修正時間超過情報を対応する音声認識結果集合に紐づけて、認識結果データベース１４に登録し、対応する未修正の音声認識結果集合を破棄、または当該集合内の何れかの音声認識結果（例えば、認識結果順位第１位の音声認識結果）を出力する（Ｓ１３４Ｂ）。それぞれの基準時刻から第１期間内に何れかの修正結果の返信があった場合（Ｓ１３３ＡＹ）、管理部１３３は、未修正の音声認識結果があるか否かを検査する（Ｓ１３３Ｂ）。未修正の音声認識結果集合がない場合、すなわち要求に応じて送信された全ての音声認識結果集合に対して、修正済みの音声認識結果が全て返信された場合には（Ｓ１３３ＢＮ）、後述するステップＳ１３４Ａが実行される。一方、修正済みの音声認識結果の一部のみが返信された場合には（Ｓ１３３ＢＹ）、管理部１３３は、第２期間内に修正結果が全て返信されるか否かを監視する（Ｓ１３３Ｃ）。第２期間は第１期間よりも長い期間として、第１期間同様に音声認識結果集合を送信した時刻を基準に、各認識結果修正部毎に設けられる期間である。なおステップＳ１３３Ｂにおいて、未修正の音声認識結果集合に、最も古い発話開始時刻の集合が含まれる場合には、リアルタイム性が損なわれることを避けるために、第２期間を短い期間に変更してもよい。
【００２３】
それぞれの基準時刻から第２期間内に全ての修正結果の返信がない場合（Ｓ１３３ＣＮ）、出力部１３４は、修正済み音声認識結果、修正済み話者ＩＤを出力し、未修正の音声認識結果集合については破棄、または集合内の何れかの音声認識結果（例えば、認識結果順位第１位の音声認識結果）を出力する（Ｓ１３４Ｃ）。一方、それぞれの基準時刻から第２期間内に全ての修正結果が返信された場合（Ｓ１３３ＣＹ）、および前述したステップＳ１３３ＢＮの場合には、出力部１３４は、全ての修正済み音声認識結果、修正済み話者ＩＤを出力する（Ｓ１３４Ａ）。
【００２４】
以下、図６、図７を参照して、認識結果修正部１５−１、…、１５−ｍ、…、１５−Ｍ（以下では認識結果修正部１５−ｍに代表させる）の構成、および動作について例外処理などを含め詳細に説明する。図６は、本実施例の認識結果修正部１５−ｍの構成を示すブロック図である。図７は、本実施例の認識結果修正部１５−ｍの動作を示すフローチャートである。
【００２５】
図６に示すように、本実施例の認識結果修正部１５−ｍは、要求送信部１５１と、出力制御部１５２と、修正結果送信部１５３を含む構成である。
【００２６】
図７に示すように、要求送信部１５１は、認識結果集約部１３にハートビート、および要求信号を送信する（Ｓ１５１）。なお、要求送信部１５１は、音声認識結果の修正中については、ハートビートのみを定期的に送信するものとする。ハートビートとは、ネットワーク上でコンピュータやネットワーク機器が、正常に稼働していること外部に知らせるために送信する信号のことである。
【００２７】
なお、前述した認識結果集約部１３は、要求送信部１５１から要求信号を受信し、音声認識結果集合などを返信した後、当該音声認識結果集合の修正中であるにもかかわらず、要求送信部１５１からハートビートが届かなくなった場合、最後のハートビート受信から所定の時間経過後に、以下のＡ〜Ｃの何れかの処理を実行してもよい。Ａ）認識結果集約部１３は、該当する音声認識結果集合を破棄する。Ｂ）認識結果集約部１３は、該当する音声認識結果集合内の何れかの音声認識結果（例えば、認識結果順位第１位の音声認識結果）を出力する。Ｃ）認識結果集約部１３は、該当の音声認識結果のステータス「修正中」を「未修正」に変更し、次回の要求信号受信時に、要求信号を送信した認識結果修正部１５−ｍに該当の音声認識結果を返信する。
【００２８】
次に、出力制御部１５２は、認識結果集約部１３から音声認識結果集合を受信し、信頼度が閾値α未満の単語を所定の文字列（例えば、全角スペースや、□記号など）に変換して当該集合を出力し、対応する話者ＩＤを編集可能な状態で出力する（Ｓ１５２Ａ）。前述したように話者ＩＤはマイクＩＤに紐づけられているが、話者が使用するマイク（収音部）が交換されたり、マイク（収音部）を割り当てられていない話者が発言しようとしたとき、マイク（収音部）が移動した場合などには、予め紐づけられたマイクＩＤと話者ＩＤの関係が変更される場合がある。校正者が、話者の発言などを直接、または間接に聴取できる状況にあるときなど、マイクＩＤと話者ＩＤの関係が変更された場合にはこれに気付き、話者ＩＤを修正することが可能である。
【００２９】
出力制御部１５２は、校正者が何れかの音声認識結果を選択するか否かを監視している（Ｓ１５２Ｂ）。なお、校正者による音声認識結果の選択は、マウス、キーボードその他の入力手段を用いて実行されるが、これに限定されない。校正者が何れの音声認識結果も選択していない場合（デフォルトの状態、Ｓ１５２ＢＮ）、出力制御部１５２は、認識結果順位第１位の音声認識結果を編集窓に編集可能な状態で出力し、信頼度が閾値α以上であって閾値β未満の単語にショートカットキー（本明細書では短縮操作ともいう）を割り当てる（Ｓ１５２Ｄ）。一方、校正者が何れかの音声認識結果を選択した場合（Ｓ１５２ＢＹ）、出力制御部１５２は、校正者が選択した音声認識結果を編集窓に編集可能な状態で出力し、信頼度が閾値α以上であって閾値β未満の単語にショートカットキーを割り当てる（Ｓ１５２Ｃ）。なお、値αは値βよりも小さい値であるものとする。従って、ステップＳ１５２Ａにおいて、信頼度が閾値α未満の単語（信頼度が最も低い部類に属する単語）については、文字列の変換が行われ、ステップＳ１５２Ｃにおいて、信頼度が閾値α以上であって閾値β未満の単語（信頼度が中程度の部類に属する単語）については、ショートカットキーの割り当てが行われることになる。信頼度が最も低い部類の単語についてはおよそ正解とかけ離れた奇異な単語であることも多いため、これをそのまま表示することで校正作業の妨げになる場合もあり、当該単語については、校正者による修正が入ることがほとんどであるから、校正者が目視しやすいように所定の文字列に変換することとした。また、信頼度が中程度の単語については、この単語がそのまま正解となる場合もあるため、認識結果をそのまま表示しておくことに意義はあるものの、校正者によって修正される可能性も高いため、校正者が速やかに該当箇所を修正できるようにショートカットキーを割り当てることとした。なお校正者は、例えばキーボードの矢印キーの押下によって認識結果を単語単位で移動することができるものとし、削除（Delete）キーの押下によって、単語ごと文字列を削除することができるものとする。
【００３０】
校正者は上述のように修正した音声認識結果については結果出力を選択することができる。一方、校正者は、修正前の音声認識結果集合や、修正途中の音声認識結果などについて破棄を選択することができる。校正者が修正前の音声認識結果集合や、修正途中の音声認識結果などを破棄するのは、例えば修正作業が長引いて、後続の発話が次々に発生してしまい、校正作業のリアルタイム性が損なわれていると判断された場合などである。校正者は破棄を選択することで、受け取った音声認識結果集合をスキップして次の音声認識結果集合を受け取り、自分の校正作業が現在の発話内容から大きく後退しないようにすることができる。
【００３１】
修正結果送信部１５３は、校正者によって前述の結果出力、破棄の何れが選択されるかを監視している（Ｓ１５３Ａ）。校正者によって破棄が選択された場合（Ｓ１５３Ａ破棄）、修正結果送信部１５３は、音声認識結果集合を破棄した旨の通知（破棄通知）を認識結果集約部１３に送信する（Ｓ１５３Ｃ）。一方、校正者によって結果出力が選択された場合（Ｓ１５３Ａ結果出力）、修正結果送信部１５３は、修正済み話者ＩＤと修正済み音声認識結果を認識結果集約部１３に送信する（Ｓ１５３Ｂ）。
【００３２】
認識結果集約部１３における破棄通知の取扱いについて以下に述べる。例えば認識結果集約部１３が全ての認識結果修正部から破棄通知を受信した場合、認識結果集約部１３はステップＳ１３４Ｂを実行することとしてもよい。同様に、認識結果集約部１３が一部の認識結果修正部から破棄通知を受信した場合、認識結果集約部１３はステップＳ１３４Ｃを実行することとしてもよい。
【００３３】
一方、破棄通知は修正済み音声認識結果の範疇に入るものと解してもよい。この場合、認識結果集約部１３は音声認識結果の一部、または全部が破棄通知で構成されていた場合であってもステップＳ１３４Ａを実行する。この場合、認識結果集約部１３は破棄通知に対応する音声認識結果集合を破棄して、対応する音声認識結果としては何も表示しないこととしてもよいし、対応する音声認識結果として該当の音声認識結果集合のうち何れかの音声認識結果（例えば、認識結果順位第１位の音声認識結果）を出力することとしてもよい。
【００３４】
以下、図８、図９を参照して、出力制御部１５２の動作例について説明する。図８は、校正者が参照する画面表示を例示する図である。図９は、編集窓に表示される音声認識結果に割り当てられるショートカットキーを例示する図である。
【００３５】
図８の例では、発話「今日はいい天気ですね」に対して、音声認識結果「今日はいい天気ですね」「今日はいい天気です」「今日はいい天気ですな」「球はいい天気ですね」…などを含む音声認識結果集合が生成されたものとする。加えてこの例では、単語「球」に対して、閾値α未満の信頼度Ｃが付与されており、単語「ですな」に対して、閾値α以上β未満の信頼度が付与されているものとする。またこの発話に対応するマイクＩＤにデフォルトで紐づけられている話者は○山△男氏であるものとする。話者ＩＤは、数字や英字などで構成されてもよいが、同図の例では、話者の氏名である「○山△男」がそのまま話者ＩＤとして利用されている。
【００３６】
この例において、校正者が音声認識結果の何れかを選択していない状態（デフォルトの状態）では、同図に示すように認識結果順位第１位の音声認識結果である「今日はいい天気ですね」が編集窓に編集可能な状態で出力される。この他にも、校正者が閲覧する画面には、修正前の話者ＩＤ、校正者が何れかの音声認識結果を選択する際に用いる音声認識結果の一覧、校正者が話者ＩＤの修正に用いる話者ＩＤリストの一覧を表示することができる。
【００３７】
修正前の話者ＩＤについては、前述したように、校正者によって編集可能な状態で出力されているものとする。音声認識結果の一覧については、閾値α未満の信頼度Ｃが付与された単語「球」を所定の文字列、例えば□に変換して出力することができる。
【００３８】
例えば校正者によって音声認識結果「球はいい天気ですな」が選択された場合、図９に示すように、校正者が選択した音声認識結果「球はいい天気ですな」を編集窓に編集可能な状態で出力する。信頼度が閾値α未満の単語「球」は所定の文字列「□」に変換されたうえで、デフォルトで選択状態かつ編集可能な状態で出力される。一方、信頼度が閾値α以上であって閾値β未満の単語「ですな」にショートカットキー［Ａｌｔキー＋１］が割り当てられる。校正者がショートカットキー［Ａｌｔキー＋１］を押下することにより、単語「ですな」が選択状態かつ編集可能な状態に遷移する。閾値α以上閾値β未満の単語が一つの音声認識結果中に複数存在する場合には、これらの単語にはそれぞれ別のショートカットキーが割り当てられる。
【００３９】
本実施例の音声認識結果編集装置１は、校正者（認識結果修正部）から認識結果の割当要求（要求信号）が来るたびに発話毎に校正者が割り当たり、かつ校正者割り当て後一定時間経過後に未修正となっている音声認識結果集合を破棄し、または当該集合内から音声認識結果を選択して出力するため、処理の遅い校正者がいる場合であっても全体の処理が滞ることなく認識結果の修正が可能である。また本実施例の音声認識結果編集装置１は、校正者が要求信号において自身が担当するマイクＩＤを指定するため、校正者が複数人いる場合には、複数の収音部（マイク）が存在する場合であっても並列に校正処理を行うことができ、複数の話者が同時に発声している場合であっても時系列順、かつリアルタイムに近い速度で修正結果を出力できる。また本実施例の音声認識結果編集装置１は、信頼度の低い単語を特定の文字列に置換したり、ショートカットキーなどを割り当てたりすることで、校正者が効率的に編集作業を行えるようにしたため、校正者の修正時間を削減することができる。
【００４０】
なお、本実施例の音声認識結果編集装置１は、複数のハードウェアを備える音声認識結果編集システムとして構成されてもよい。この場合、例えばＮ個の収音部１１−１、…、１１−ｎ、…、１１−ＮをそれぞれＮ個の収音装置とし、音声認識部１２と認識結果集約部１３と認識結果データベース１４とを含む制御装置を構成し、Ｍ個の認識結果修正部１５−１、…、１５−ｍ、…、１５−Ｍを、Ｍ個の認識結果修正装置とし、これらのハードウェアからなる音声認識結果編集システムとしてもよい。
【００４１】
＜補記＞
本発明の装置は、例えば単一のハードウェアエンティティとして、キーボードなどが接続可能な入力部、液晶ディスプレイなどが接続可能な出力部、ハードウェアエンティティの外部に通信可能な通信装置（例えば通信ケーブル）が接続可能な通信部、ＣＰＵ（Central Processing Unit、キャッシュメモリやレジスタなどを備えていてもよい）、メモリであるＲＡＭやＲＯＭ、ハードディスクである外部記憶装置並びにこれらの入力部、出力部、通信部、ＣＰＵ、ＲＡＭ、ＲＯＭ、外部記憶装置の間のデータのやり取りが可能なように接続するバスを有している。また必要に応じて、ハードウェアエンティティに、ＣＤ−ＲＯＭなどの記録媒体を読み書きできる装置（ドライブ）などを設けることとしてもよい。このようなハードウェア資源を備えた物理的実体としては、汎用コンピュータなどがある。
【００４２】
ハードウェアエンティティの外部記憶装置には、上述の機能を実現するために必要となるプログラムおよびこのプログラムの処理において必要となるデータなどが記憶されている（外部記憶装置に限らず、例えばプログラムを読み出し専用記憶装置であるＲＯＭに記憶させておくこととしてもよい）。また、これらのプログラムの処理によって得られるデータなどは、ＲＡＭや外部記憶装置などに適宜に記憶される。
【００４３】
ハードウェアエンティティでは、外部記憶装置（あるいはＲＯＭなど）に記憶された各プログラムとこの各プログラムの処理に必要なデータが必要に応じてメモリに読み込まれて、適宜にＣＰＵで解釈実行・処理される。その結果、ＣＰＵが所定の機能（上記、…部、…手段などと表した各構成要件）を実現する。
【００４４】
本発明は上述の実施形態に限定されるものではなく、本発明の趣旨を逸脱しない範囲で適宜変更が可能である。また、上記実施形態において説明した処理は、記載の順に従って時系列に実行されるのみならず、処理を実行する装置の処理能力あるいは必要に応じて並列的にあるいは個別に実行されるとしてもよい。
【００４５】
既述のように、上記実施形態において説明したハードウェアエンティティ（本発明の装置）における処理機能をコンピュータによって実現する場合、ハードウェアエンティティが有すべき機能の処理内容はプログラムによって記述される。そして、このプログラムをコンピュータで実行することにより、上記ハードウェアエンティティにおける処理機能がコンピュータ上で実現される。
【００４６】
この処理内容を記述したプログラムは、コンピュータで読み取り可能な記録媒体に記録しておくことができる。コンピュータで読み取り可能な記録媒体としては、例えば、磁気記録装置、光ディスク、光磁気記録媒体、半導体メモリ等どのようなものでもよい。具体的には、例えば、磁気記録装置として、ハードディスク装置、フレキシブルディスク、磁気テープ等を、光ディスクとして、ＤＶＤ（Digital Versatile Disc）、ＤＶＤ−ＲＡＭ（Random Access Memory）、ＣＤ−ＲＯＭ（Compact Disc Read Only Memory）、ＣＤ−Ｒ（Recordable）／ＲＷ（ReWritable）等を、光磁気記録媒体として、ＭＯ（Magneto-Optical disc）等を、半導体メモリとしてＥＥＰ−ＲＯＭ（Electronically Erasable and Programmable-Read Only Memory）等を用いることができる。
【００４７】
また、このプログラムの流通は、例えば、そのプログラムを記録したＤＶＤ、ＣＤ−ＲＯＭ等の可搬型記録媒体を販売、譲渡、貸与等することによって行う。さらに、このプログラムをサーバコンピュータの記憶装置に格納しておき、ネットワークを介して、サーバコンピュータから他のコンピュータにそのプログラムを転送することにより、このプログラムを流通させる構成としてもよい。
【００４８】
このようなプログラムを実行するコンピュータは、例えば、まず、可搬型記録媒体に記録されたプログラムもしくはサーバコンピュータから転送されたプログラムを、一旦、自己の記憶装置に格納する。そして、処理の実行時、このコンピュータは、自己の記録媒体に格納されたプログラムを読み取り、読み取ったプログラムに従った処理を実行する。また、このプログラムの別の実行形態として、コンピュータが可搬型記録媒体から直接プログラムを読み取り、そのプログラムに従った処理を実行することとしてもよく、さらに、このコンピュータにサーバコンピュータからプログラムが転送されるたびに、逐次、受け取ったプログラムに従った処理を実行することとしてもよい。また、サーバコンピュータから、このコンピュータへのプログラムの転送は行わず、その実行指示と結果取得のみによって処理機能を実現する、いわゆるＡＳＰ（Application Service Provider）型のサービスによって、上述の処理を実行する構成としてもよい。なお、本形態におけるプログラムには、電子計算機による処理の用に供する情報であってプログラムに準ずるもの（コンピュータに対する直接の指令ではないがコンピュータの処理を規定する性質を有するデータ等）を含むものとする。
【００４９】
また、この形態では、コンピュータ上で所定のプログラムを実行させることにより、ハードウェアエンティティを構成することとしたが、これらの処理内容の少なくとも一部をハードウェア的に実現することとしてもよい。
【図１】
0006457353.tif 000002
【図２】
0006457353.tif 000003
【図３】
0006457353.tif 000004
【図４】
0006457353.tif 000005
【図５】
0006457353.tif 000006
【図６】
0006457353.tif 000007
【図７】
0006457353.tif 000008
【図８】
0006457353.tif 000009
【図９】
0006457353.tif 000010