(57)【特許請求の範囲】
【請求項１】
リスピークの対象となる音声の再生を制御する音声再生制御手段と、
前記リスピークの対象となる音声のリスピーク音声を音声認識するリスピーク音声認識手段と、
前記リスピークの対象となる音声と、前記リスピーク音声との対応関係を特定する対応関係特定手段と、
前記リスピーク音声認識手段による前記リスピーク音声の音声認識結果に基づいて、前記リスピークの対象となる音声を音声認識するリスピーク対象音声認識手段と、
を備え、
前記音声再生制御手段は、前記対応関係特定手段の特定結果に基づいて、前記リスピークの対象となる音声の再生速度の制御または再生の停止及び開始の制御の少なくともいずれかを実行し、
前記対応関係特定手段は、前記リスピーク音声の音声認識結果と、前記リスピークの対象となる音声の音声認識結果とに基づいて、前記対応関係を特定し、
前記リスピーク対象音声認識手段は、前記リスピーク音声認識手段による前記リスピーク音声の音声認識結果に基づくクローズド単語辞書によって、前記リスピークの対象となる音声を単語音声認識することを特徴とする情報処理装置。
【請求項２】
前記音声再生制御手段は、前記リスピーク音声において、前記リスピークの対象となる音声に対して、予め設定された閾値以上の遅れが発生している場合、前記リスピークの対象となる音声の一旦停止または再生速度を減少させる制御を実行することを特徴とする請求項１に記載の情報処理装置。
【請求項３】
リスピークの対象となる音声の再生を制御する音声再生制御手段と、
前記リスピークの対象となる音声のリスピーク音声を音声認識するリスピーク音声認識手段と、
前記リスピークの対象となる音声と、前記リスピーク音声との対応関係を特定する対応関係特定手段と、を備え、
前記音声再生制御手段は、
前記対応関係特定手段の特定結果に基づいて、前記リスピークの対象となる音声の再生を制御し、
前記リスピーク音声において、前記リスピークの対象となる音声に対して、予め設定された閾値以上の遅れが発生している場合、前記リスピークの対象となる音声の一旦停止または再生速度を減少させる制御を実行し、
予め設定された第１の時間内に予め設定された第１の回数以上、前記リスピークの対象となる音声を一旦停止させる制御が実行された場合、前記リスピークの対象となる音声の再生速度を減少させることを特徴とする情報処理装置。
【請求項４】
前記音声再生制御手段は、予め設定された第２の時間内に、前記リスピークの対象となる音声の一旦停止が１回も発生しなかった場合、前記リスピークの対象となる音声の再生速度を増加させることを特徴とする請求項３に記載の情報処理装置。
【請求項５】
前記リスピーク音声認識手段による前記リスピーク音声の音声認識結果に基づくクローズド単語辞書によって、前記リスピークの対象となる音声を音声認識することにより、前記リスピーク音声における発話漏れを検出する発話漏れ検出手段を備えることを特徴とする請求項１から４のいずれか１項に記載の情報処理装置。
【請求項６】
ネットワークを介して通信可能に構成された端末装置とサーバとを含む情報処理システムであって、
前記端末装置及び前記サーバの少なくとも一方に、
リスピークの対象となる音声の再生を制御する音声再生制御手段と、
前記リスピークの対象となる音声のリスピーク音声を音声認識するリスピーク音声認識手段と、
前記リスピークの対象となる音声と、前記リスピーク音声との対応関係を特定する対応関係特定手段と、
前記リスピーク音声認識手段による前記リスピーク音声の音声認識結果に基づいて、前記リスピークの対象となる音声を音声認識するリスピーク対象音声認識手段と、
を備え、
前記音声再生制御手段は、前記対応関係特定手段の特定結果に基づいて、前記リスピークの対象となる音声の再生速度の制御または再生の停止及び開始の制御の少なくともいずれかを実行し、
前記対応関係特定手段は、前記リスピーク音声の音声認識結果と、前記リスピークの対象となる音声の音声認識結果とに基づいて、前記対応関係を特定し、
前記リスピーク対象音声認識手段は、前記リスピーク音声認識手段による前記リスピーク音声の音声認識結果に基づくクローズド単語辞書によって、前記リスピークの対象となる音声を単語音声認識することを特徴とする情報処理システム。
【請求項７】
ネットワークを介して通信可能に構成された端末装置とサーバとを含む情報処理システムであって、
前記端末装置及び前記サーバの少なくとも一方に、
リスピークの対象となる音声の再生を制御する音声再生制御手段と、
前記リスピークの対象となる音声のリスピーク音声を音声認識するリスピーク音声認識手段と、
前記リスピークの対象となる音声と、前記リスピーク音声との対応関係を特定する対応関係特定手段と、を備え、
前記音声再生制御手段は、
前記対応関係特定手段の特定結果に基づいて、前記リスピークの対象となる音声の再生を制御し、
前記リスピーク音声において、前記リスピークの対象となる音声に対して、予め設定された閾値以上の遅れが発生している場合、前記リスピークの対象となる音声の一旦停止または再生速度を減少させる制御を実行し、
予め設定された第１の時間内に予め設定された第１の回数以上、前記リスピークの対象となる音声を一旦停止させる制御が実行された場合、前記リスピークの対象となる音声の再生速度を減少させることを特徴とする情報処理システム。
【請求項８】
ネットワークを介して通信可能に構成された端末装置とサーバとを含み、前記端末装置が、前記サーバの処理結果に基づいてリスピークの対象となる音声の再生速度の制御または再生の停止及び開始の制御の少なくともいずれかを実行する情報処理システムにおけるサーバであって、
前記リスピークの対象となる音声のリスピーク音声を音声認識するリスピーク音声認識手段と、
前記リスピークの対象となる音声と、前記リスピーク音声との対応関係を特定する対応関係特定手段と、
前記リスピーク音声認識手段による前記リスピーク音声の音声認識結果に基づいて、前記リスピークの対象となる音声を音声認識するリスピーク対象音声認識手段と、
を備え、
前記対応関係特定手段は、前記リスピーク音声の音声認識結果と、前記リスピークの対象となる音声の音声認識結果とに基づいて、前記対応関係を特定し、
前記リスピーク対象音声認識手段は、前記リスピーク音声認識手段による前記リスピーク音声の音声認識結果に基づくクローズド単語辞書によって、前記リスピークの対象となる音声を単語音声認識することを特徴とするサーバ。
【請求項９】
ネットワークを介して通信可能に構成された端末装置とサーバとを含む情報処理システムにおける端末装置であって、
リスピークの対象となる音声の再生を制御する音声再生制御手段を備え、
前記音声再生制御手段は、
前記リスピークの対象となる音声と、リスピークの対象となる音声のリスピーク音声との対応関係に基づいて、前記リスピークの対象となる音声の再生を制御し、
前記リスピーク音声において、前記リスピークの対象となる音声に対して、予め設定された閾値以上の遅れが発生している場合、前記リスピークの対象となる音声の一旦停止または再生速度を減少させる制御を実行し、
予め設定された第１の時間内に予め設定された第１の回数以上、前記リスピークの対象となる音声を一旦停止させる制御が実行された場合、前記リスピークの対象となる音声の再生速度を減少させることを特徴とする端末装置。
【請求項１０】
情報処理装置が実行する情報処理方法であって、
リスピークの対象となる音声の再生を制御する音声再生制御ステップと、
前記リスピークの対象となる音声のリスピーク音声を音声認識するリスピーク音声認識ステップと、
前記リスピークの対象となる音声と、前記リスピーク音声との対応関係を特定する対応関係特定ステップと、
前記リスピーク音声認識ステップにおける前記リスピーク音声の音声認識結果に基づいて、前記リスピークの対象となる音声を音声認識するリスピーク対象音声認識ステップと、
を含み、
前記音声再生制御ステップにおいて、前記対応関係特定ステップの特定結果に基づいて、前記リスピークの対象となる音声の再生速度の制御または再生の停止及び開始の制御の少なくともいずれかを実行し、
前記対応関係特定ステップにおいて、前記リスピーク音声の音声認識結果と、前記リスピークの対象となる音声の音声認識結果とに基づいて、前記対応関係を特定し、
前記リスピーク対象音声認識ステップにおいて、前記リスピーク音声認識ステップにおける前記リスピーク音声の音声認識結果に基づくクローズド単語辞書によって、前記リスピークの対象となる音声を単語音声認識することを特徴とする情報処理方法。
【請求項１１】
情報処理装置が実行する情報処理方法であって、
リスピークの対象となる音声の再生を制御する音声再生制御ステップと、
前記リスピークの対象となる音声のリスピーク音声を音声認識するリスピーク音声認識ステップと、
前記リスピークの対象となる音声と、前記リスピーク音声との対応関係を特定する対応関係特定ステップと、を含み、
前記音声再生制御ステップにおいて、
前記対応関係特定ステップにおける特定結果に基づいて、前記リスピークの対象となる音声の再生を制御し、
前記リスピーク音声において、前記リスピークの対象となる音声に対して、予め設定された閾値以上の遅れが発生している場合、前記リスピークの対象となる音声の一旦停止または再生速度を減少させる制御を実行し、
予め設定された第１の時間内に予め設定された第１の回数以上、前記リスピークの対象となる音声を一旦停止させる制御が実行された場合、前記リスピークの対象となる音声の再生速度を減少させることを特徴とする情報処理方法。
【請求項１２】
ネットワークを介して通信可能に構成された端末装置とサーバとを含み、前記端末装置が、前記サーバの処理結果に基づいてリスピークの対象となる音声の再生速度の制御または再生の停止及び開始の制御の少なくともいずれかを実行する情報処理システムにおけるサーバが実行する情報処理方法であって、
前記リスピークの対象となる音声のリスピーク音声を音声認識するリスピーク音声認識ステップと、
前記リスピークの対象となる音声と、前記リスピーク音声との対応関係を特定する対応関係特定ステップと、
前記リスピーク音声認識ステップにおける前記リスピーク音声の音声認識結果に基づいて、前記リスピークの対象となる音声を音声認識するリスピーク対象音声認識ステップと、
を含み、
前記対応関係特定ステップにおいて、前記リスピーク音声の音声認識結果と、前記リスピークの対象となる音声の音声認識結果とに基づいて、前記対応関係を特定し、
前記リスピーク対象音声認識ステップにおいて、前記リスピーク音声認識ステップにおける前記リスピーク音声の音声認識結果に基づくクローズド単語辞書によって、前記リスピークの対象となる音声を単語音声認識することを特徴とする情報処理方法。
【請求項１３】
ネットワークを介して通信可能に構成された端末装置とサーバとを含む情報処理システムにおける端末装置が実行する情報処理方法であって、
リスピークの対象となる音声の再生を制御する音声再生制御ステップを含み、
前記音声再生制御ステップにおいて、
前記リスピークの対象となる音声と、リスピークの対象となる音声のリスピーク音声との対応関係に基づいて、前記リスピークの対象となる音声の再生を制御し、
前記リスピーク音声において、前記リスピークの対象となる音声に対して、予め設定された閾値以上の遅れが発生している場合、前記リスピークの対象となる音声の一旦停止または再生速度を減少させる制御を実行し、
予め設定された第１の時間内に予め設定された第１の回数以上、前記リスピークの対象となる音声を一旦停止させる制御が実行された場合、前記リスピークの対象となる音声の再生速度を減少させることを特徴とする情報処理方法。
【請求項１４】
コンピュータに、
リスピークの対象となる音声の再生を制御する音声再生制御機能と、
前記リスピークの対象となる音声のリスピーク音声を音声認識するリスピーク音声認識機能と、
前記リスピークの対象となる音声と、前記リスピーク音声との対応関係を特定する対応関係特定機能と、
前記リスピーク音声認識機能による前記リスピーク音声の音声認識結果に基づいて、前記リスピークの対象となる音声を音声認識するリスピーク対象音声認識機能と、
を実現させ、
前記音声再生制御機能は、前記対応関係特定機能の特定結果に基づいて、前記リスピークの対象となる音声の再生速度の制御または再生の停止及び開始の制御の少なくともいずれかを実行し、
前記対応関係特定機能は、前記リスピーク音声の音声認識結果と、前記リスピークの対象となる音声の音声認識結果とに基づいて、前記対応関係を特定し、
前記リスピーク対象音声認識機能は、前記リスピーク音声認識機能による前記リスピーク音声の音声認識結果に基づくクローズド単語辞書によって、前記リスピークの対象となる音声を単語音声認識することを特徴とするプログラム。
【請求項１５】
コンピュータに、
リスピークの対象となる音声の再生を制御する音声再生制御機能と、
前記リスピークの対象となる音声のリスピーク音声を音声認識するリスピーク音声認識機能と、
前記リスピークの対象となる音声と、前記リスピーク音声との対応関係を特定する対応関係特定機能と、を備え、
前記音声再生制御機能は、
前記対応関係特定機能の特定結果に基づいて、前記リスピークの対象となる音声の再生を制御し、
前記リスピーク音声において、前記リスピークの対象となる音声に対して、予め設定された閾値以上の遅れが発生している場合、前記リスピークの対象となる音声の一旦停止または再生速度を減少させる制御を実行し、
予め設定された第１の時間内に予め設定された第１の回数以上、前記リスピークの対象となる音声を一旦停止させる制御が実行された場合、前記リスピークの対象となる音声の再生速度を減少させることを特徴とするプログラム。
【請求項１６】
ネットワークを介して通信可能に構成された端末装置とサーバとを含み、前記端末装置が、前記サーバの処理結果に基づいてリスピークの対象となる音声の再生速度の制御または再生の停止及び開始の制御の少なくともいずれかを実行する情報処理システムにおけるサーバを制御するコンピュータに、
前記リスピークの対象となる音声のリスピーク音声を音声認識するリスピーク音声認識機能と、
前記リスピークの対象となる音声と、前記リスピーク音声との対応関係を特定する対応関係特定機能と、
前記リスピーク音声認識機能による前記リスピーク音声の音声認識結果に基づいて、前記リスピークの対象となる音声を音声認識するリスピーク対象音声認識機能と、
を実現させ、
前記対応関係特定機能は、前記リスピーク音声の音声認識結果と、前記リスピークの対象となる音声の音声認識結果とに基づいて、前記対応関係を特定し、
前記リスピーク対象音声認識機能は、前記リスピーク音声認識機能による前記リスピーク音声の音声認識結果に基づくクローズド単語辞書によって、前記リスピークの対象となる音声を単語音声認識することを特徴とするプログラム。
【請求項１７】
ネットワークを介して通信可能に構成された端末装置とサーバとを含む情報処理システムにおける端末装置を制御するコンピュータに、
リスピークの対象となる音声の再生を制御する音声再生制御機能を実現させ、
前記音声再生制御機能は、
前記リスピークの対象となる音声と、リスピークの対象となる音声のリスピーク音声との対応関係に基づいて、前記リスピークの対象となる音声の再生を制御し、
前記リスピーク音声において、前記リスピークの対象となる音声に対して、予め設定された閾値以上の遅れが発生している場合、前記リスピークの対象となる音声の一旦停止または再生速度を減少させる制御を実行し、
予め設定された第１の時間内に予め設定された第１の回数以上、前記リスピークの対象となる音声を一旦停止させる制御が実行された場合、前記リスピークの対象となる音声の再生速度を減少させることを特徴とするプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、情報処理装置、情報処理システム、サーバ、端末装置、情報処理方法及びプログラムに関する。
【背景技術】
【０００２】
従来、音声認識により音声を文字情報に変換する場合、音声認識に適していない音声をリスピーク（再発話）することにより、音声認識の精度を向上させる方法が用いられている。
例えば、ノイズが大きい、マイクから遠い位置で発話されている、発話が反響して聞き取り難い、あるいは、複数の発話が重なっているといった音声については、音声認識を直接行うと音声認識の精度が低下することから、再発話を行う作業者（リスピーカー）が一旦音声を聞き取り、聞き取った音声を発話し直した上で、音声認識を行うという作業を行っている。
なお、このようなリスピークによる音声認識に関する技術は、例えば特許文献１に記載されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００４−３３４１３３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、音声をリスピークして音声認識を行う場合、元音声（リスピークの対象となる音声）の再生速度がリスピークの速度を上回ると、元音声に対してリアルタイムにリスピークすることができなくなる。このような場合、元音声の再生を停止し、巻き戻してからリスピークの作業をやり直す等、作業効率が低下することとなる。
【０００５】
本発明は、音声認識のためのリスピークの作業をより効率的に行うことを目的とする。
【課題を解決するための手段】
【０００６】
上記目的を達成するため、本発明の一態様の情報処理装置は、
リスピークの対象となる音声の再生を制御する音声再生制御手段と、
前記リスピークの対象となる音声のリスピーク音声を音声認識するリスピーク音声認識手段と、
前記リスピークの対象となる音声と、前記リスピーク音声との対応関係を特定する対応関係特定手段と、を備え、
前記音声再生制御手段は、前記対応関係特定手段の特定結果に基づいて、前記リスピークの対象となる音声の再生を制御することを特徴とする。
【発明の効果】
【０００７】
本発明によれば、音声認識のためのリスピークの作業をより効率的に行うことが可能となる。
【図面の簡単な説明】
【０００８】
【図１】情報処理装置１のハードウェア構成を示す模式図である。
【図２】情報処理装置１において実現される主な機能構成を示すブロック図である。
【図３】リスピーク音声認識表示画面の一例を示す模式図である。
【図４】情報処理装置１が実行するリスピーク音声認識処理の流れを示すフローチャートである。
【図５】本発明をクラウド型の情報処理システム１００として実現した場合のシステム構成例を示す模式図である。
【発明を実施するための形態】
【０００９】
以下、本発明の実施形態について、図面を用いて説明する。
【００１０】
［構成］
図１は、本実施形態に係る情報処理装置１のハードウェア構成を示す模式図である。
図１に示すように、情報処理装置１は、ＣＰＵ１１と、ＲＯＭ１２と、ＲＡＭ１３と、バス１４と、入力部１５と、出力部１６と、記憶部１７と、通信部１８と、ドライブ１９と、を備えている。
【００１１】
ＣＰＵ１１は、ＲＯＭ１２に記録されているプログラム、または、記憶部１７からＲＡＭ１３にロードされたプログラムに従って各種の処理を実行する。
ＲＡＭ１３には、ＣＰＵ１１が各種の処理を実行する上において必要なデータ等も適宜記憶される。
【００１２】
ＣＰＵ１１、ＲＯＭ１２及びＲＡＭ１３は、バス１４を介して相互に接続されている。バス１４には、入力部１５、出力部１６、記憶部１７、通信部１８及びドライブ１９が接続されている。
【００１３】
入力部１５は、各種ボタンを備えるキーボードや音声を入力するためのマイク等で構成され、各種ボタンあるいは音声による指示操作に応じて各種情報を入力する。
出力部１６は、ディスプレイやイヤホン等で構成され、画像や音声を出力する。
記憶部１７は、ハードディスクあるいはＤＲＡＭ等で構成され、情報処理装置１で管理される各種データを記憶する。
通信部１８は、ネットワークを介して他の装置との間で行う通信を制御する。
【００１４】
ドライブ１９には、磁気ディスク、光ディスク、光磁気ディスク、あるいは半導体メモリ等よりなる、リムーバブルメディア３１が適宜装着される。ドライブ１９によってリムーバブルメディア３１から読み出されたプログラムは、必要に応じて記憶部１７にインストールされる。
【００１５】
［機能的構成］
次に、情報処理装置１において実現される主な機能構成について説明する。
図２は、情報処理装置１において実現される主な機能構成を示すブロック図である。
図２に示すように、情報処理装置１は、ＣＰＵ１１において、音声再生制御部５１と、リスピーク音声認識部５２と、元音声認識部５３と、対応関係特定部５４と、発話漏れ検出部５５と、表示制御部５６とが機能する。
また、記憶部１７には、元音声記憶部６１と、リスピーク音声認識結果記憶部６２と、元音声認識結果記憶部６３とが形成される。
【００１６】
元音声記憶部６１には、リスピークの対象となる音声（元音声）のデータが記憶されている。
リスピーク音声認識結果記憶部６２には、元音声をリスピーカーが再発話した音声の音声認識結果が記憶される。
元音声認識結果記憶部６３には、元音声を音声認識した結果が記憶される。この元音声の音声認識においては、後述するように、元音声をリスピーカーが再発話した音声の音声認識結果をクローズド単語辞書として利用している。
【００１７】
音声再生制御部５１は、リスピーカーの指示に応じて、リスピークの対象となる元音声の再生を開始する。
また、音声再生制御部５１は、対応関係特定部５４によって特定された、元音声に対するリスピーカーの再発話音声の遅れ（以下、「発話時間遅れ」と称する。）に応じて、元音声の再生の進捗を制御する。
【００１８】
具体的には、音声再生制御部５１は、発話時間遅れに基づいて、元音声の再生に関する以下の制御を実行する。
（１）発話時間遅れ＞ΔＴ１の場合、元音声の再生を一旦停止する（ただし、ΔＴ１は発話時間遅れについて予め設定した閾値である）。
（２）発話時間遅れ≦０の場合、元音声の再生を開始（継続）する。
（３）元音声の再生の一旦停止がＴ２分間にＮ１回あった場合、元音声の再生速度をＸ１倍に変更する（ただし、Ｔ２は予め設定された第１の時間、Ｎ１は予め設定された回数、Ｘ１は再生速度を調整するためのパラメータ（Ｘ１＜１）である）。
（４）元音声の再生の一旦停止がＴ３分間で１回も発生しなかった場合、元音声の再生速度を１／Ｘ１倍に変更する（ただし、Ｔ３は予め設定された第２の時間である）。
【００１９】
リスピーク音声認識部５２は、元音声を聞いてリスピーカーが発話した音声を音声認識する。このとき、リスピーク音声認識部５２は、連続音声認識を行うことにより、文字情報に変換する。この結果、リスピークされた音声が発話の区間毎に、逐次、文字情報に変換される。そして、リスピーク音声認識部５２は、リスピークされた音声の音声認識結果をリスピーク音声認識結果記憶部６２に逐次記憶する。なお、リスピークされた音声の音声認識結果には、音声から変換された文字情報と、その文字情報に対応する音声の時刻（タイムスタンプ）を表す時間情報とが含まれている。
【００２０】
元音声認識部５３は、リスピーク音声認識結果記憶部６２に記憶されたリスピーク音声の認識結果を用いて、元音声を音声認識する。このとき、元音声認識部５３は、リスピーク音声の認識結果である単語を対象としたクローズド単語辞書（ルールグラマーの言語モデル）に基づく単語音声認識を行うことにより、音声を文字情報に変換する。これにより、リスピーカーが発話している音声と、元音声とを文字情報として比較することが可能となる。そして、元音声認識部５３は、元音声の音声認識結果を元音声認識結果記憶部６３に逐次記憶する。なお、元音声の音声認識結果には、音声から変換された文字情報と、その文字情報に対応する音声の時刻（タイムスタンプ）を表す時間情報とが含まれている。
【００２１】
対応関係特定部５４は、リスピークされた音声の音声認識結果と、元音声の音声認識結果とを比較し、リスピークされた音声が元音声のいずれの時刻（タイムスタンプ）に対応するかを検出することにより、元音声とリスピーク音声との対応関係（元音声に対するリスピーク音声の発話時間遅れ）を特定する。
このとき、対応関係特定部５４は、以下の式により、元音声に対するリスピーク音声の発話時間遅れを特定する。
［リスピーク音声の現在位置の時刻］−［元音声の再生位置の時刻］＝［発話時間遅れ］
【００２２】
発話漏れ検出部５５は、元音声認識部５３によって元音声を音声認識する際に、リスピーク音声の認識結果である単語を対象としたクローズド単語辞書による単語音声認識において、信頼度が低いと判定された部分を発話漏れ部分として検出する。
例えば、発話漏れ検出部５５は、元音声認識部５３において、「それでは、本日の××会議を始めます。」という元音声に対して、リスピークされた音声の認識結果である単語を対象としたクローズド単語辞書によって、「本日」「の」「会議」「を」「始めます」という音声認識結果が得られている場合、元音声における「×××」の部分は信頼度が低いと判定されることから、「×××」の部分を発話漏れ部分として検出する。なお、りすーピーカーが「×××」の部分をリスピークし損ねている場合の他、言い間違えている場合にも、「×××」の部分は信頼度が低いと判定されることから、発話漏れ部分として検出される。
【００２３】
発話漏れ検出部５５は、このように検出した発話漏れ部分の元音声における再生時刻（タイムスタンプ）を逐次記憶する。これにより、リスピーカーがリスピークし損なったり、言い間違えたりすること等によって、元音声に対して発話漏れとなった部分を容易に特定することが可能となる。
なお、発話漏れ検出部５５は、上述のように信頼度が低いと判定された部分を発話漏れ部分として検出することの他、クローズド単語辞書に単語が存在しないこと等により、音声認識においてワイルドカードと呼ばれる「その他の単語モデル」と判定された部分を発話漏れ部分として検出することも可能である。
【００２４】
表示制御部５６は、元音声をリスピークすることによって音声認識を行う際のユーザインターフェース画面（以下、「リスピーク音声認識表示画面」と称する。）を表示する。
図３は、リスピーク音声認識表示画面の一例を示す模式図である。
図３に示すように、リスピーク音声認識表示画面には、再生に関する各メニューのアイコンＰ１と、音声の波形及び再生時間の表示領域Ｐ２と、再生音量の調節用アイコンＰ３と、リスピークによる音声認識結果の表示領域Ｐ４と、リンクマーカー作成領域Ｐ５とが含まれている。
【００２５】
再生に関する各メニューのアイコンＰ１には、音声区間毎に再生及び停止を指示するための「再生・停止」ボタンと、音声区間に関わらず音声の連続的な再生及び停止を指示するための「連続再生・停止」ボタンと、音声の再生速度を変える指示を行うための「速度調整」ボタンとが含まれている。
音声の非再生時に「再生・停止」ボタンが操作されると、音声再生制御部５１によって、１つの音声区間分の音声の再生が開始され、音声区間分の音声の再生が終了すると、リスピーク音声認識部５２によって、リスピークされた音声の入力を受け付ける状態に移行する。なお、音声の再生時に「再生・停止」ボタンが操作されると、音声区間の途中であっても、音声の再生が停止（または一時停止）される。
【００２６】
また、音声の非再生時に「連続再生・停止」ボタンが操作されると、音声再生制御部５１によって、音声区間に関わらず音声の連続再生が開始され、音声の再生時に「連続再生・停止」ボタンが操作されると、音声再生制御部５１によって、音声の再生が停止（または一時停止）される。なお、「連続再生・停止」ボタンが操作されることによって音声の再生が開始された場合、リスピーク音声認識部５２によって、常にリスピークされた音声の入力を受け付ける状態（元音声の再生と並行してリスピーク音声の入力を受け付ける状態）となる。
【００２７】
音声の波形及び再生時間の表示領域Ｐ２には、元音声の振幅の波形が時刻（タイムスタンプ）と対応付けて、時間軸上に表される。なお、図３に示す例では、元音声において現在再生されている時間軸上の位置が、直線として表されたカーソルで示されている。
再生音量の調節用アイコンＰ３は、再生音量を調整するためのユーザインターフェースであり、音量をゼロにするためのミュートボタンを含んでいる。
リスピークによる音声認識結果の表示領域Ｐ４には、リスピークによる音声認識の結果を表示する領域と、入力部１５のキーボード等から音声認識結果の編集を行う領域とが含まれている。
リンクマーカー作成領域Ｐ５は、リスピークによる音声認識結果の表示領域に表示された文章と元音声とを時間軸上で対応付けるためのマーカー（リンクマーカー）の作成を受け付ける領域である。リンクマーカーは、リスピーカーの操作によって任意に作成することができる。
【００２８】
［動作］
次に、情報処理装置１の動作を説明する。
図４は、情報処理装置１が実行するリスピーク音声認識処理の流れを示すフローチャートである。
リスピーク音声認識処理は、リスピーク音声認識処理の実行を指示する操作が行われることに対応して開始される。なお、リスピーク音声認識処理の開始と共に、表示制御部５６は、リスピーク音声認識処理における処理の経過を、リスピーク音声認識表示画面（図３参照）に逐次表示する。
【００２９】
リスピーク音声認識処理が開始されると、ステップＳ１において、音声再生制御部５１は、元音声記憶部６１からリスピークの対象となる元音声のデータを取得する。
ステップＳ２において、音声再生制御部５１は、取得した元音声の再生を開始する。このとき、音声再生制御部５１は、通常の速度（オリジナルの速度）で元音声の再生を開始する。
【００３０】
ステップＳ３において、リスピーク音声認識部５２は、元音声を聞いてリスピーカーが発話した音声（リスピークされた音声）を音声認識する。リスピークされた音声の音声認識結果は、リスピーク音声認識結果記憶部６２に逐次記憶される。
ステップＳ４において、元音声認識部５３は、リスピーク音声認識結果記憶部６２に記憶されたリスピーク音声の認識結果を用いて、元音声を音声認識する。このとき、元音声認識部５３は、リスピーク音声の認識結果である単語を対象としたクローズド単語辞書に基づく単語音声認識を行うことにより、音声を文字情報に変換する。
【００３１】
ステップＳ５において、発話漏れ検出部５５は、元音声認識部５３によって元音声を音声認識する際に、リスピーク音声の認識結果である単語を対象としたクローズド単語辞書による単語音声認識において、信頼度が低いと判定された部分を発話漏れ部分として検出する。
ステップＳ６において、対応関係特定部５４は、リスピークされた音声の音声認識結果と、元音声の音声認識結果とを比較し、リスピークされた音声が元音声のいずれの時刻（タイムスタンプ）に対応するかを検出することにより、元音声とリスピーク音声との対応関係（元音声に対するリスピーク音声の発話時間遅れ）を特定する。
【００３２】
ステップＳ７において、音声再生制御部５１は、対応関係特定部５４によって特定された発話時間遅れが予め設定した閾値ΔＴ１より大きいか否かの判定を行う。
対応関係特定部５４によって特定された発話時間遅れが予め設定した閾値ΔＴ１より大きい場合、ステップＳ７においてＹＥＳと判定されて、処理はステップＳ８に移行する。
一方、対応関係特定部５４によって特定された発話時間遅れが予め設定した閾値ΔＴ１以下である場合、ステップＳ７においてＮＯと判定されて、処理はステップＳ９に移行する。
【００３３】
ステップＳ８において、音声再生制御部５１は、元音声の再生を一旦停止する。
ステップＳ９において、音声再生制御部５１は、発話時間遅れがゼロ以下であるか否かの判定を行う。
発話時間遅れがゼロ以下である場合、ステップＳ９においてＹＥＳと判定されて、処理はステップＳ１０に移行する。
一方、発話遅れ時間がゼロより大きい場合、ステップＳ９においてＮＯと判定されて、処理はステップＳ３に移行する。
ステップＳ１０において、音声再生制御部５１は、元音声の再生を再開または継続する。即ち、ステップＳ１０においては、元音声の再生が一旦停止されている場合、元音声の再生が再開され、元音声が再生されている場合には、再生が継続される。
【００３４】
ステップＳ１１において、音声再生制御部５１は、元音声の再生の一旦停止がＴ２分間にＮ１回以上発生したか否かの判定を行う。
元音声の再生の一旦停止がＴ２分間にＮ１回以上発生した場合、ステップＳ１１においてＹＥＳと判定されて、処理はステップＳ１２に移行する。
一方、元音声の再生の一旦停止がＴ２分間にＮ１回以上発生していない場合、ステップＳ１１においてＮＯと判定されて、処理はステップＳ１３に移行する。
【００３５】
ステップＳ１２において、音声再生制御部５１は、元音声の再生速度をＸ１（Ｘ１＜１）倍に変更する。
ステップＳ１３において、音声再生制御部５１は、元音声の再生の一旦停止がＴ３分間で１回も発生していないか否かの判定を行う。
元音声の再生の一旦停止がＴ３分間で１回も発生していない場合、ステップＳ１３においてＹＥＳと判定されて、処理はステップＳ１４に移行する。
一方、元音声の再生の一旦停止がＴ３分間で１回以上発生している場合、ステップＳ１３においてＮＯと判定されて、処理はステップＳ１５に移行する。
ステップＳ１４において、音声再生制御部５１は、元音声の再生速度を１／Ｘ１倍に変更する。
【００３６】
ステップＳ１５において、対応関係特定部５４は、リスピーク音声認識処理の終了条件が充足されたか否かの判定を行う。具体的には、対応関係特定部５４は、リスピークされた音声の音声認識結果と、元音声の音声認識結果とを比較し、元音声の末尾までリスピークが行われたか否かの判定を行う。なお、入力部１５を介して、リスピーク音声認識処理の終了を指示する操作が行われた場合にも、リスピーク音声認識処理は終了される。
リスピーク音声認識処理の終了条件が充足された場合、ステップＳ１５においてＹＥＳと判定されて、リスピーク音声認識処理は終了となる。
一方、リスピーク音声認識処理の終了条件が充足されていない場合、ステップＳ１５においてＮＯと判定されて、処理はステップＳ３に移行する。
【００３７】
このような処理により、リスピークされた音声の発話時間遅れが大きくなった場合（ΔＴ１より大きい場合）に、元音声の再生が一旦停止され、発話時間遅れがゼロ以下になった場合に、元音声の再生が再開される。
これにより、リスピーカーによる再発話が元音声の速度に追い付かない場合には、元音声が一旦停止されるため、リスピーカーは容易に元音声の再生位置に追い付くことができる。また、リスピーカーの再発話が元音声に追い付いた場合、元音声の再生が再開されるため、より効率的にリスピークの作業を行うことができる。
【００３８】
さらに、元音声の再生の一旦停止が、所定時間（Ｔ２分間）に所定回数（Ｎ１回）発生した場合、元音声の再生速度が減少（Ｘ１倍）される。
これにより、元音声の再生が頻繁に一旦停止される状況では、元音声の再生速度が高すぎると考えられることから、元音声の再生速度をより適切な速度に調整することが可能となる。
【００３９】
また、元音声の再生の一旦停止が、所定時間（Ｔ３分間）に１回も発生しなかった場合、元音声の再生速度が増加（１／Ｘ１倍）される。
これにより、元音声の再生速度にリスピーカーが十分に追従でき、元音声の再生速度を高めても問題ない状況において、元音声の再生速度を高めることができ、より効率的にリスピークの作業を行うことができる。
【００４０】
以上のように、本実施形態に係る情報処理装置１によれば、以下の効果を実現することができる。
（１）元音声の再生速度がリスピークの速度を上回ると、元音声の再生が先に進んでしまい、元音声の再生と同時にリスピークすることが困難となる。リスピークの速度は個人差や経験（慣れ）の差があり、適切な速度を画一的に決定することも困難である。
これに対し、本実施形態に係る情報処理装置１によれば、リスピーカーの発話の状態に合わせて、元音声の再生を一旦停止したり、元音声の再生速度を適切に調整したりすることができるため、リスピーカーは、リスピークによる音声認識の作業をより適切に行うことができる。
【００４１】
（２）リスピーク時、発話漏れの言葉（リスピークできなかった言葉）があった場合、後にその箇所を探すのは困難である。特に、発話漏れには、リスピーカーが自覚している発話漏れと、自覚していない発話漏れとがあるが、リスピーカーが自覚している発話漏れの場合、リスピーカーは、校閲等の前にもう一度再発話することを望む。しかしながら、リスピーカーが発話漏れを自覚したとしても、従来のリスピークに用いられる技術では、元音声の再生が進んでしまう。この場合、リスピーカーは、リスピークの流れを止めたくないため、そのまま次の発話のリスピークを継続する場合が多い。
これに対し、本実施形態に係る情報処理装置１によれば、元音声において発話漏れとなった箇所が後に容易に判別できるため、後にリスピークすることが容易になると共に、元音声の再生中に、発話漏れが生じたとしても、リスピーカーは、リスピークを停止するか否かを気にすることなく、円滑にリスピークを継続することができる。
【００４２】
（３）リスピーカーが元音声を聞き取れなかった場合、巻き戻し（繰り返し）再生をすることがあるが、リスピーカー自身がどこまでリスピークしたのか忘れてしまうことがある。
これに対し、本実施形態に係る情報処理装置１によれば、リスピークした音声と、元音声との対応関係が特定され、リスピーク音声認識表示画面に逐次表示されるため、リスピーカーは、自身がどこまでリスピークしたのかを容易に判別することができる。
【００４３】
（４）元音声とリスピーク音声とは異なる音声データであるため、リスピーク音声の認識結果の誤変換箇所等を編集する場合、その箇所に対応する元音声の位置を特定することが困難である。
これに対し、本実施形態に係る情報処理装置１によれば、リスピークした音声と、元音声との対応関係が特定され、リスピーク音声認識表示画面に逐次表示されるため、リスピーク音声の認識結果の誤変換箇所に対応する元音声の位置を容易に特定することができる。
したがって、本実施形態に係る情報処理装置１によれば、音声認識のためのリスピークの作業をより効率的に行うことが可能となる。
【００４４】
［変形例１］
上述の実施形態において、発話時間遅れを特定するために、元音声認識部５３が、リスピーク音声の認識結果である単語を対象としたクローズド単語辞書に基づく単語音声認識によって元音声の音声認識を行うものとして説明した。そして、対応関係特定部５４が、リスピークされた音声の音声認識結果と、元音声の音声認識結果とを比較し、リスピークされた音声が元音声のいずれの時刻（タイムスタンプ）に対応するかを検出することにより、元音声とリスピーク音声との対応関係（元音声に対するリスピーク音声の発話時間遅れ）を特定するものとした。
【００４５】
これに対し、元音声とリスピークされた音声とのパターンマッチングにより、発話時間遅れを特定することが可能である。
具体的には、対応関係特定部５４が、現在からｔ１秒（ｔ１は予め設定された時間）前までのリスピーク音声の特徴ベクトルＶａを算出し、特徴ベクトルＶａと元音声から算出した特徴ベクトルとのマッチングを行う。これにより、特徴ベクトルＶａが元音声のいずれの時刻（タイムスタンプ）の音声に対応するかを検出することが可能となる。
そして、対応関係特定部５４は、
［リスピーク音声の現在位置の時刻］−［元音声の再生位置の時刻］＝［発話時間遅れ］
として、発話時間遅れを特定する。
【００４６】
このとき算出される音声の特徴ベクトルとしては、音声波形、スペクトル系列（高速フーリエ変換の結果等）あるいは特徴量（ＬＰＣ（Ｌｉｎｅａｒ  Ｐｒｅｄｉｃｔｉｖｅ  Ｃｏｅｆｆｉｃｉｅｎｔ）ケプストラムやメル周波数ケプストラム等）から算出された特徴量ベクトルを用いることができる。また、パターンマッチングの手法としては、例えばＤＰ（Ｄｙｎａｍｉｃ  Ｐｒｏｇｒａｍｍｉｎｇ）マッチングやビタビサーチ等を用いることができる。
このような方法を用いることによっても、発話時間遅れを特定することが可能となる。
【００４７】
［変形例２］
上述の実施形態における発話時間遅れを特定する方法として、変形例１の手法の他、音声の音節カウントを行うことにより、発話時間遅れを特定することが可能である。
具体的には、対応関係特定部５４が、元音声の再生開始位置から元音声の音節をカウントし、発話速度を計測して積分する。また、対応関係特定部５４は、リスピークの開始位置からリスピークされた音声の音節をカウントする。そして、対応関係特定部５４は、元音声の音節のカウント数とリスピークされた音声の音節のカウント数が一致する時刻をそれぞれ計測し、その差を［時間遅れ］とする。
このような方法を用いることによっても、発話時間遅れを特定することが可能となる。このような方法とした場合、音節をカウントする処理で発話時間遅れを特定できるため、簡単な処理によって発話時間遅れを特定することができる。
また、音節カウントを用いることもできる。
【００４８】
［変形例３］
上述の実施形態において、単体の情報処理装置１によって本発明を実現する場合を例に挙げて説明したが、これに限られない。
即ち、情報処理装置１の機能の一部を、ネットワークを介して接続されたサーバに実装し、クラウド型の情報処理システムとして、本発明を実現することも可能である。
図５は、本発明をクラウド型の情報処理システム１００として実現した場合のシステム構成例を示す模式図である。
図５に示す情報処理システム１００では、図２に示す情報処理装置１の機能のうち、リスピーク音声認識部５２、元音声認識部５３、対応関係特定部５４及び発話漏れ検出部５５の機能をサーバ１１０に実装し、音声認識に関する処理をサーバにおいて処理する構成となっている。
このような構成とした場合、情報処理装置１における処理負荷を低減することができる。
【００４９】
なお、図２に示す情報処理装置１の機能のうち、いずれの機能部をサーバ１１０に実装するかは、情報処理システム１００の設計等に応じて任意に設定することができ、サーバ１１０及び端末装置としての情報処理装置１の少なくとも一方に、音声再生制御部５１と、リスピーク音声認識部５２と、元音声認識部５３と、対応関係特定部５４と、発話漏れ検出部５５と、表示制御部５６と、元音声記憶部６１と、リスピーク音声認識結果記憶部６２と、元音声認識結果記憶部６３とが実装されていればよい。
ただし、サーバ１１０の構成は一例として示したものであり、情報処理システム１００全体として、サーバ１１０の機能が備えられていれば、サーバ１１０の機能を分割して複数のサーバに実装することとしてもよい。
【００５０】
以上のように構成される情報処理装置１は、音声再生制御部５１と、リスピーク音声認識部５２と、対応関係特定部５４とを備える。
音声再生制御部５１は、元音声の再生を制御する。
リスピーク音声認識部５２は、元音声のリスピーク音声を音声認識する。
対応関係特定部５４は、元音声と、リスピーク音声との対応関係を特定する。
音声再生制御部５１は、対応関係特定部５４の特定結果に基づいて、元音声の再生を制御する。
これにより、元音声と、リスピーク音声との対応関係に応じて、元音声の再生が制御される。
したがって、音声認識のためのリスピークの作業をより効率的に行うことが可能となる。
【００５１】
また、情報処理装置１は、元音声認識部５３を備える。
元音声認識部５３は、リスピーク音声認識部５２によるリスピーク音声の音声認識結果に基づいて、元音声を音声認識する。
対応関係特定部５４は、リスピーク音声の音声認識結果と、元音声の音声認識結果とに基づいて、対応関係を特定する。
これにより、リスピーカーが発話している音声と、元音声とを文字情報として比較することが可能となる。
【００５２】
元音声認識部５３は、リスピーク音声認識部５２によるリスピーク音声の音声認識結果に基づくクローズド単語辞書によって、元音声を単語音声認識する。
これにより、リスピーク音声の認識結果を利用して、より高精度に元音声を認識することが可能となる。
【００５３】
対応関係特定部５４は、元音声と、リスピーク音声とのパターンマッチングの結果に基づいて、対応関係を特定する。
これにより、リスピーカーが発話している音声と、元音声との対応関係を音声のパターンから特定することが可能となる。
【００５４】
対応関係特定部５４は、元音声及びリスピーク音声の音節をそれぞれカウントしたカウント結果に基づいて、対応関係を特定する。
これにより、リスピーカーが発話している音声と、元音声との対応関係を簡単な処理によって特定することが可能となる。
【００５５】
音声再生制御部５１は、リスピーク音声において、元音声に対して、予め設定された閾値以上の遅れが発生している場合、元音声の一旦停止または速度を減少させる制御を実行する。
これにより、リスピーカーによる再発話が元音声の速度に追い付かない場合には、元音声が一旦停止され、または速度が減少されるため、リスピーカーは容易に元音声の再生位置に追い付くことができる。
【００５６】
音声再生制御部５１は、予め設定された第１の時間内に予め設定された第１の回数以上、元音声を一旦停止させる制御が実行された場合、元音声の再生速度を減少させる。
これにより、元音声の再生が頻繁に一旦停止される状況では、元音声の再生速度が高すぎると考えられることから、元音声の再生速度をより適切な速度に調整することが可能となる。
【００５７】
音声再生制御部５１は、予め設定された第２の時間内に、元音声の一旦停止が１回も発生しなかった場合、元音声の再生速度を増加させる。
これにより、元音声の再生速度にリスピーカーが十分に追従でき、元音声の再生速度を高めても問題ない状況において、元音声の再生速度を高めることができ、より効率的にリスピークの作業を行うことができる。
【００５８】
また、情報処理装置１は、発話漏れ検出部５５を備える。
発話漏れ検出部５５は、リスピーク音声認識部５２によるリスピーク音声の音声認識結果に基づくクローズド単語辞書によって、元音声を音声認識することにより、リスピーク音声における発話漏れを検出する。
これにより、リスピーク音声の認識結果を利用して、より高精度に元音声に対する発話漏れを検出することが可能となる。
【００５９】
なお、本発明は、上述の実施形態に限定されるものではなく、本発明の目的を達成できる範囲での変形、改良等は本発明に含まれるものである。
例えば、上述の実施形態においては、音声再生制御部５１が元音声の再生制御に用いるパラメータを、予め設定された固定値であるものとして説明したが、これに限られない。
即ち、再生速度を調整するためのパラメータＸ１、発話時間遅れについて予め設定された閾値ΔＴ１、予め設定された第１の時間Ｔ２、予め設定された第２の時間Ｔ３等は、元音声に対するリスピーク音声の遅れの状態に応じて、可変とすることも可能である。
また、上述の実施形態において、音声再生制御部５１は、発話時間遅れ＞ΔＴ１の場合、元音声の再生を一旦停止するものとして説明したが、これに限られない。
即ち、元音声に対してリスピーカーの再発話が追い付く目的を達成できれば、再生速度を減少させることとしてもよい。
【００６０】
上述した一連の処理は、ハードウェアにより実行させることもできるし、ソフトウェアにより実行させることもできる。
換言すると、図２の機能的構成は例示に過ぎず、特に限定されない。即ち、上述した一連の処理を全体として実行できる機能が情報処理装置１に備えられていれば足り、この機能を実現するためにどのような機能ブロックを用いるのかは特に図２の例に限定されない。
また、１つの機能ブロックは、ハードウェア単体で構成してもよいし、ソフトウェア単体で構成してもよいし、それらの組み合わせで構成してもよい。
【００６１】
一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、コンピュータ等にネットワークや記録媒体からインストールされる。
コンピュータは、専用のハードウェアに組み込まれているコンピュータであってもよい。また、コンピュータは、各種のプログラムをインストールすることで、各種の機能を実行することが可能なコンピュータ、例えば汎用のパーソナルコンピュータであってもよい。
【００６２】
このようなプログラムを含む記録媒体は、ユーザにプログラムを提供するために装置本体とは別に配布される図１のリムーバブルメディア３１により構成されるだけでなく、装置本体に予め組み込まれた状態でユーザに提供される記録媒体等で構成される。リムーバブルメディア３１は、例えば、磁気ディスク（フロッピディスクを含む）、光ディスク、または光磁気ディスク等により構成される。光ディスクは、例えば、ＣＤ−ＲＯＭ（Ｃｏｍｐａｃｔ  Ｄｉｓｋ−Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ），ＤＶＤ（Ｄｉｇｉｔａｌ  Ｖｅｒｓａｔｉｌｅ  Ｄｉｓｋ）等により構成される。光磁気ディスクは、ＭＤ（Ｍｉｎｉ−Ｄｉｓｋ）等により構成される。また、装置本体に予め組み込まれた状態でユーザに提供される記録媒体は、例えば、プログラムが記録されている図１のＲＯＭ１２や、図１の記憶部１７に含まれるＤＲＡＭ等で構成される。
【００６３】
なお、本明細書において、記録媒体に記録されるプログラムを記述するステップは、その順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。
また、本明細書において、システムの用語は、複数の装置や複数の手段等より構成される全体的な装置を意味するものとする。
【符号の説明】
【００６４】
１  情報処理装置、１１  ＣＰＵ、１２  ＲＯＭ、１３  ＲＡＭ、１４  バス、１５  入力部、１６  出力部、１７  記憶部、１８  通信部、１９  ドライブ、３１  リムーバブルメディア、５１  音声再生制御部、５２  リスピーク音声認識部、５３  元音声認識部、５４  対応関係特定部、５５  発話漏れ検出部、５６  表示制御部、６１  元音声記憶部、６２  リスピーク音声認識結果記憶部、６３  元音声認識結果記憶部、１００  情報処理システム、１１０  サーバ
【図１】
0006723033.tif 000002
【図２】
0006723033.tif 000003
【図３】
0006723033.tif 000004
【図４】
0006723033.tif 000005
【図５】
0006723033.tif 000006