(57)【要約】【課題】本発明は、修正作業が容易で、正しい修正単語列を高精度に推定できる音声認識誤り修正装置を提供する【解決手段】音声認識誤り修正装置２０は、音声認識誤りに対する修正指示を入力する修正指示入力手段２１と、音声認識又は手書き文字の認識により修正単語列候補と認識スコアとを求める音声認識誤り部分認識手段２２と、音声認識装置１０から入力された仮説ラティスの音声認識誤り部分に、修正単語列候補及び認識スコアが対応付けられた枝を統合する認識仮説統合手段２６と、音響スコア及び認識スコアを用いて統合スコアをリスコアリングし、リスコアリングした統合スコアが最高になる枝の組み合わせを正しい修正単語列として推定し、推定した修正単語列で音声認識誤り部分を修正する仮説リスコアリング手段２７と、を備える。【選択図】図１
2014149490.tif 000002
【特許請求の範囲】
【請求項１】
番組音声の音声認識結果を示す単語列に含まれる音声認識誤りを、正しい修正単語列で修正する音声認識誤り修正装置であって、
修正者の発話による音声認識誤り部分の音声認識、又は、前記修正者による音声認識誤り部分の手書き文字認識により、前記正しい修正単語列の候補である修正単語列候補と、前記修正単語列候補毎の認識スコアとを求める音声認識誤り部分認識手段と、
前記番組音声の音声認識で評価された各単語及び当該各単語の音響スコアを対応付けた枝と、当該各単語の位置を示す前記枝の節点とで構成された仮説ラティスが入力され、入力された当該仮説ラティスの音声認識誤り部分の始点及び終点に位置する枝の節点に、前記修正単語列候補及び前記認識スコアが対応付けられた枝を接続することで、前記仮説ラティスを統合する仮説ラティス統合手段と、
統合された前記仮説ラティスの音声認識誤り部分で前記始点から前記終点までの枝の経路毎に、前記音響スコア及び前記認識スコアを用いて統合スコアを算出し、算出した前記統合スコアが最高になる枝の経路を前記正しい修正単語列として推定する音声認識誤り部分修正手段と、
を備えることを特徴とする音声認識誤り修正装置。
【請求項２】
前記音声認識誤り部分認識手段は、前記修正者に固有の特定話者用音響モデルを用いて、音声認識を行うことを特徴とする請求項１に記載の音声認識誤り修正装置。
【請求項３】
前記音声認識誤り部分修正手段は、前記枝の経路毎に、前記音響スコア及び前記認識スコアの重み付け総和を、前記統合スコアとして算出することを特徴とする請求項１又は請求項２に記載の音声認識誤り修正装置。
【請求項４】
前記音声認識誤り部分修正手段は、前記枝の経路毎に、前記音響スコアの事後確率と、予め設定された対数尤度算出式により算出した前記認識スコアの事後確率との総和を、前記統合スコアとして算出することを特徴とする請求項１又は請求項２に記載の音声認識誤り修正装置。
【請求項５】
前記音声認識誤り部分認識手段は、前記手書き文字認識の結果が全てひらがな又はカタカナの場合、前記番組音声の音声認識に用いる発音辞書、又は、前記音声認識誤り部分の音声認識に用いる発音辞書から、前記ひらがな又はカタカナの表記に該当する音素列の単語を読みだして、前記修正単語列候補とすることを特徴とする請求項１から請求項４の何れか一項に記載の音声認識誤り修正装置。
【請求項６】
コンピュータを、請求項１に記載の音声認識誤り修正装置として機能させるための音声認識誤り修正プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、番組音声の音声認識結果を示す単語列に含まれる音声認識誤りを修正する音声認識誤り修正装置及びそのプログラムに関する。
【背景技術】
【０００２】
従来から、音声認識技術は、放送番組の字幕制作に利用されている。その音声認識結果には、認識誤りが含まれるため、その認識誤りを修正する修正者（オペレータ）を配置し、認識誤りを修正した文字列を字幕として放送している。
【０００３】
この認識誤りを修正する従来技術として、認識誤りをポイントする者とポイントされた単語を修正する者との２人のペアが数組で修正する発明が提案されている（特許文献１）。また、前記従来技術のように役割を分けずに、認識結果の文章を１人から数名で分担し、担当した文章の誤りを修正していく発明も提案されている（特許文献２）。この特許文献１，２に記載の発明では、タッチパネルを利用して、画面上に表示される認識結果の誤り部分をタッチして特定し、認識誤りの種別に応じて、必要があれば修正のための文字列を、キーボードを用いて入力している。
【０００４】
この修正のための操作は、画面のタッチとキーボード操作とを行き来するため、修正手順だけでなくその動きにも習熟していないと、迅速な修正作業が困難である。そこで、この操作を練習するための発明が提案されている（特許文献３）。さらに、置換誤りや脱落誤りを修正するために必要な文字入力は、標準的なキーボードを用いて入力する場合が多く、修正者には、前記した修正操作に慣れるだけでなく、迅速にキーボードから日本語を入力できる技術が求められている。
【０００５】
また、このキーボードの入力負担を軽減するために、同音異義語の修正候補を提示し、認識対象に関連する原稿を提示するパレットを用意し、認識誤りの修正にパレット上の文字列を利用する発明が提案されている（特許文献４）。しかし、この特許文献４に記載の発明では、すべての認識誤りをカバーすることはできない。
【０００６】
この他、リスピーク方式の字幕制作において、誤り部分をリスピーカーに再度発話してもらうことで修正する方式も提案されている。この場合、修正者は、認識結果を適切に言い直して得られた文字列が適切な場所に挿入されるように編集しなければならず、リスピーカーと連携してこの作業を行う熟練した技量が求められる。
【０００７】
ここで、必要な修正文字列を効率良く得るために、修正が指定されていない確定区間を拘束条件として、修正区間又は修正区間周辺を再評価する発明が提案されている（特許文献５）。また、修正が必要な区間を、詳細なユーザー辞書を用いて再度認識する発明も提案されている（特許文献６，７）。この特許文献６，７に記載の発明では、認識対象音声自体が不明瞭であったり、誤った発話であったりする場合には、精度良く修正することが困難である。
【０００８】
また、修正文字列をキーボードから入力し、認識結果から得られる仮説ラティスの当該修正区間を修正文字列で拘束して再度認識することで、当該修正区間以外の認識誤りを自動で修正する発明が提案されている（特許文献８）。この特許文献８に記載の発明では、依然キーボードからの文字列入力という負担が残されている。
【０００９】
また、修正部分を、修正者が言い直した音声を認識して修正箇所を特定する発明も提案されている（特許文献９）。この特許文献９に記載の発明では、修正箇所を音声で特定しても、キーボードを用いて修正文字列を入力する必要があり、修正作業を容易に行うことができない。そこで、修正者が誤りの含まれる文章をまるごと言い直し、その際に、認識誤り部分を強調して発声することで、修正箇所を特定し、その部分を言い直した音声の認識結果に置き換える方式が提案されている（特許文献１０）。さらに、修正者が誤認識部分を再度言い直した音声を用いて、網羅的な修正候補を提示し、修正者が望みの修正候補を選択する発明も提案されている（特許文献１１）。さらに、音声認識結果を用いて、手書き文字の入力を補完する発明も提案されている（特許文献１２）。
【先行技術文献】
【特許文献】
【００１０】
【特許文献１】特開２００１−６０１９２号公報
【特許文献２】特許３９８６０１５号公報
【特許文献３】特開２００４−２４０２３４号公報
【特許文献４】特許３９８６００９号公報
【特許文献５】特許４７０９８８７号公報
【特許文献６】特許４９０２６１７号公報
【特許文献７】特開２０００−１８７４９７号公報
【特許文献８】特開２０１１−１９７４１０号公報
【特許文献９】特許４７８４１２０号公報
【特許文献１０】特開２００３−３１６３８６号公報
【特許文献１１】特開２００１−９２４９３号公報
【特許文献１２】特開２００７−１８２９０号公報
【発明の概要】
【発明が解決しようとする課題】
【００１１】
しかし、特許文献１０，１１に記載の発明では、音声認識誤り部分の修正に言い直し音声を利用しているが、言い直し音声だけを用いてそれを音声認識したのでは、認識誤りが含まれ、正しい修正単語列を高精度に推定できず、修正者の追加入力が必要になる。ここで、音声認識誤り部分の音声認識に用いる音響モデルを、その修正者に最適化することが考えられる。この場合、音声認識誤り部分の音声認識結果は、不特定話者用の音響モデルを用いた番組音声の認識結果と誤りの傾向が異なる。
【００１２】
また、特許文献１２に記載の発明では、音声認識結果と手書き文字の認識結果が相補的に働いておらず、手書き文字の入力を補助するに留まっている。この修正者の手書き文字の認識結果は、音声認識とモーダル（態様）が異なるため、番組音声の認識結果と誤りの傾向が異なる。
【００１３】
以上より、異なる誤り傾向を有する音声認識誤り部分の音声認識結果と手書き文字の認識結果とを、番組音声の認識結果に相補的に統合すれば、正しい修正単語列を高精度に推定することができる。
【００１４】
そこで、本発明は、修正作業が容易で、正しい修正単語列を高精度に推定できる音声認識誤り修正装置及びそのプログラムを提供することを課題とする。
【課題を解決するための手段】
【００１５】
前記した課題に鑑みて、本願第１発明に係る音声認識誤り修正装置は、番組音声の音声認識結果を示す単語列に含まれる音声認識誤りを、正しい修正単語列で修正する音声認識誤り修正装置であって、音声認識誤り部分認識手段と、仮説ラティス統合手段と、音声認識誤り部分修正手段と、を備えることを特徴とする。
【００１６】
かかる構成によれば、音声認識誤り修正装置は、修正者が、番組音声の音声認識が誤った理由に応じて、音声認識又は手書き文字認識の何れかを手動で選択する。例えば、番組音声の不明瞭な発声や言い間違いといった音響的な理由の場合、より素早く正確な修正が可能となるため、音声認識が選択され、音声認識誤り部分の発話が入力される。また、同音異義語といった理由の場合、より素早く正確な修正が可能となるため、手書き文字認識が選択され、音声認識誤り部分の手書き文字が入力される。
【００１７】
また、音声認識誤り修正装置は、音声認識誤り部分認識手段によって、音声認識誤り部分の音声を認識し、又は、音声認識誤り部分の手書き文字を認識し、正しい修正単語列の候補である修正単語列候補と、修正単語列候補毎の認識スコアとを求める。
【００１８】
ここで、修正者による音声認識及び手書き文字認識は、番組音声の音声認識と誤りの傾向が異なる。そこで、音声認識誤り修正装置は、仮説ラティス統合手段によって、入力された仮説ラティスの音声認識誤り部分の始点及び終点に位置する枝の節点に、修正単語列候補及び認識スコアが対応付けられた枝を接続することで、仮説ラティスを統合する。
【００１９】
この仮説ラティスは、番組音声の音声認識で評価された各単語及び各単語の音響スコアを対応付けた枝と、各単語の位置を示す枝の節点とで構成されており、番組音声の音声認識の評価内容を表している。
【００２０】
また、音声認識誤り修正装置は、音声認識誤り部分修正手段によって、統合された仮説ラティスの音声認識誤り部分で始点から終点までの枝の経路毎に、音響スコア及び認識スコアを用いて統合スコアを算出し、算出した統合スコアが最高になる枝の経路を正しい修正単語列として推定する。
【００２１】
また、本願第２発明に係る音声認識誤り修正装置は、修正者に固有の特定話者用音響モデルを用いて、音声認識を行うことを特徴とする。
かかる構成によれば、音声認識誤り修正装置は、修正者の発話を正確に音声認識し、正しい修正単語列をより高精度に推定することができる。
【００２２】
また、本願第３発明に係る音声認識誤り修正装置は、音声認識誤り部分修正手段が、枝の経路毎に、音響スコア及び認識スコアの重み付け総和を、統合スコアとして算出することを特徴とする。
かかる構成によれば、音声認識誤り修正装置は、重み付け総和により統合スコアを正確に算出し、正しい修正単語列をより高精度に推定することができる。
【００２３】
また、本願第４発明に係る音声認識誤り修正装置は、音声認識誤り部分修正手段が、枝の経路毎に、音響スコアの事後確率と、予め設定された対数尤度算出式により算出した認識スコアの事後確率との総和を、統合スコアとして算出することを特徴とする。
かかる構成によれば、音声認識誤り修正装置は、対数尤度算出式により統合スコアを正確に算出し、正しい修正単語列をより高精度に推定することができる。
【００２４】
また、本願第５発明に係る音声認識誤り修正装置は、音声認識誤り部分認識手段が、手書き文字認識の結果が全てひらがな又はカタカナの場合、番組音声の音声認識に用いる発音辞書、又は、音声認識誤り部分の音声認識に用いる発音辞書から、ひらがな又はカタカナの表記に該当する音素列の単語を読みだして、修正単語列候補とすることを特徴とする。
【００２５】
かかる構成によれば、音声認識誤り修正装置は、ひらがな又はカタカナの表記に該当する音素列の全単語を、そのひらがな又はカタカナに該当する漢字表記も含め、修正単語列候補として扱う。これによって、音声認識誤り修正装置は、修正者が即座に音声認識誤り部分の漢字表記を思い出せない場合でも、その音声認識誤り部分をひらがな又はカタカナで入力し、迅速な修正が可能となる。
【００２６】
なお、本願第１発明に係る音声認識誤り修正装置は、ＣＰＵ（Central Processing Unit）、記憶手段（例えば、メモリ、ハードディスク）等のハードウェア資源を備えるコンピュータを、前記した各手段として協調動作させるための音声認識誤り修正プログラムによって実現することもできる（本願第６発明）。このプログラムは、通信回線を介して配布してもよく、ＣＤ−ＲＯＭやフラッシュメモリ等の記録媒体に書き込んで配布してもよい。
【発明の効果】
【００２７】
本願発明によれば、以下のような優れた効果を奏する。
本願第１，６発明によれば、修正者の発話の音声認識又は修正者の手書き文字の認識の結果と仮説ラティスとを相補的に統合し、統合した仮説ラティスから統合スコアを算出するため、正しい修正単語列を高精度に推定することができる。さらに、本願第１，６発明によれば、修正者がキーボードを用いる必要がなく、修正作業を容易に行うことができる。
【００２８】
本願第２発明によれば、修正者の発話を正確に音声認識し、正しい修正単語列をより高精度に推定することができる。
本願第３，４発明によれば、統合スコアを正確に算出し、正しい修正単語列をより高精度に推定することができる。
本願第５発明によれば、修正者が即座に漢字表記を思い出せない場合でも、音声認識誤りを迅速に修正することができる。
【図面の簡単な説明】
【００２９】
【図１】本願発明の実施形態に係る音声認識誤り修正装置の構成を示すブロック図である。
【図２】図１の認識仮説統合手段での仮説ラティスの統合を説明する説明図であり、（ａ）は音声認識誤りの修正に用いられる単語の一例を示し、（ｂ）は修正単語列候補及び認識スコアを対応付けた枝と仮説ラティスとの一例を示す。
【図３】図１の認識仮説統合手段での仮説ラティスの統合を説明する説明図であり、（ａ）は統合された仮説ラティスを示し、（ｂ）は枝の経路に対応付けられた認識スコアを示す。
【図４】図１の音声認識誤り修正装置の動作を示すフローチャートである。
【発明を実施するための形態】
【００３０】
[字幕生成システムの概略]
図１を参照し、本願発明の実施形態に係る字幕生成システム１の概略ついて、詳細に説明する。
字幕生成システム１は、番組音声を音声認識すると共に、音声認識の結果に誤りがある場合、この音声認識誤りを修正者が修正するものである。図１に示すように、字幕生成システム１は、音声認識装置１０と、音声認識誤り修正装置２０と、表示装置３０とを備える。
【００３１】
音声認識装置１０は、放送番組の音声である番組音声が入力され、入力された番組音声を音声認識することで音声認識結果を示す単語列（音声認識結果単語列）を生成するものであり、音声認識手段１１と、音響モデル１３と、言語モデル１５と、発音辞書１７とを備える。
【００３２】
音声認識手段１１は、後記する音響モデル１３と、言語モデル１５と、発音辞書１７とを用いて、番組音声を音声認識し、音声認識結果単語列（最尤単語列）と、認識仮説のラティスとを生成するものである。例えば、音声認識手段１１は、各単語に現れる音素の音響的な特徴を示した統計モデル（音響モデル１３）を用いて番組音声を評価し、単語と単語との繋がりやすさを示す統計モデル（言語モデル１５）を用いて、認識結果の日本語文章らしさを評価する音声認識手法を利用する。
【００３３】
ここで、音声認識手段１１は、音声認識により生成した音声認識結果単語列を、音声認識誤り修正装置２０及び表示装置３０に出力する。また、音声認識手段１１は、音声認識の評価結果を示す仮説ラティスを、音声認識誤り修正装置２０に出力する。
なお、仮説ラティスの詳細は、後記する（図２）。
【００３４】
音響モデル１３は、例えば、隠れマルコフモデル（ＨＭＭ：Hidden Markov Model）といった、各単語に現れる音素の音響的な特徴を示した統計モデルである。
言語モデル１５は、例えば、バイグラム又はトライグラムといった、単語と単語との繋がりやすさを示す統計モデルである。
発音辞書１７は、例えば、各単語がどのような音素列になるのかを示した発音モデルであり、音響モデル１３及び言語モデル１５を関係付けている。
【００３５】
音声認識誤り修正装置２０は、音声認識装置１０から入力された音声認識結果単語列が誤っている場合、修正者が音声認識結果単語列の誤りを修正するものである。この音声認識誤り修正装置２０は、誤りが修正された音声認識結果単語列を字幕として、例えば、放送送出装置（不図示）に出力する。
表示装置３０は、修正者が音声認識誤りを目視するために、音声認識装置１０から入力された音声認識結果単語列を表示するディスプレイである。
【００３６】
[音声認識誤り修正装置の構成]
続いて、音声認識誤り修正装置２０の構成ついて、詳細に説明する。
図１に示すように、音声認識誤り修正装置２０は、修正指示入力手段２１と、音声認識誤り部分認識手段２２と、認識仮説統合手段（仮説ラティス統合手段）２６と、仮説リスコアリング手段（音声認識誤り部分修正手段）２７とを備える。
【００３７】
修正指示入力手段２１は、修正者が、音声認識装置１０から入力された音声認識結果単語列に対する修正指示を入力するものである。この修正指示入力手段２１は、例えば、表示装置３０に表示された単語のタッチ、又は、ポインティングデバイスを用いたジェスチャーにより、修正者が、音声認識誤り部分の位置を特定し、音声認識誤りの種類を選択する。
なお、ジェスチャーとは、音声認識誤りの種類毎に定められた記号をポインティングデバイスで描くことである。
【００３８】
ここで、音声認識誤りの種類が脱落誤り又は置換誤りの場合、修正単語列を音声認識結果単語列に挿入又は置換するために、音声認識誤り部分を特定する必要がある。より具体的には、修正指示入力手段２１は、音声認識装置１０から入力された音声認識結果単語列において、修正者が指示した音声認識誤り部分の開始時刻（始点）から終了時刻（終点）までを特定し、認識仮説統合手段２６に出力する。
【００３９】
音声認識誤り部分認識手段２２は、修正者が入力した発話の音声認識、又は、修正者が入力した手書き文字の認識により、正しい修正単語列の候補である修正単語列候補と、修正単語列候補毎の認識スコアとを求めるものである。図１に示すように、音声認識誤り部分認識手段２２は、音声認識手段２３と、手書き文字認識手段２４と、スイッチ２５とを備える。
【００４０】
音声認識手段２３は、音声認識装置１０と同様、図示を省略した音響モデル、言語モデル及び発音辞書を備え、音声認識誤り部分に対する発話を音声認識するものである。この音声認識手段２３は、例えば、修正者の発話を入力するためのマイク（不図示）を備える。また、音声認識手段２３の言語モデル及び発音辞書は、音声認識装置１０と同一であってもよい。そして、音声認識手段２３は、音声認識の結果として、修正単語列候補と、修正単語列候補毎の認識スコアとをスイッチ２５に出力する。
【００４１】
ここで、音声認識手段２３は、修正者に固有の特定話者用音響モデル（不図示）を用いて、修正者の発話を音声認識することが好ましい。これによって、音声認識手段２３は、修正者の発話を正確に音声認識することができる。
【００４２】
手書き文字認識手段２４は、音声認識誤り部分に対する手書き文字を認識するものである。この手書き文字認識手段２４は、例えば、修正者の手書き文字を認識するためのタブレット端末及びスタイラスペン（不図示）を備える。そして、手書き文字認識手段２４は、手書き文字認識の結果として、修正単語列候補と、修正単語列候補毎の認識スコアとをスイッチ２５に出力する。
【００４３】
ここで、手書き文字認識の結果が、全てひらがな又はカタカナの場合が考えられる。この場合、手書き文字認識手段２４は、音声認識装置１０が備える発音辞書１７、又は、音声認識手段２３が備える発音辞書から、ひらがな又はカタカナの表記に該当する音素列の単語を読みだして、修正単語列候補とすることが好ましい。これによって、手書き文字認識手段２４は、修正者が即座に漢字表記を思い出せない場合でも、音声認識誤りを迅速に修正することができる。
なお、発音辞書１７又は音声認識手段２３の発音辞書の何れを利用するか、修正者が手動で設定できる。
【００４４】
スイッチ２５は、音声認識手段２３又は手書き文字認識手段２４から入力された修正単語列候補及び認識スコアの一方を、認識仮説統合手段２６に出力するものである。
ここで、修正者は、音声認識誤りの理由に応じて、音声認識又は手書き文字認識の何れか一方を手動で選択する。
例えば、音声認識誤りが番組音声の不明瞭な発声や言い間違いといった音響的な理由の場合、より素早く正確に修正を行うには、音声認識が好ましい、この場合、修正者は、スイッチ２５で音声認識手段２３の側を選択し、音声認識誤り部分に対する発話を音声認識手段２３に入力する。
また、例えば、音声認識誤りが同音異義語といった理由の場合、より素早く正確に修正を行うには、手書き文字認識が好ましい。この場合、修正者は、スイッチ２５で手書き文字認識手段２４の側を選択し、音声認識誤り部分に対する手書き文字を手書き文字認識手段２４に入力する。
【００４５】
このように、音声認識手段２３及び手書き文字認識手段２４が共に、修正単語列候補と、認識スコアとを出力する。従って、修正者が音声認識又は手書き文字認識の何れを選択して場合であっても、認識仮説統合手段２６の処理を共通化し、音声認識誤り修正装置２０の構成を簡素化することができる。
【００４６】
認識仮説統合手段２６は、音声認識装置１０から入力された仮説ラティスの音声認識誤り部分の始点及び終点に位置する枝の節点に、修正単語列候補及び認識スコアが対応付けられた枝を接続することで、仮説ラティスを統合するものである。また、認識仮説統合手段２６は、統合された仮説ラティスを、仮説リスコアリング手段２７に出力する。
【００４７】
＜仮説ラティスの統合＞
図２，図３を参照し、認識仮説統合手段２６による仮説ラティスの統合について、詳細に説明する（適宜図１参照）。
ここで、図２（ａ）に示す単語を一例として説明する。つまり、単語ｗ１＝“多く”、単語ｗ２＝“思い出す”、単語ｗ３＝“淘汰”、単語ｗ４＝“する”、単語ｗ５＝“似通って”、単語ｗ６＝“います”、単語ｗ７＝“した”、単語ｗ８＝“を”であることとする。
図２（ｂ）に示すように、この音声認識誤り部分の前に“ビデオを見て”という単語列があり、音声認識誤り部分の後に“ことができた”という単語列が続くこととする。
【００４８】
図２（ｂ）の上段には、音声認識誤り部分認識手段２２から入力された修正単語列候補ｗ１〜ｗ６と、認識スコアＰ１〜Ｐ３とが対応付けられた枝１０〜１２を図示した。つまり、枝１０は、修正単語列候補｛ｗ１，ｗ２｝＝“多く思い出す”の認識スコアがＰ１であることを示す。また、枝１１は、修正単語列候補｛ｗ１，ｗ３，ｗ４｝＝“多く淘汰する”の認識スコアがＰ２であることを示す。また、枝１２は、修正単語列候補｛ｗ５，ｗ６｝＝“似通っています”の認識スコアがＰ３であることを示す。
【００４９】
図２（ｂ）の下段には、音声認識装置１０から入力された仮説ラティスを図示した。
この仮説ラティスは、番組音声の音声認識での評価内容を表している。つまり、仮説ラティスは、番組音声の音声認識で評価された単語及び単語毎の音響スコアを対応付けた枝と、単語の開始時刻（位置）を示す枝の節点とで構成された有向グラフである。この音響スコアＬは、入力された番組音声がどれぐらい単語らしいかを示したスコアである。
【００５０】
この図２（ｂ）では、仮説ラティスの枝を矢印で図示し、節点を黒丸で図示した。また、図２（ｂ）の仮説ラティスにおいて、音声認識誤り部分の開始時刻がＴＳであり、終了時刻がＴＥである。また、開始時刻ＴＳを示す節点及び終了時刻ＴＥを示す節点には、最尤経路を表す枝（太線で図示）と、最尤経路以外の枝（破線で図示）とが接続されている。
【００５１】
図２（ｂ）の仮説ラティスにおいて、枝毎に、枝を一意に識別する枝番号と、枝に対応付けられた単語ｗ及び音響スコアＬとを図示した。つまり、枝１は、単語ｗ１＝“多く”の音響スコアがＬ１であることを示す。また、枝２は、単語ｗ２＝“思い出す”の音響スコアがＬ２であることを示す。また、枝３は、単語ｗ１＝“多く”の音響スコアがＬ３であることを示す。また、枝４は、単語ｗ３＝“淘汰”の音響スコアがＬ４であることを示す。また、枝５は、単語ｗ４＝“する”の音響スコアがＬ５であることを示す。また、枝６は、単語ｗ７＝“した”の音響スコアがＬ６であることを示す。また、枝７は、単語ｗ８＝“を”の音響スコアがＬ７であることを示す。
【００５２】
すなわち、図２（ｂ）の仮説ラティスにおいて、開始時刻ＴＳを示す節点には、３つの枝が入力される。また、開始時刻ＴＳを示す節点から、枝１，３が分岐する。また、枝３の先端にある節点から、枝４，７が分岐する。枝１，７は同じ節点に合流し、この節点から枝２が出力され、枝２の先端が終了時刻ＴＥを示す節点に合流する。また、枝４の先端にある節点から、枝５，６が分岐する。また、枝５は、終了時刻ＴＥを示す節点に合流する。従って、図２（ｂ）の仮説ラティスにおいて、開始時刻ＴＳから終了時刻ＴＥまでの間には、枝１−２の経路Ｈ１と、枝３−４−５の経路Ｈ２と、枝３−７−２の経路Ｈ３という、３つの経路が存在する。
【００５３】
認識仮説統合手段２６は、図２（ｂ）上段の枝１０〜１２を、図２（ｂ）下段の仮説ラティスに統合する。まず、認識仮説統合手段２６は、枝１０〜１２に対応付けられた修正単語列候補が、経路Ｈ１〜Ｈ３の各枝に対応付けられた単語列に一致するか否かを判定する。
【００５４】
ここで、認識仮説統合手段２６は、修正単語列候補が経路Ｈ１〜Ｈ３の単語列に一致する場合、一致する修正単語列候補の認識スコアＰを経路Ｈ１〜Ｈ３に対応付ける。
例えば、枝１０の修正単語列候補｛ｗ１，ｗ２｝＝“多く思い出す”であり、枝１−２の経路Ｈ１の単語列｛ｗ１，ｗ２｝と一致する。このため、認識仮説統合手段２６は、修正単語列候補｛ｗ１，ｗ２｝の認識スコアＰ１を枝１−２の経路Ｈ１に対応付ける。
また、例えば、枝１１の修正単語列候補｛ｗ１，ｗ３，ｗ４｝＝“多く淘汰する”であり、枝３−４−５の経路Ｈ２の単語列｛ｗ１，ｗ３，ｗ４｝と一致する。このため、認識仮説統合手段２６は、修正単語列候補｛ｗ１，ｗ３，ｗ４｝の認識スコアＰ２を枝３−４−５の経路Ｈ２に対応付ける。
【００５５】
一方、認識仮説統合手段２６は、修正単語列候補が枝の経路Ｈ１〜Ｈ３の単語列に一致しない場合、この修正単語列候補が得られる枝の経路を仮説ラティスに追加し、追加した枝の経路に認識スコアＰを対応付ける。
例えば、枝１２の修正単語列候補｛ｗ５，ｗ６｝＝“似通っています“は、枝１−２の経路Ｈ１の単語列｛ｗ１，ｗ２｝＝“多く思い出す”、枝３−４−５の経路Ｈ２の単語列｛ｗ１，ｗ３，ｗ４｝＝“多く淘汰する”、枝３−７−２の経路Ｈ３の単語列｛ｗ１，ｗ８，ｗ２｝＝“多くを思い出す”の何れにも一致しない。
【００５６】
従って、認識仮説統合手段２６は、枝１２の修正単語列候補｛ｗ５，ｗ６｝に含まれる単語ｗ５，ｗ６がそれぞれ対応付けられた枝８，９を新たに生成する。このとき、単語ｗ５，ｗ６の音響スコアＬ８，Ｌ９が存在しないため、認識仮説統合手段２６は、この音響スコアＬ８，Ｌ９の計算を音声認識装置１０に要求する。そして、認識仮説統合手段２６は、この要求に応じて、音声認識装置１０から入力された音響スコアＬ８，Ｌ９を、枝８，９に対応付ける。
【００５７】
さらに、認識仮説統合手段２６は、図３（ａ）に示すように、生成した枝８−９の経路Ｈ４を仮説ラティスに接続する。具体的には、認識仮説統合手段２６は、開始時刻ＴＳを示す節点から、枝８を分岐させる。また、認識仮説統合手段２６は、枝８の先端にある節点に枝９を接続し、終了時刻ＴＥの節点まで伸ばす。そして、認識仮説統合手段２６は、枝８−９の経路Ｈ４に、この経路Ｈ４の単語列に一致する修正単語列候補｛ｗ５，ｗ６｝の認識スコアＰ３を対応付ける。
【００５８】
なお、枝３−７−２の経路Ｈ３の単語列に一致する修正単語列候補｛ｗ１，ｗ８，ｗ２｝の認識スコアＰ４が存在しない。この場合、認識仮説統合手段２６は、この認識スコアＰ４を対応付けるための枝１３を生成し、この認識スコアＰ４の計算を音声認識誤り部分認識手段２２に要求する。そして、認識仮説統合手段２６は、この要求に応じて、音声認識誤り部分認識手段２２から入力された認識スコアＰ４を枝１３に対応付ける。
また、枝３−４−６については、枝６が最尤経路の節点に接続されないため、認識スコアを対応付ける必要がない。
その結果、図３（ｂ）に示すように、統合された仮説ラティスの経路Ｈ１〜Ｈ４には、認識スコアＰ１〜Ｐ４が対応付けられることになる。
【００５９】
図１に戻り、音声認識誤り修正装置２０の構成について、説明を続ける。
仮説リスコアリング手段２７は、認識仮説統合手段２６から入力された仮説ラティスにおける枝の経路Ｈ毎に、音響スコアＬ及び認識スコアＰを用いて統合スコアＬ´を算出し、仮説ラティスをリスコアリングするものである。そして、仮説リスコアリング手段２７は、算出した統合スコアが最高になる枝の経路を正しい修正単語列として推定し、推定した修正単語列で音声認識誤り部分を修正する。
【００６０】
＜仮説ラティスのリスコアリング＞
図３を参照し、仮説リスコアリング手段２７によるリスコアリングについて、詳細に説明する（適宜図１参照）。
仮説リスコアリング手段２７は、枝の経路Ｈ毎に、音響スコアＬ及び認識スコアＰの重み付け総和を、統合スコアＬ´として算出する。つまり、仮説リスコアリング手段２７は、各枝の音響スコアＬと、各枝の重みａ（ｎ）とを乗じた値の合計値を算出する。また、仮説リスコアリング手段２７は、各経路Ｈの単語列に一致する修正単語列候補の認識スコアＰと、この認識スコアＰが対応付けられた枝の重みｂ（ｍ）を乗じ、前記した合計値に加算する。
なお、ｎは音響スコアＬが対応付けられた枝番号であり（本実施形態では、１≦ｎ≦９）、ｍは認識スコアＰが対応付けられた枝番号である（本実施形態では、１０≦ｍ≦１３）。
【００６１】
図３（ａ）では、仮説リスコアリング手段２７は、枝１−２の経路Ｈ１について、下記の式（１）に示すように、枝１の音響スコアＬ１に重みａ（１）を乗じた値と、枝２の音響スコアＬ２に重みａ（２）を乗じた値と、枝１−２の経路Ｈ１の認識スコアＰ１に重みｂ（１０）を乗じた値との和を、統合スコアＬ´（Ｈ１）として算出する。
【００６２】
【数１】
2014149490.tif 000003
【００６３】
また、仮説リスコアリング手段２７は、枝３−４−５の経路Ｈ２について、下記の式（２）に示すように、枝３の音響スコアＬ３に重みａ（３）を乗じた値と、枝４の音響スコアＬ４に重みａ（４）を乗じた値と、枝５の音響スコアＬ５に重みａ（５）を乗じた値と、枝３−４−５の経路Ｈ２の認識スコアＰ２に重みｂ（１１）を乗じた値との和を、統合スコアＬ´（Ｈ２）として算出する。
【００６４】
【数２】
2014149490.tif 000004
【００６５】
また、仮説リスコアリング手段２７は、枝３−７−２の経路Ｈ３について、下記の式（３）に示すように、枝３の音響スコアＬ３に重みａ（３）を乗じた値と、枝７の音響スコアＬ７に重みａ（７）を乗じた値と、枝２の音響スコアＬ２に重みａ（２）を乗じた値と、枝３−７−２の経路Ｈ３の認識スコアＰ４に重みｂ（１３）を乗じた値との和を、統合スコアＬ´（Ｈ３）として算出する。
【００６６】
【数３】
2014149490.tif 000005
【００６７】
また、仮説リスコアリング手段２７は、枝８−９の経路Ｈ４について、下記の式（４）に示すように、枝８の音響スコアＬ８に重みａ（８）を乗じた値と、枝９の音響スコアＬ９に重みａ（９）を乗じた値と、枝８−９の経路Ｈ４の認識スコアＰ３に重みｂ（１２）を乗じた値との和を、統合スコアＬ´（Ｈ４）として算出する。
【００６８】
【数４】
2014149490.tif 000006
【００６９】
ここで、重みａ（ｎ）及びｂ（ｍ）は、番組音声の認識仮説（音響スコア）の信頼度をａ￣とし、音声認識誤り部分認識手段２２の認識仮説（認識スコア）の信頼度をｂ￣とすると、それぞれ、下記の式（５）及び式（６）で表すことができる。
【００７０】
【数５】
2014149490.tif 000007
【００７１】
【数６】
2014149490.tif 000008
【００７２】
番組音声の認識仮説に比べ、音声認識誤り部分認識手段２２の認識仮説の方が信頼できるため、信頼度ａ￣よりも信頼度ｂ￣が高くなるように予め設定されることが多い。また、Ｃ（ｎ）及びＣ（ｍ）は、音響スコアＬと認識スコアＰのダイナミックレンジを揃えるために予め設定される重みであり、音声認識や手書き文字認識の入力複雑さやパラメータ数を示す。一般的に、音声認識の入力複雑さは、その単語の専有時間(フレーム数)に重みをつけた量で評価される。また、手書き文字認識の場合、文字数や画数に重みをつけた量で評価される。
【００７３】
前記したように、仮説リスコアリング手段２７は、仮説を展開して統合スコアＬ´を算出することができる。
【００７４】
その後、仮説リスコアリング手段２７は、仮説ラティスで音声認識誤り部分以外の最尤経路を制約して、音声認識装置１０の言語モデルから算出される仮説文章全体の文章らしさを示す言語スコアと、統合スコアＬ´とを用いて再度評価を行い、この両者の合計スコアが最も高くなる仮説を正しい修正単語列として推定する。図３の例では、仮説リスコアリング手段２７は、音声認識誤り部分の単語候補を、その前後の単語列“ビデオを見て”及び“ことができた”とつなげた上で言語スコアを算出し、統合スコアＬ´とともに再度評価する。その後、仮説リスコアリング手段２７は、音声認識装置１０から入力された音声認識結果単語列の誤り部分を、正しい修正単語列に修正する。
【００７５】
[音声認識誤り修正装置の動作]
図４を参照し、音声認識誤り修正装置２０の動作について、詳細に説明する。
音声認識誤り修正装置２０は、音声認識装置１０から、仮説ラティスが入力される（ステップＳ１）。
音声認識誤り修正装置２０は、修正指示入力手段２１によって、音声認識誤り部分を特定し（ステップＳ２）、音声認識誤りの種類を選択する（ステップＳ３）。
【００７６】
音声認識誤り修正装置２０は、音声認識誤り部分認識手段２２によって、修正者が発話又は手書き文字を入力し、修正単語列候補毎の認識スコアを算出する（ステップＳ４）。
音声認識誤り修正装置２０は、認識仮説統合手段２６によって、ステップＳ１で入力された仮説ラティスの音声認識誤り部分に、修正単語列候補毎の認識スコアが対応付けられた枝を統合する（ステップＳ５）。
【００７７】
音声認識誤り修正装置２０は、仮説リスコアリング手段２７によって、仮説ラティスにおける枝の経路毎に統合スコアを算出し、言語スコア及び統合スコアＬ´を用いてリスコアリングを行い、両者の合計スコアが最も高くなる仮説を正しい修正単語列として推定する（仮説リスコアリング：ステップＳ６）。
音声認識誤り修正装置２０は、仮説リスコアリング手段２７によって、推定した修正単語列で音声認識誤り部分を修正し、修正結果として出力する（ステップＳ７）。
【００７８】
以上のように、本願発明の実施形態に係る音声認識誤り修正装置２０は、異なる誤り傾向を有する音声認識結果と手書き文字の認識結果とを仮説ラティスの音声認識誤り部分に相補的に統合し、統合した仮説ラティスから統合スコアを算出するため、正しい修正単語列を高精度に推定することができる。
【００７９】
さらに、音声認識誤り修正装置２０は、音声認識誤りを修正者が簡単に修正することが可能になり、修正者が修正操作に煩わされることなく、音声認識誤りの発見及び修正に専念することができる。
さらに、音声認識誤り修正装置２０は、手書き文字や発話など特殊な技能を必要としない入力方法を利用できるようになり、修正作業を行うにあたり、修正操作を熟知する手間が低減される。これにより、音声認識誤り修正装置２０は、より多くの人が修正作業に携われるようになり、字幕番組の拡充及び制作コストの低減が可能となる。
【００８０】
（変形例）
なお、音声認識誤り修正装置２０は、前記した実施形態に限定されず、その趣旨を逸脱しない範囲で種々の変形を加えることができる。
仮説リスコアリング手段２７は、枝の経路毎に、音響スコアＬに相当する事後確率と、認識スコアＰに相当する事後確率との総和を、統合スコアＬ´として算してもよい。
【００８１】
具体的には、仮説リスコアリング手段２７は、音響スコアＬに相当する事後確率Ｌ（ｉ）を、フォワードバックワードアルゴリズムを用いて算出できる。また、仮説リスコアリング手段２７は、音響スコアＬと同様に認識スコアＰが対数尤度に相当する場合、この認識スコアＰに相当する事後確率Ｐ´（ｍ）を、下記の式（７）で定義された対数尤度算出式を用いて算出できる。
【００８２】
【数７】
2014149490.tif 000009
【００８３】
このように事後確率を求めた場合、仮説リスコアリング手段２７は、枝１−２の経路Ｈ１について、下記の式（８）に示すように、枝１の音響スコアＬ１に相当する事後確率Ｌ（１）と、枝２の音響スコアＬ２に相当する事後確率Ｌ（２）と、枝１−２の経路Ｈ１の認識スコアＰ１に相当する事後確率Ｐ´（１０）との総和を、統合スコアＬ´（Ｈ１）として算出する。
【００８４】
なお、仮説リスコアリング手段２７は、他の経路Ｈについても同様に統合スコアＬ´を算出できるため、詳細な説明を省略する。
また、仮説リスコアリング手段２７は、フォワードバックワードアルゴリズム以外、事後確率Ｌ（ｉ）を近似的に算出する手法も利用できる。
【００８５】
【数８】
2014149490.tif 000010
【符号の説明】
【００８６】
１  字幕生成システム
１０  音声認識装置
１１  音声認識手段
１３  音響モデル
１５  言語モデル
１７  発音辞書
２０  音声認識誤り修正装置
２１  修正指示入力手段
２２  音声認識誤り部分認識手段
２３  音声認識手段
２４  手書き文字認識手段
２５  スイッチ
２６  認識仮説統合手段（仮説ラティス統合手段）
２７  仮説リスコアリング手段（音声認識誤り部分修正手段）
３０  表示装置
【図１】
2014149490.tif 000011
【図２】
2014149490.tif 000012
【図３】
2014149490.tif 000013
【図４】
2014149490.tif 000014