(57)【要約】【課題】音声認識結果をリアルタイムに、適切に修正する。【解決手段】実施形態の修正システムは、受付部と算出部と生成部と表示制御部とを備える。受付部は、音声認識結果を修正する修正情報を受け付ける。算出部は、音声認識結果に含まれる修正箇所を推定し、修正箇所と、修正情報との関連度を算出する。生成部は、関連度に応じた表示形式を使用して、修正情報及び修正箇所の少なくとも一方を含む修正表示情報を生成する。表示制御部は修正表示情報を表示する。【選択図】図２
2018044993.tif 000002
【特許請求の範囲】
【請求項１】
音声認識結果を修正する修正情報を受け付ける受付部と、
前記音声認識結果に含まれる修正箇所を推定し、前記修正箇所と、前記修正情報との関連度を算出する算出部と、
前記関連度に応じた表示形式を使用して、前記修正情報及び前記修正箇所の少なくとも一方を含む修正表示情報を生成する生成部と、
前記修正表示情報を表示する表示制御部と、
を備える修正システム。
【請求項２】
前記算出部は、前記修正箇所の読みと前記修正情報の読みとが関連する度合い、前記修正箇所の品詞と前記修正情報の品詞とが関連する度合い、及び、前記修正箇所の表層表現と前記修正情報の表層表現とが関連する度合い、の少なくとも１つに基づいて前記関連度を算出する、
請求項１に記載の修正システム。
【請求項３】
前記生成部は、前記関連度が第１の閾値以上の場合、前記修正情報を含む前記修正表示情報を生成する、
請求項１に記載の修正システム。
【請求項４】
前記生成部は、前記関連度が前記第１の閾値よりも大きい第２の閾値以上の場合、前記修正情報及び前記修正箇所を含む前記修正表示情報を更に生成する、
請求項３に記載の修正システム。
【請求項５】
前記表示制御部は、前記関連度が第３の閾値以上、かつ、第４の閾値未満の前記修正箇所と、前記修正表示情報とを関連付けずに表示する、
請求項１に記載の修正システム。
【請求項６】
前記表示制御部は、前記関連度が前記第４の閾値以上の前記修正箇所と、前記修正表示情報とを関連付けて表示する、
請求項５に記載の修正システム。
【請求項７】
前記生成部は、前記関連度に応じた表示形式の前記修正表示情報を複数、生成し、
前記表示制御部は、複数の前記修正表示情報のうち、選択された修正表示情報を表示する、
請求項１に記載の修正システム。
【請求項８】
前記修正表示情報の表示形式は、前記修正表示情報の可読性を高める、前記関連度に応じた語句を含む、
請求項１に記載の修正システム。
【請求項９】
音声認識結果を修正する修正情報を受け付けるステップと、
前記音声認識結果に含まれる修正箇所を推定し、前記修正箇所と、前記修正情報との関連度を算出するステップと、
前記関連度に応じた表示形式を使用して、前記修正情報及び前記修正箇所の少なくとも一方を含む修正表示情報を生成するステップと、
前記修正表示情報を表示するステップと、
を含む修正方法。
【請求項１０】
コンピュータを、
音声認識結果を修正する修正情報を受け付ける受付部と、
前記音声認識結果に含まれる修正箇所を推定し、前記修正箇所と、前記修正情報との関連度を算出する算出部と、
前記関連度に応じた表示形式を使用して、前記修正情報及び前記修正箇所の少なくとも一方を含む修正表示情報を生成する生成部と、
前記修正表示情報を表示する表示制御部、
として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明の実施形態は修正システム、修正方法及びプログラムに関する。
【背景技術】
【０００２】
従来の音声認識は、音声コマンド及びフレーズ等のあらかじめ定められていた入力情報によって表現可能な発話に限られることが多かった。しかし、近年、計算機リソースの拡大に伴って大規模コーパスの取り扱いが可能となった。また、大規模データを活用できるアルゴリズムが進展している。さらに、ＳａａＳ（Ｓｏｆｔｗａｒｅ  ａｓ  ａ  Ｓｅｒｖｉｃｅ）、及び、ＰａａＳ（Ｐｌａｔｆｏｒｍ  ａｓ  ａ  Ｓｅｒｖｉｃｅ）等のフレームワークが利用可能になった。これにより、音声認識を活用した対話のインタフェース及びアプリケーションも広く見られるようになってきた。音声認識は、例えば音声をそのまま文字として表示するリアルタイム字幕に利用されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００９−１８７３４９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、従来の技術では、音声認識結果をリアルタイムに、適切に修正することが難しかった。例えば時系列に流れて表示されている字幕情報を修正する場合、編集者は、修正対象範囲を追いかけて修正範囲を指定し、修正後の文字の入力、修正内容の確定の各ステップを経る必要があった。また例えば、修正結果が表示された場合であっても、最新時刻に提示される文と意味的または時系列的な分断が生じることによって、当該修正結果が閲覧者の理解の妨げとなる可能性があった。
【課題を解決するための手段】
【０００５】
実施形態の修正システムは、受付部と算出部と生成部と表示制御部とを備える。受付部は、音声認識結果を修正する修正情報を受け付ける。算出部は、前記音声認識結果に含まれる修正箇所を推定し、前記修正箇所と、前記修正情報との関連度を算出する。生成部は、前記関連度に応じた表示形式を使用して、前記修正情報及び前記修正箇所の少なくとも一方を含む修正表示情報を生成する。表示制御部は前記修正表示情報を表示する。
【図面の簡単な説明】
【０００６】
【図１】実施形態の修正システムの装置構成の例を示す図。
【図２】実施形態の修正システムの機能構成の例を示す図。
【図３】実施形態の修正方法の例を示すフローチャート。
【図４】実施形態の解析処理の例を示すフローチャート。
【図５】実施形態の算出処理の例を示すフローチャート。
【図６】実施形態の生成処理の例を示すフローチャート。
【図７Ａ】実施形態の修正表示情報の表示形式（修正フォーマット）の例を示す図。
【図７Ｂ】図７Ａの表示形式の適用例（日本語の場合）を示す図。
【図７Ｃ】図７Ａの表示形式の適用例（英語の場合）を示す図。
【図８】実施形態の表示処理の例を示すフローチャート。
【図９Ａ】実施形態の修正表示情報の表示形式（表示位置）の例１を示す図。
【図９Ｂ】実施形態の修正表示情報の表示形式（表示位置）の例２を示す図。
【図９Ｃ】実施形態の修正表示情報の表示形式（表示位置）の例３を示す図。
【図１０】実施形態のサーバ装置及びクライアント装置のハードウェア構成の例を示す図。
【発明を実施するための形態】
【０００７】
以下に添付図面を参照して、修正システム、修正方法及びプログラムの実施形態を詳細に説明する。
【０００８】
はじめに実施形態の修正システムの装置構成の例について説明する。
【０００９】
［修正システムの装置構成］
図１は実施形態の修正システム１００の装置構成の例を示す図である。実施形態の修正システム１００は、サーバ装置１０及びクライアント装置２０を備える。サーバ装置１０及びクライアント装置２０は、例えばパーソナルコンピュータ及びスマートデバイス等である。サーバ装置１０及びクライアント装置２０は、ネットワーク２００を介して接続されている。ネットワーク２００の通信方式は、有線方式であっても無線方式であってもよい。またネットワーク２００は、有線方式と無線方式とを組み合わせて実現されていてもよい。
【００１０】
次に実施形態の修正システム１００の機能構成の例について説明する。
【００１１】
［修正システムの機能構成］
図２は実施形態の修正システム１００の機能構成の例を示す図である。実施形態の修正システム１００は、音声認識部１１、解析部１２、算出部１３、生成部１４、受付部２１、表示制御部２２及び表示部２３を備える。図２の例では、音声認識部１１、解析部１２、算出部１３及び生成部１４が、サーバ装置１０により実現され、受付部２１、表示制御部２２及び表示部２３がクライアント装置２０により実現される場合を例示している。なお機能ブロックを実現する装置は任意でよい。また、全ての機能ブロックを１つの装置により実現してもよい。
【００１２】
音声認識部１１は、音声を認識することにより、音声認識結果を取得する。音声認識結果は、例えば尤度付きのテキストデータ、及び、コンフュージョンネットワーク等である。音声認識部１１は、例えば最も尤度の大きい音声認識結果を生成部１４に入力する。
【００１３】
生成部１４は、音声認識部１１から音声認識結果を受け付けると、当該音声認識結果を含む表示情報を生成する。生成部１４は、表示情報をクライアント装置２０の表示制御部２２に送信する。
【００１４】
表示制御部２２は、サーバ装置１０から表示情報を受信すると、当該表示情報を表示部２３に表示する。
【００１５】
受付部２１は、表示情報に含まれる音声認識結果を修正する修正情報を、ユーザから受け付けると、当該修正情報をサーバ装置１０の解析部１２に送信する。修正情報は、例えばテキストデータである。
【００１６】
解析部１２は、クライアント装置２０から修正情報を受信すると、当該修正情報を解析する。解析部１２は、例えば修正情報に制御記号が含まれている場合、当該制御記号に応じた制御処理を行う。
【００１７】
制御記号は、例えば「＃」である。「＃」は、例えば「＃」で始まる文字列を、テキストチャットの入力として、そのまま表示させる制御記号である。解析部１２は、修正情報に「＃」が含まれている場合、修正情報から「＃」を取り除く。そして解析部１２は、「＃」が取り除かれた修正情報を、クライアント装置２０の表示制御部２２に送信する。これにより「＃」で始まる文字列が、テキストチャットの入力として、そのまま表示部２３に表示される。
【００１８】
また例えば、制御記号は、所定の動作に関連付けられたショートカットキーである。所定の動作は、例えば後述の修正表示情報を表示させる際の表示形式（図７Ａ〜図７Ｃ参照）の指定等である。解析部１２は、修正情報にショートカットキーが含まれている場合、修正情報から当該ショートカットキーを取り除く。そして解析部１２は、ショートカットキーが取り除かれた修正情報に、ショートカットキーに応じた制御処理を行う。なお、解析部１２は、ショートカットキーに応じた制御処理に、他の機能ブロックによる処理が必要な場合、当該他の機能ブロックに処理を依頼し、当該他の機能ブロックから処理結果を受け付ける。
【００１９】
解析部１２は、修正情報に制御記号が含まれていない場合、当該修正情報を算出部１３に入力する。
【００２０】
算出部１３は、解析部１２から修正情報を受け付け、音声認識部１１から処理対象の音声認識結果を受け付ける。処理対象の音声認識結果は、例えばサーバ装置１０が修正情報をクライアント装置２０から受信した時刻と、当該時刻より所定の時間だけ前の時刻との間に、音声認識部１１から生成部１４に入力された音声認識結果である。これにより算出部１３は、例えば現在、表示部２３に表示中の音声認識結果を取得することができる。
【００２１】
算出部１３は、音声認識結果に含まれる修正箇所を推定し、当該修正箇所と、当該修正情報との関連度を算出する。なお関連度の算出処理の詳細は、図５のフローチャートを参照して後述する。
【００２２】
算出部１３は、修正情報、修正箇所及び関連度を関連付けて生成部１４に入力する。
【００２３】
生成部１４は、算出部１３から、修正情報、修正箇所及び関連度を受け付けると、当該関連度に応じた表示形式を使用して、当該修正情報及び当該修正箇所の少なくとも一方を含む修正表示情報を生成する。なお修正表示情報の生成処理の詳細は、図６のフローチャートを参照して後述する。
【００２４】
生成部１４は、修正表示情報を、クライアント装置２０の表示制御部２２に送信する。
【００２５】
表示制御部２２は、生成部１４から、修正表示情報を受信すると、当該修正表示情報から、ユーザにより選択された修正表示情報を表示する。なお修正表示情報の表示例の詳細は、図９Ａ〜図９Ｃを参照して後述する。
【００２６】
次に実施形態の修正方法の例について説明する。
【００２７】
［修正方法］
図３は実施形態の修正方法の例を示すフローチャートである。はじめに、受付部２１が、表示情報に含まれる音声認識結果を修正する修正情報を、ユーザから受け付ける（ステップＳ１）。
【００２８】
次に、解析部１２が、ステップＳ１の処理により受け付けられた修正情報の解析処理を行う（ステップＳ２）。なお修正情報の解析処理の詳細は、図４のフローチャートを参照して後述する。
【００２９】
次に、算出部１３が、音声認識結果に含まれる修正箇所の関連度の算出処理を行う（ステップＳ３）。なお関連度の算出処理の詳細は、図５のフローチャートを参照して後述する。
【００３０】
次に、生成部１４が、修正表示情報の生成処理を行う（ステップＳ４）。なお修正表示情報の生成処理の詳細は、図６のフローチャートを参照して後述する。
【００３１】
次に、表示制御部２２が、修正表示情報の表示処理を行う（ステップＳ５）。なお修正表示情報の表示処理の詳細は、図８のフローチャートを参照して後述する。
【００３２】
＜修正情報の解析処理＞
図４は実施形態の解析処理の例を示すフローチャートである。はじめに、解析部１２が、受付部２１により受け付けられた修正情報を取得する（ステップＳ１１）。次に、解析部１２は、ステップＳ１１の処理により取得された修正情報に、上述の制御記号が含まれているか否かを判定する（ステップＳ１２）。制御記号が含まれている場合（ステップＳ１２、Ｙｅｓ）、解析部１２は、当該制御記号に応じた上述の制御処理を行う（ステップＳ１３）。制御記号が含まれていない場合（ステップＳ１２、Ｎｏ）、制御処理を終了する。
【００３３】
＜関連度の算出処理＞
図５は実施形態の算出処理の例を示すフローチャートである。はじめに、算出部１３が、解析部１２から、上述の修正情報を受け付ける（ステップＳ２１）。次に、算出部１３は、音声認識部１１から、上述の処理対象の音声認識結果を受け付ける（ステップＳ２２）。
【００３４】
次に、算出部１３は、ステップＳ２１の処理により受け付けられた修正情報に、形態素解析処理を行う（ステップＳ２３）。形態素解析処理は、例えば修正情報に含まれる単語等の形態素の区切りの検出処理、及び、当該単語の品詞の特定処理等を含む。
【００３５】
次に、算出部１３は、漢字仮名交じり文を含む音声認識結果を、読み表記に展開する（ステップＳ２４）。
【００３６】
次に、算出部１３は、品詞パターンの観点から、音声認識結果に含まれる単語又は語句と、修正情報との関連度を算出する（ステップＳ２５）。ステップＳ２５の処理により得られる関連度は、修正箇所の品詞と修正情報の品詞とが関連する度合いを示す。品詞パターンの関連度は、例えば音声認識結果に含まれる単語又は語句と、修正情報との間で、品詞の出現パターンがどれくらい一致しているかにより算出される。
【００３７】
具体的には、ステップＳ２５の処理により算出される品詞パターンの関連度は、例えばＭｄ（ｔ，ｓ）＝｛品詞が同一である＝１．０、品詞が異なる＝０．０｝により算出される。ここで、ｔ（ｔａｒｇｅｔ）は、音声認識結果に含まれる処理対象の各要素単位である。また、ｓ（ｓｏｕｒｃｅ）は、修正情報に含まれる処理対象の各要素単位である。ステップＳ２５の処理では、ｔは、音声認識結果に含まれる単語の品詞であり、ｓは、修正情報に含まれる単語の品詞である。
【００３８】
次に、算出部１３は、読み表記の観点から、音声認識結果に含まれる単語又は語句と、修正情報との関連度を算出する（ステップＳ２６）。ステップＳ２６の処理により得られる関連度は、修正箇所の読みと修正情報の読みとが関連する度合いを示す。読み表記の関連度は、例えば音声認識結果に含まれる単語又は語句と、修正情報との間で、読みがどれくらい一致しているかにより算出される。
【００３９】
具体的には、ステップＳ２６の処理により算出される読み表記の関連度は、例えばＲｄ（ｔ，ｓ）＝ＬｅｖｅｎｓｈｔｅｉｎＤｉｓｔａｎｃｅ（ｔ，ｓ）により算出される。ステップＳ２６の処理では、ｔは、音声認識結果に含まれる単語又は語句の読みであり、ｓは、修正情報に含まれる単語又は語句の読みである。ＬｅｖｅｎｓｈｔｅｉｎＤｉｓｔａｎｃｅ（ｔ，ｓ）は、読みｔと読みｓとの間のレーベンシュタイン距離を示す。
【００４０】
次に、算出部１３は、表層表現の観点から、音声認識結果に含まれる単語又は語句と、修正情報との関連度を算出する（ステップＳ２７）。ステップＳ２７の処理により得られる関連度は、修正箇所の表層表現と修正情報の表層表現とが関連する度合いを示す。表層表現の関連度は、例えば音声認識結果に含まれる単語又は語句と、修正情報との間で、表層表現そのものがどれくらい一致しているかにより算出される。
【００４１】
具体的には、ステップＳ２７の処理により算出される表層表現の関連度は、例えばＥｄ（ｔ，ｓ）＝ＬｅｖｅｎｓｈｔｅｉｎＤｉｓｔａｎｃｅ（ｔ，ｓ）により算出される。ステップＳ２７の処理では、ｔは、音声認識結果に含まれる単語又は語句の表層表現であり、ｓは、修正情報に含まれる単語又は語句の表層表現である。ＬｅｖｅｎｓｈｔｅｉｎＤｉｓｔａｎｃｅ（ｔ，ｓ）は、表層表現ｔと表層表現ｓとの間のレーベンシュタイン距離を示す。
【００４２】
次に、算出部１３は、統合された関連度を算出する（ステップＳ２８）。算出部１３は、例えば統合された関連度（Ｍｅｒｇｅｄ＿Ｃｏｎｃｏｒｄａｎｃｅ（ＭＣ））を、下記式（１）により算出する。
【００４３】
ＭＣ（ｔ，ｓ）
＝α＊Ｍｄ（ｔ，ｓ）＋β＊Ｒｄ（ｔ，ｓ）＋γ＊Ｅｄ（ｔ，ｓ）  ・・・（１）
【００４４】
ここで、α、β及びγは各観点に対して、どれくらいのバイアスを掛けるかを示す重み付け係数とする。α＋β＋γ＝１となる値を事前に設定しておくことで重みを調整する（例えば、α＝０．１、β＝０．６、γ＝０．３等）。
【００４５】
音声認識結果に含まれる単語又は語句のうち、ステップＳ２８の処理により得られた関連度ＭＣ（ｔ，ｓ）が、閾値（第１の閾値）以上となる単語又は語句が、音声認識結果に含まれる修正箇所であると推定される。第１の閾値は、例えば０．２である。
【００４６】
以下、実施形態の説明では、上述の式（１）により算出された、統合された関連度を、単に関連度という。なお関連度の算出方法は任意でよい。例えばα＝０とすることにより、品詞パターンの関連度Ｍｄ（ｔ，ｓ）を考慮しなくてもよい。
【００４７】
＜修正表示情報の生成処理＞
図６は実施形態の生成処理の例を示すフローチャートである。はじめに、生成部１４が、算出部１３から、修正情報及び修正箇所、並びに、当該修正情報と当該修正箇所との関連度を受け付ける（ステップＳ４１）。
【００４８】
次に、生成部１４は、表示形式（修正フォーマット）を読み込む（ステップＳ４２）。
【００４９】
図７Ａは実施形態の修正表示情報の表示形式（修正フォーマット）の例を示す図である。表示形式（１）及び表示形式（２）は、変数＄１及び変数＄２を含む。変数＄１は、修正箇所の単語又は語句を示す。変数＄２は、修正情報の単語又は語句を示す。一方、表示形式（３）及び表示形式（４）は、変数＄２を含む。したがって表示形式（３）及び表示形式（４）では、文面からは修正箇所が特定されない。
【００５０】
図７Ｂは図７Ａの表示形式の適用例（日本語の場合）を示す図である。図７Ｂの例は、修正箇所２０３が、修正情報２０４と同音であるが、漢字による表現が誤っている場合を示す。
【００５１】
図７Ｃは図７Ａの表示形式の適用例（英語の場合）を示す図である。図７Ｃの例は、修正箇所２０１が、修正情報２０２の同音異義語である場合を示す。
【００５２】
なお表示形式（３）及び表示形式（４）が使用される場合でも、吹き出しの生成位置（後述の図９Ｂ参照）、及び、修正箇所を示す矢印（後述の図９Ｃ参照）等により、修正箇所を明示することは可能である。
【００５３】
図６に戻り、次に、算出部１３は、上述の式（１）により算出された関連度に応じた表示形式を使用して、上述の修正情報、及び、上述の修正箇所の少なくとも一方を含む修正表示情報を、少なくとも１つ生成する（ステップＳ４３）。
【００５４】
修正表示情報の表示形式は、当該修正表示情報の可読性を高める、関連度に応じた語句を含む。算出部１３は、例えば関連度が０．８以上の場合、表示形式（１）を使用して、修正表示情報を生成する。また例えば、算出部１３は、関連度が０．６（第２の閾値）以上の場合、表示形式（２）を使用して、修正表示情報を生成する。また例えば、算出部１３は、関連度が０．３以上の場合、表示形式（３）を使用して、修正表示情報を生成する。また例えば、算出部１３は、関連度が０．２（第１の閾値）以上、かつ、０．３未満の場合、表示形式（４）を使用して、修正表示情報を生成する。
【００５５】
次に、算出部１３は、関連度が閾値（第１の閾値）以上の修正箇所を全て処理したか否かを判定する（ステップＳ４４）。全て処理していない場合（ステップＳ４４、Ｎｏ）、生成処理はステップＳ４１に戻る。全て処理した場合（ステップＳ４４、Ｙｅｓ）、生成処理は終了する。
【００５６】
＜修正表示情報の表示処理＞
図８は実施形態の表示処理の例を示すフローチャートである。はじめに、表示制御部２２が、上述の修正表示情報を表示する（ステップＳ５１）。次に、受付部２１が、ステップＳ５１の処理により表示された修正表示情報の選択を示す入力を受け付けたか否かを判定する（ステップＳ５２）。
【００５７】
選択を示す入力を受け付けなかった場合（ステップＳ５２、Ｎｏ）、表示制御部２２が、次の修正表示情報を取得し（ステップＳ５３）、ステップＳ５１の処理に戻る。
【００５８】
選択を示す入力を受け付けた場合（ステップＳ５２、Ｙｅｓ）、表示制御部２２が、ステップＳ５２の処理により選択された修正表示情報を表示部２３に表示する（ステップＳ５４）。
【００５９】
なお上述のステップＳ５２の処理は省略してもよい。すなわち表示制御部２２は、上述の式（１）により算出された関連度に応じて生成された修正表示情報を、ユーザの選択操作を受け付けずに、表示部２３に表示してもよい。ステップＳ５２の処理が省略される場合、表示制御部２２は、例えば関連度に応じて表示される修正表示情報のうち、対応する関連度が最も大きい修正表示情報を表示部２３に表示する。また、表示制御部２２は、関連度に応じて生成された複数の修正表示情報を１つずつ表示せずに、複数の修正表示情報を表示部２３に同時に表示してもよい。
【００６０】
次にステップＳ５４の処理により表示部２３に表示される修正表示情報の例について説明する。
【００６１】
＜修正表示情報の例＞
図９Ａは実施形態の修正表示情報の表示形式（表示位置）の例１を示す図である。図９Ａの例は、修正表示情報２１１と、修正箇所２０１とを関連付けずに、独立した吹き出しにより表示する場合を示す。図９Ａの例では、修正箇所２０１を含む音声認識結果が左寄せの吹き出しにより表示され、修正表示情報２１１を含む吹き出しが右寄せの吹き出しにより表示されている。図９Ａの例では、修正箇所２０１と修正表示情報２１１とが（明示的に）関連付けられていないが、修正箇所２０１を含む音声認識結果の範囲（左寄せの吹き出しに含まれる文字列）を、直感的に把握することができる。表示制御部２２は、例えば上述の式（１）により算出された関連度が第３の閾値以上、かつ、第４の閾値未満の場合、修正表示情報２１１と、修正箇所２０１とを関連付けずに表示する。
【００６２】
図９Ｂは実施形態の修正表示情報の表示形式（表示位置）の例２を示す図である。図９Ｂの例は、修正表示情報２１１と、修正箇所２０１とを関連付けた吹き出しにより表示する場合を示す。図９Ｂの例では、修正箇所２０１がボックスにより明示されている。また、修正表示情報２１１を含む吹き出しが、修正箇所２０１を起点として表示されている。表示制御部２２は、例えば上述の式（１）により算出された関連度が閾値（第３の閾値よりも大きい第４の閾値）以上の場合、修正表示情報２１１と、修正箇所２０１とを関連付けて表示する。
【００６３】
図９Ｃは実施形態の修正表示情報の表示形式（表示位置）の例３を示す図である。図９Ｃの例は、音声認識結果の表示欄と、修正表示情報の表示欄（注釈欄）とが、区切られている場合を示す。
【００６４】
修正表示情報２１１は、修正箇所２０１を含む音声認識結果を矢印で指す表示形式により表示されている。すなわち図９Ｃの例は、修正箇所２０１と修正表示情報２１１とが、（明示的には）関連付けられていない場合を示す。表示制御部２２は、例えば上述の式（１）により算出された関連度が第３の閾値以上、かつ、第４の閾値未満の場合、修正表示情報２１１と、修正箇所２０１とを関連付けずに表示する。
【００６５】
修正表示情報２１２は、修正箇所「８：００」を取消し線により明示することにより、修正箇所「８：００」と関連付けて表示されている。表示制御部２２は、例えば上述の式（１）により算出された関連度が閾値（第３の閾値よりも大きい第４の閾値）の場合、修正表示情報２１２と、修正箇所「８：００」とを関連付けて表示する。なお、修正表示情報２１２は、図７Ａに例示した表示形式（１）が使用されることにより、修正表示情報の文面からも、音声認識結果に含まれる修正箇所「８：００」がわかるように表示されている。
【００６６】
最後に実施形態のサーバ装置１０及びクライアント装置２０のハードウェア構成の例を示す図である。
【００６７】
［ハードウェア構成の例］
図１０は実施形態のサーバ装置１０及びクライアント装置２０のハードウェア構成の例を示す図である。実施形態のサーバ装置１０及びクライアント装置２０は、制御装置３０１、主記憶装置３０２、補助記憶装置３０３、表示装置３０４、入力装置３０５、通信装置３０６及びマイク３０７を備える。制御装置３０１、主記憶装置３０２、補助記憶装置３０３、表示装置３０４、入力装置３０５、通信装置３０６及びマイク３０７は、バス３１０を介して接続されている。
【００６８】
制御装置３０１は補助記憶装置３０３から主記憶装置３０２に読み出されたプログラムを実行する。主記憶装置３０２はＲＯＭ（Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）、及び、ＲＡＭ（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）等のメモリである。補助記憶装置３０３はメモリカード、及び、ＨＤＤ（Ｈａｒｄ  Ｄｉｓｋ  Ｄｒｉｖｅ）等である。
【００６９】
表示装置３０４は情報を表示する。表示装置３０４は、例えば液晶ディスプレイである。入力装置３０５は、情報の入力を受け付ける。入力装置３０５は、例えばキーボード及びマウス等である。なお表示装置３０４及び入力装置３０５は、表示機能と入力機能とを兼ねる液晶タッチパネル等でもよい。通信装置３０６は他の装置と通信する。マイク３０７は音声を取得する。
【００７０】
実施形態のサーバ装置１０及びクライアント装置２０で実行されるプログラムは、インストール可能な形式又は実行可能な形式のファイルでＣＤ−ＲＯＭ、メモリカード、ＣＤ−Ｒ、及び、ＤＶＤ（Ｄｉｇｉｔａｌ  Ｖｅｒｓａｔｉｌｅ  Ｄｉｓｋ）等のコンピュータで読み取り可能な記憶媒体に記憶されてコンピュータ・プログラム・プロダクトとして提供される。
【００７１】
また実施形態のサーバ装置１０及びクライアント装置２０で実行されるプログラムを、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成してもよい。また実施形態のサーバ装置１０及びクライアント装置２０が実行するプログラムを、ダウンロードさせずにインターネット等のネットワーク経由で提供するように構成してもよい。
【００７２】
またサーバ装置１０及びクライアント装置２０で実行されるプログラムを、ＲＯＭ等に予め組み込んで提供するように構成してもよい。
【００７３】
実施形態のサーバ装置１０及びクライアント装置２０で実行されるプログラムは、上述の修正システム１００の機能構成のうち、プログラムにより実現可能な機能を含むモジュール構成となっている。
【００７４】
プログラムにより実現される機能は、制御装置３０１が補助記憶装置３０３等の記憶媒体からプログラムを読み出して実行することにより、プログラムにより実現される機能が主記憶装置３０２にロードされる。すなわちプログラムにより実現される機能は、主記憶装置３０２上に生成される。
【００７５】
なお実施形態の修正システム１００の機能の一部又は全部を、ＩＣ（Ｉｎｔｅｇｒａｔｅｄ  Ｃｉｒｃｕｉｔ）等のハードウェアにより実現してもよい。
【００７６】
以上説明したように、実施形態の修正システム１００では、受付部２１が、音声認識結果を修正する修正情報を受け付ける。算出部１３が、音声認識結果に含まれる修正箇所を推定し、当該修正箇所と、修正情報との関連度を算出する。生成部１４が、関連度に応じた表示形式を使用して、修正情報及び修正箇所の少なくとも一方を含む修正表示情報を生成する。そして表示制御部２２が修正表示情報を表示する。
【００７７】
これにより実施形態の修正システム１００によれば、音声認識結果をリアルタイムに、適切に修正することができる。すなわちリアルタイム表示される字幕の修正に対して、編集者の作業コストを低減し、かつ、閲覧者にとって、話しの流れを妨げない可読性の高い修正結果を提示することが可能となる。
【００７８】
例えば修正システム１００のユーザ（編集者）が、リアルタイムに表示される音声認識結果に含まれる修正対象範囲を追いかけて、修正範囲を指定する必要がない。また例えば、実施形態の修正システム１００は、上述の図７Ａ〜図７Ｃのような表示形式により、修正表示情報が生成されるので、修正システム１００のユーザは、必要最小限の修正情報を入力するだけでよい。したがって従来の方法よりも素早く修正することができる。
【００７９】
また例えば、実施形態の修正システム１００は、上述の式（１）により算出された関連度に応じて、修正表示情報の表示形式（例えば図７Ａ〜図７Ｃ及び図９Ａ〜図９Ｃ参照）を変更するため、音声認識結果を適切に修正することができる。
【００８０】
実施形態の修正システム１００は、例えば講演や授業の講師の発話、また、会議等の発話音声をリアルタイムに認識及び修正することができる。例えば会場に用意された字幕表示用の機器や、手持ちのＰＣやタブレット等の表示端末に、音声認識結果及び修正表示情報を配信することにより、聴覚障がい者向けの情報保障を実現することができる。
【００８１】
２０１６年４月から施行された障がい者差別解消法等の社会的な背景も相まって、従来の人手ノートテークだけではサポートが及ばなかった用途や場所に実施形態の修正システム１００を導入する事により、情報保障の具体的な実施例としてベースラインの底上げが期待される。
【００８２】
実施形態の修正システム１００は、こうした背景に鑑みてなされたものであり、リアルタイムで出力される音声認識結果を必要に応じて修正し、少しでも正確な情報を低コストで提供することができる。
【００８３】
そのため、これまで情報保障のサポート及ばなかったような小さな規模の会議や講義、さらに業務上や受付窓口などでの対面でのやり取りでも、特段の修正スキルを必要とせずに、誤りを修正して正確に情報をやりとりすることができる。これにより健聴者と、耳が聞こえない方または聞こえにくい方とのストレスが少ないコミュニケーションが実現可能となる。
【００８４】
本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
【符号の説明】
【００８５】
１０  サーバ装置
１１  音声認識部
１２  解析部
１３  算出部
１４  生成部
２０  クライアント装置
２１  受付部
２２  表示制御部
２３  表示部
１００  修正システム
３０１  制御装置
３０２  主記憶装置
３０３  補助記憶装置
３０４  表示装置
３０５  入力装置
３０６  通信装置
３０７  マイク
３１０  バス
【図１】
2018044993.tif 000003
【図２】
2018044993.tif 000004
【図３】
2018044993.tif 000005
【図４】
2018044993.tif 000006
【図５】
2018044993.tif 000007
【図６】
2018044993.tif 000008
【図７Ａ】
2018044993.tif 000009
【図７Ｂ】
2018044993.tif 000010
【図７Ｃ】
2018044993.tif 000011
【図８】
2018044993.tif 000012
【図９Ａ】
2018044993.tif 000013
【図９Ｂ】
2018044993.tif 000014
【図９Ｃ】
2018044993.tif 000015
【図１０】
2018044993.tif 000016