(57)【要約】      （修正有）【課題】音声を認識してテキストに変換し、且つ、修正のためにリアルタイム入力状態を表示する。【解決手段】音声認識システム３００において、音声認識装置は、入力部から入力される音声を単語単位でテキストに変換して第１表示窓にリアルタイムに表示するようにし、第１表示窓に表示された単語を組み合わせて文章に形成し、リアルタイムに第２表示窓に表示する。これにより、文章が、いかなる単語の組合せによって形成されたかに対する過程を、直観的に確認でき、音声認識されて生成されたテキストの修正を容易にする。【選択図】図１
2019095644.tif 000002
【特許請求の範囲】
【請求項１】
音声を入力される音声入力部と；
前記音声入力部から入力された音声を通じてテキストに変換された単語または文章の修正のための信号を入力されるキー入力部と；
前記音声入力部から入力される音声をテキストに変換した単語を表示する第１表示窓および前記第１表示窓に表示される前記単語を組み合わせた文章を表示する第２表示窓を含む表示部と；
前記音声入力部から入力される音声を単語単位でテキストに変換して前記第１表示窓にリアルタイムに表示するようにし、前記第１表示窓に表示された単語を組み合わせて文章に形成し、リアルタイムに第２表示窓に表示する制御部と；を含み、
前記制御部は、前記第１表示窓にリアルタイムに表示される単語の末尾に表示され、前記単語の入力状態を示す第１カーソルを前記第１表示窓に表示するようにし、前記第２表示窓にリアルタイムに表示される組合わせられた文章の末尾に表示され、前記文章の入力状態を示す第２カーソルを前記第２表示窓に表示するようにし、前記キー入力部の信号によって修正のための第３カーソルを移動させて前記第１表示窓または前記第２表示窓に表示し、
前記制御部は、前記第１表示窓または前記第２表示窓に表示される単語のうち認識不可能な単語に対して文字数が識別されるように文字数に相当する分の特殊文字を表示することを特徴とする音声認識装置。
【請求項２】
前記制御部は、前記第１表示窓または前記第２表示窓に表示される単語のうち認識率が既定の値より低い単語に対して識別されるように表示することを特徴とする請求項１に記載の音声認識装置。
【請求項３】
前記制御部は、前記第１表示窓または前記第２表示窓に表示される単語のうち認識率が既定の値より低い単語に対して認識率の値を前記認識率が低い単語の側方に表示することを特徴とする請求項２に記載の音声認識装置。
【請求項４】
前記認識率の値は、認識率によって０〜１まで表現した数値であることを特徴とする請求項３に記載の音声認識装置。
【請求項５】
前記制御部は、前記第１表示窓または前記第２表示窓に表示される単語のうち認識率が既定の値より低い単語に対してサイズまたは色を異にして表示することを特徴とする請求項１に記載の音声認識装置。
【請求項６】
外国語の単語を保存する保存部；をさらに含み、
前記制御部は、前記音声入力部から外国語の音声が入力される場合、前記外国語の音声を前記保存部に保存された外国語の単語のうちマッチングされる外国語の単語に変換して前記第１表示窓または前記第２表示窓に表示することを特徴とする請求項１に記載の音声認識装置。
【請求項７】
前記制御部は、前記音声入力部から外国語の音声が入力される場合、前記外国語の音声を発音する通りに表示し、且つ、前記キー入力部により前記第３カーソルが、前記発音する通りに表示された単語に移動すると、前記保存部に保存された外国語の単語のうちマッチングされる少なくとも一つの外国語の単語を選択できる選択窓を前記第１表示窓または前記第２表示窓に提供することを特徴とする請求項６に記載の音声認識装置。
【請求項８】
前記制御部は、前記第１表示窓に表示された単語を組み合わせて文章に形成し、時間別に前記第２表示窓に表示することを特徴とする請求項１に記載の音声認識装置。
【請求項９】
前記制御部は、時間別に表示された前記文章に対する認識率を前記第２表示窓に表示することを特徴とする請求項１に記載の音声認識装置。
【請求項１０】
前記表示部は、
前記第２表示窓に時間別に表示された文章を統合して表示する第３表示窓；
をさらに含むことを特徴とする請求項１に記載の音声認識装置。
【請求項１１】
音声を含むコンテンツを提供するコンテンツ提供サーバーと；
前記コンテンツ提供サーバーからコンテンツを受信し、前記コンテンツに含まれた音声を入力される音声入力部と、前記音声入力部から入力された音声を通じてテキストに変換された単語または文章の修正のための信号を入力されるキー入力部と、前記音声入力部から入力される音声をテキストに変換した単語を表示する第１表示窓および前記第１表示窓に表示される前記単語を組み合わせた文章を表示する第２表示窓を含む表示部と、前記音声入力部から入力される音声を単語単位でテキストに変換して前記第１表示窓にリアルタイムに表示するようにし、前記第１表示窓に表示された単語を組み合わせて文章に形成してリアルタイムに第２表示窓に表示する制御部とを含む音声認識装置と；を備え、
前記制御部は、前記第１表示窓にリアルタイムに表示される単語の末尾に表示され、前記単語の入力状態を示す第１カーソルを前記第１表示窓に表示するようにし、前記第２表示窓にリアルタイムに表示される組合わせられた文章の末尾に表示され、前記文章の入力状態を示す第２カーソルを前記第２表示窓に表示するようにし、前記キー入力部の信号によって修正のための第３カーソルを移動させて前記第１表示窓または前記第２表示窓に表示し、
前記制御部は、前記第１表示窓または前記第２表示窓に表示される単語のうち認識不可能な単語に対し文字数が識別されるように文字数に相当する分の特殊文字を表示することを特徴とする音声認識システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、音声認識装置に関し、より詳細には、音声を認識してテキストに変換し、且つ、修正のためにリアルタイム入力状態を表示するための音声認識装置およびシステムに関する。
【背景技術】
【０００２】
最近、スマートフォンにおいて、音声認識技術が大衆化しており、スマートウォッチのようなウェラブル装置においては、音声認識を最も主要な文字入力手段として活用するものと予想される。
【０００３】
音声認識技術は、音声認識で入力を行う場合、これを単語別に認識し、認識された単語を組み合わせて文章に形成して、テキスト形式でユーザーに提供する。
【０００４】
しかし、音声認識技術は、かなり以前から開発されてきた技術にもかかわらず、正確な音声認識を通じてテキストに置換されて入力されるに際して、未だエラーが多数発生している。
【０００５】
これにより、認識されたテキストが意図と異なるか、エラーがある場合、これを修正しなければならない。
【０００６】
一般的に、このようなテキストを修正するためには、キーボードを利用してバックスペースキーを用いて文字単位でテキストの一部を削除して修正したり、口述された単位で一度に入力されたテキスト全体を削除し、口述を再び行って再入力する方法で以前のエラーを修正する。
【０００７】
このようなテキスト修正方法は、キーボードを用いてバックスペースキーを複数回押圧してテキストを文字単位で消し、再び入力するなど、繁雑な動作が伴うようになる。
【０００８】
また、口述された単位で再び入力することは、間違って認識されたテキストだけでなく、認識に問題がない部分まで再び行って再入力したり、同じエラーが再び発生する問題点が発生し得る。
【０００９】
なお、従来の音声認識装置は、最終的に単語の組合せによって形成された文章をテキスト形式で表すので、修正のためのユーザーの立場では、いかなる形態の単語を組み合わせて文章が形成されたかを確認できないという問題点があった。
【先行技術文献】
【特許文献】
【００１０】
【特許文献１】韓国特許登録第１０−１１５４０１１号公報
【発明の概要】
【発明が解決しようとする課題】
【００１１】
したがって、本発明の目的は、音声が入力されると、いかなる単語の組合せによっていかなる文章が形成されたかに対する過程を直観的に確認することができ、音声認識されて生成されたテキストの修正を容易に行うことができる音声認識装置およびシステムを提供することにある。
【課題を解決するための手段】
【００１２】
本発明による音声認識装置は、音声を入力される音声入力部と、前記音声入力部から入力された音声を通じてテキストに変換された単語または文章の修正のための信号を入力されるキー入力部と、前記音声入力部から入力される音声をテキストに変換した単語を表示する第１表示窓および前記第１表示窓に表示される前記単語を組み合わせた文章を表示する第２表示窓を含む表示部と、前記音声入力部から入力される音声を単語単位でテキストに変換して前記第１表示窓にリアルタイムに表示するようにし、前記第１表示窓に表示された単語を組み合わせて文章に形成し、リアルタイムに第２表示窓に表示する制御部とを含み、前記制御部は、前記第１表示窓にリアルタイムに表示される単語の末尾に表示され、前記単語の入力状態を示す第１カーソルを前記第１表示窓に表示するようにし、前記第２表示窓にリアルタイムに表示される組合わせられた文章の末尾に表示され、前記文章の入力状態を示す第２カーソルを前記第２表示窓に表示するようにし、前記キー入力部の信号によって修正のための第３カーソルを移動させて前記第１表示窓または前記第２表示窓に表示し、前記制御部は、前記第１表示窓または前記第２表示窓に表示される単語のうち認識不可能な単語に対して文字数が識別されるように文字数に相当する分の特殊文字を表示することを特徴とする。
【００１３】
本発明による音声認識装置において、前記制御部は、前記第１表示窓または前記第２表示窓に表示される単語のうち認識率が既定の値より低い単語に対して識別されるように表示することを特徴とする。
【００１４】
本発明による音声認識装置において、前記制御部は、前記第１表示窓または前記第２表示窓に表示される単語のうち認識率が既定の値より低い単語に対して認識率の値を前記認識率が低い単語の側方に表示することを特徴とする。
【００１５】
本発明による音声認識装置において、前記認識率の値は、認識率によって０〜１まで表現した数値であることを特徴とする。
【００１６】
本発明による音声認識装置において、前記制御部は、前記第１表示窓または前記第２表示窓に表示される単語のうち認識率が既定の値より低い単語に対してサイズまたは色を異にして表示することを特徴とする。
【００１７】
本発明による音声認識装置において、外国語の単語を保存する保存部をさらに含み、前記制御部は、前記音声入力部から外国語の音声が入力される場合、前記外国語の音声を前記保存部に保存された外国語の単語のうちマッチングされる外国語の単語に変換して前記第１表示窓または前記第２表示窓に表示することを特徴とする。
【００１８】
本発明による音声認識装置において、前記制御部は、前記音声入力部から外国語の音声が入力される場合、前記外国語の音声を発音する通りに表示し、且つ、前記キー入力部により、前記第３カーソルが、前記発音する通りに表示された単語に移動すると、前記保存部に保存された外国語の単語のうちマッチングされる少なくとも一つの外国語の単語を選択できる選択窓を前記第１表示窓または前記第２表示窓に提供することを特徴とする。
【００１９】
本発明による音声認識装置において、前記制御部は、前記第１表示窓に表示された単語を組み合わせて文章に形成し、時間別に前記第２表示窓に表示することを特徴とする。
【００２０】
本発明による音声認識装置において、前記制御部は、時間別に表示された前記文章に対する認識率を前記第２表示窓に表示することを特徴とする。
【００２１】
本発明による音声認識装置において、前記表示部は、前記第２表示窓に時間別に表示された文章を統合して表示する第３表示窓をさらに含むことを特徴とする。
【００２２】
本発明による音声認識システムは、音声を含むコンテンツを提供するコンテンツ提供サーバーと；前記コンテンツ提供サーバーからコンテンツを受信し、前記コンテンツに含まれた音声を入力される音声入力部と、前記音声入力部から入力された音声を通じてテキストに変換された単語または文章の修正のための信号を入力されるキー入力部と、前記音声入力部から入力される音声をテキストに変換した単語を表示する第１表示窓および前記第１表示窓に表示される前記単語を組み合わせた文章を表示する第２表示窓を含む表示部と、前記音声入力部から入力される音声を単語単位でテキストに変換して前記第１表示窓にリアルタイムに表示するようにし、前記第１表示窓に表示された単語を組み合わせて文章に形成し、リアルタイムに第２表示窓に表示する制御部とを含む音声認識装置と；を備え、前記制御部は、前記第１表示窓にリアルタイムに表示される単語の末尾に表示され、前記単語の入力状態を示す第１カーソルを前記第１表示窓に表示するようにし、前記第２表示窓にリアルタイムに表示される組合わせられた文章の末尾に表示され、前記文章の入力状態を示す第２カーソルを前記第２表示窓に表示するようにし、前記キー入力部の信号によって修正のための第３カーソルを移動させて前記第１表示窓または前記第２表示窓に表示し、前記制御部は、前記第１表示窓または前記第２表示窓に表示される単語のうち認識不可能な単語に対して文字数が識別されるように文字数に相当する分の特殊文字を表示することを特徴とする。
【発明の効果】
【００２３】
本発明による音声認識装置は、入力部から入力される音声を単語単位でテキストに変換して第１表示窓にリアルタイムに表示するようにし、第１表示窓に表示された単語を組み合わせて文章に形成し、リアルタイムに第２表示窓に表示することによって、文章がいかなる単語の組合せによって形成されたかに対する過程を直観的に確認できるようにすることによって、音声認識されて生成されたテキストの修正を容易にすることができる。
【００２４】
本発明による音声認識装置は、音声認識されて表示される単語のうち認識率が低い単語に対して識別されるように表示することによって、音声認識されて生成されたテキストの修正を容易にすることができる。
【００２５】
本発明による音声認識装置は、音声認識されて表示される単語のうち認識不可能な単語に対して文字数が識別されるように表示することによって、音声認識されて生成されたテキストの修正を容易にすることができる。
【００２６】
本発明による音声認識装置は、外国語の音声が入力される場合、外国語の音声を保存部に保存された外国語の単語のうちマッチングされる外国語の単語に変換して表示することによって、テキストを削除後に修正しなくても、外国語の単語に対する変換が可能になり得る。
【図面の簡単な説明】
【００２７】
【図１】図１は、本発明の実施形態による音声認識システムの構成を示すブロック図である。
【図２】図２は、本発明の実施形態による音声認識装置の構成を示すブロック図である。
【図３】図３は、本発明の実施形態による音声認識装置の表示部を示す例示図である。
【図４】図４は、本発明の他の実施形態による音声認識装置の構成を示すブロック図である。
【図５】図５は、本発明の他の実施形態による音声認識装置の表示部を示す例示図である。
【図６】図６は、本発明の他の実施形態による音声認識装置の表示部を示す例示図である。
【発明を実施するための形態】
【００２８】
下記の説明では、本発明の実施形態を理解するのに必要な部分だけが説明され、その他の部分の説明は、本発明の要旨を不明にしないように省略されることを留意しなければならない。
【００２９】
以下で説明される本明細書及び請求範囲に使用された用語や単語は、通常的または辞書的な意味に限定して解釈されてはならず、発明者は、自分の発明を最も最善の方法で説明するための用語の概念として適切に定義できるという原則に基づいて、本発明の技術的思想に符合する意味と概念として解釈されなければならない。したがって、本明細書に記載された実施形態と図面に示された構成は、本発明の最も好ましい一実施形態に過ぎず、本発明の技術的思想をすべて代弁するものではないので、本出願時点においてこれらを代替できる多様な均等物と変形例があり得ることを理解しなければならない。
【００３０】
以下、添付の図面を参照して本発明の実施形 態をより詳しく説明する。
【００３１】
図１は、本発明の実施形態による音声認識システムの構成を示すブロック図である。
【００３２】
図１を参照すると、本発明の実施形態による音声認識システム３００は、コンテンツ提供サーバー２００および音声認識装置１００を含む。
【００３３】
コンテンツ提供サーバー２００は、音声が含まれたオーディオファイルまたは動画ファイルを音声認識装置１００に提供することができる。例えばコンテンツ提供サーバー２００は、放送局サーバーまたは国会サーバーなどになり得る。ここで、コンテンツ提供サーバー２００は、オーディオファイルまたは動画ファイルを音声認識装置１００に伝達し、オーディオファイルまたは動画ファイルに含まれた音声をテキストに変換して、さらに伝達され得る。コンテンツ提供サーバー２００は、音声認識装置１００から伝達されたテキストを字幕として使用することができる。
【００３４】
音声認識装置１００は、コンテンツ提供サーバー２００から音声が含まれたオーディオファイルまたは動画ファイルを伝達される。音声認識装置１００は、コンテンツ提供サーバー２００から伝達されたオーディオファイルまたは動画ファイルで音声を認識してテキスト形式に変換する。
【００３５】
音声認識装置１００は、音声が入力されると、音声から認識に必要な特徴ベクトルを抽出する。ここで特徴ベクトルは、音声学的特性は十分に示し、その他の要素、すなわち背景雑音、話者の差異、発音態度などには、鈍感に設定される。その後、音声認識装置１００は、特徴ベクトルを保存された単語モデル、すなわち各単語の音声学的特徴またはそれより短く音素単位の音響モデルとの比較を通じて可能な単語に対する場合を抽出するパターン分類過程を行う。ここで、音声認識装置１００は、パターン分類過程を通じて認識率が最も高い単語を画面上の特定窓に表示することができる。
【００３６】
また、音声認識装置１００は、パターン分類過程を経た結果を一連の候補単語または候補音素の形態で文章単位の検索を実施する。ここで、音声認識装置１００は、候補単語または候補音素の情報に基づいて文法構造、全体的な文章文脈、特定の主題へ符合可否を判断し、どんな単語や音素が最も適切であるかを判断する。音声認識装置１００は、このような過程を経て完成された文章を画面上の特定窓に表示することができる。
【００３７】
すなわち本発明の実施形態による音声認識装置１００は、前記の過程を介して得られた単語と、文章をそれぞれ独立した窓にリアルタイムに表示することができる。
【００３８】
また、音声認識装置１００は、ユーザーからキー入力動作を入力されて、それぞれ独立した窓にリアルタイムに表示された単語と文章を修正するようにすることができる。音声認識装置１００は、修正されて完成された音声認識結果を保存するか、コンテンツ提供サーバー２００にさらに提供することができる。
【００３９】
以下、本発明の実施形態による音声認識装置１００についてさらに詳しく説明する。
【００４０】
図２は、本発明の実施形態による音声認識装置の構成を示すブロック図であり、図３は、本発明の実施形態による音声認識装置の表示部を示す例示図である。
【００４１】
図１〜図３を参照すると、本発明の実施形態による音声認識装置１００は、通信部５０、入力部１０、表示部２０、保存部３０および制御部４０を含む。
【００４２】
通信部５０は、コンテンツ提供サーバー２００からオーディオファイルまたは動画ファイルを伝達され得る。このような通信部５０は、有無線通信を介してコンテンツ提供サーバー２００からオーディオファイルまたは動画ファイルを伝達されるか、音声認識が完了したテキストをさらにコンテンツ提供サーバー２００に伝達することができる。
【００４３】
入力部１０は、音声入力部１１およびキー入力部１２を含むことができる。
【００４４】
音声入力部１１は、コンテンツ提供サーバー２００からオーディオファイルまたは動画ファイルを伝達されると、オーディオファイルまたは動画ファイルに含まれた音声を入力され得る。また、音声入力部１１は、マイク（Ｍｉｃｒｏｐｈｏｎｅ）で構成され、ユーザーの音声を入力され得る。
【００４５】
キー入力部１２は、数字および文字情報などの多様な情報を入力され、各種機能を設定および音声認識装置１００の機能制御と関連して入力される信号を制御部４０に伝達する。また、キー入力部１２は、第３カーソル３０ｃを移動させて音声認識されて表示部２０に表示されたテキストを修正するための信号を入力され得る。例えば、キー入力部１２は、キーボード、キーパッド、マウス、ジョイステックなどのような入力装置になり得、好ましくは、間違って認識された単語または文章を早く修正できる速記キーボードになり得る。
【００４６】
表示部２０は、音声認識装置１００の機能実行中に発生する一連の動作状態および動作結果などに対する情報を表示する。また、表示部２０は、音声認識装置１００のメニューおよびユーザーが入力したユーザーデータなどを表示することができる。ここで、表示部２０は、液晶表示装置（ＬＣＤ、Ｌｉｑｕｉｄ  Ｃｒｙｓｔａｌ  Ｄｉｓｐｌａｙ）、超薄膜液晶表示装置（ＴＦＴ−ＬＣＤ、Ｔｈｉｎ  Ｆｉｌｍ  Ｔｒａｎｓｉｓｔｏｒ  ＬＣＤ）、発光ダイオード（ＬＥＤ、Ｌｉｇｈｔ  Ｅｍｉｔｔｉｎｇ  Ｄｉｏｄｅ）、有機発光ダイオード（ＯＬＥＤ、Ｏｒｇａｎｉｃ  ＬＥＤ）、能動型有機発光ダイオード（ＡＭＯＬＥＤ、Ａｃｔｉｖｅ  Ｍａｔｒｉｘ  ＯＬＥＤ）、レチナディスプレイ（Ｒｅｔｉｎａ  Ｄｉｓｐｌａｙ）、フレキシブルディスプレイ（Ｆｌｅｘｉｂｌｅ  ｄｉｓｐｌａｙ）および３次元（３  Ｄｉｍｅｎｓｉｏｎ）ディスプレイなどで構成され得る。
【００４７】
このような表示部２０は、第１表示窓２１および第２表示窓２２を含むことができる。
【００４８】
第１表示窓２１は、音声入力部１１に入力された音声から抽出された特徴ベクトルと、既保存の単語モデルとを比較して得られた結果を表示する。すなわち第１表示窓２１は、制御部４０により行われるパターン分類の結果物をリアルタイムに画面上に表示することができる。第１表示窓２１は、パターン分類されて得られた結果物である単語を蓄積表示し、既定の蓄積範囲が経過すると、経過した単語は、削除され、リアルタイムに新しい単語を追加表示する。すなわち第１表示窓２１は、音声認識過程で文章を作るための前段階である各単語別の認識状態を表示することができる。ここで、第１表示窓２１は、パターン分類されて表示される単語のリアルタイム入力状態を表示するための第１カーソル２０ａを単語の末尾に表示することができる。
【００４９】
第２表示窓２２は、音声入力されてパターン分類過程を経た結果を一連の候補単語または候補音素の形態で文章単位の検索を実施し、候補単語または候補音素の情報に基づいて文法構造、全体的な文章文脈、特定の主題への符合可否を判断した結果物、すなわち文章を画面上に表示することができる。このような第２表示窓２２は、単語の組合せで形成された文章をリアルタイムに表示することができる。ここで、第２表示窓２２は、単語の組合せで形成された文章のリアルタイム入力状態を表示するための第２カーソル２０ｂを文章の末尾に表示することができる。また、第２表示窓２２は、文章の修正のために移動する第３カーソル２０ｃを表示することができる。
【００５０】
保存部３０は、音声認識装置１００の機能動作に必要なアプリケーションプログラムを保存する。ここで、保存部３０は、ユーザーの要請に応して各機能を活性化する場合、制御部４０の制御の下に当該アプリケーションプログラムを実行して各機能を提供する。ここで、保存部３０は、パターン分類に使用される単語モデル、すなわち各単語の音声学的特徴または音素単位の音響モデルを保存する。また、保存部３０は、文法構造情報、文章文脈情報、特定主題情報などを保存する。また、保存部３０は、外国語ＤＢ３１に保存することができる。すなわち保存部３０は、音声入力部１１を介して外国語の音声が入力される場合、マッチングさせることができる外国語の単語を保存し、制御部４０の制御の下にマッチングされる外国語の単語を提供することができる。
【００５１】
制御部４０は、音声入力部１１から音声が入力されると、パターン分類を通じて得られた単語を第１表示窓２１に表示されるようにし、パターン分類を通じて得られた単語を組み合わせた文章を第２表示窓２２に表示されるようにすることができる。
【００５２】
このような制御部４０は、パターン分類モジュール４１および言語処理モジュール４２を含む。
【００５３】
パターン分類モジュール４１は、音声入力部１１を介して入力された音声から必要な特徴ベクトルを抽出する。ここで、特徴ベクトルは、音声学的特性は十分に示し、その他の要素、すなわち背景雑音、話者の差異、発音態度などには、鈍感に設定される。その後、パターン分類モジュール４１は、保存部３０に保存されている単語モデル、すなわち各単語の音声学的特徴またはそれより短く音素単位の音響モデルとの比較を通じて可能な単語に対する場合を抽出する。すなわちパターン分類モジュール４１は、保存部３０に保存された音響モデルとのパターン比較を通じて適当な候補単語を選定する。パターン分類モジュール４１は、選定された候補単語のうち認識率が最も高い単語を第１表示窓２１を介して表示するようにする。ここで、パターン分類モジュール４１は、第１表示窓２１にリアルタイムに表示される単語の末尾に表示され、単語の入力状態を示す第１カーソル２０ａを前記第１表示窓２１に表示するようにするようにする。
【００５４】
また、パターン分類モジュール４１は、パターン分類過程を経て第１表示窓２１に表示される単語のうち認識率が既定の値より低い単語に対して識別されるように表示することができる。すなわちパターン分類モジュール４１は、第１表示窓２１に表示される単語のうち認識率が既定の値より低い単語に対してその認識率の値を単語の側方に表示することができる。ここで、認識率の値は、認識率によって０〜１まで表現した数値を意味する。例えば、パターン分類モジュール４１は、単語の認識率の値が０．８未満の単語に対して認識率の値を表示することができる。例えばパターン分類モジュール４１は、音声入力部１１から、表１上段の単語が入力されると、認識率が低い場合、誤認識して図３のａのように誤って表示され得る（表１下段も参照）。この場合、パターン分類モジュール４１は、ａのように単語の側方に認識率を表示することができる。
【００５５】
【表１】
2019095644.tif 000003
【００５６】
例えば、パターン分類モジュール４１は音声入力部１１から「災難（さいなん）」という単語が入力されると、認識率が低い場合、誤認識して図５のaのように「苛む（さいなむ）」で表示され得る。この場合、パターン分類モジュール４１は、ａのように単語の側方に認識率を表示することができる。
【００５７】
また、パターン分類モジュール４１は、認識率の値が既定の値より低い単語に対して色またはサイズを異にして表示することができる。
【００５８】
このように、本発明による音声認識装置１００は、パターン分類モジュール４１を介して音声認識されて表示される単語のうち認識率が低い単語に対して識別されるように表示することによって、音声認識されて生成されたテキストの修正を容易にすることができる。
【００５９】
また、パターン分類モジュール４１は、認識不可能な単語に対して、単語の文字数を識別できるように表示することができる。すなわちパターン分類モジュール４１は、認識不可能な単語に対して文字数に合うように特殊文字を表示するようにすることができる。例えば、パターン分類モジュール４１は、「???」という音声が入力されるが、認識が不可能な場合、図３のｂのように、文字数が識別可能に「？？？」で表示することができる。
【００６０】
例えば、パターン分類モジュール４１は、「学校（がっこう）」という音声が入力されるが、認識が不可能な場合、図３のｂのように、文字数が識別可能に「？？？？」で表示することができる。
【００６１】
このように本発明による音声認識装置１００は、パターン分類モジュール４１を介して音声認識されて表示される単語のうち認識不可能な単語に対して文字数が識別されるように表示することによって、音声認識されて生成されたテキストの修正を容易にすることができる。
【００６２】
また、パターン分類モジュール４１は、音声入力部１１から外国語の音声が入力される場合、外国語の音声を保存部３０に保存された外国語の単語のうちマッチングされる外国語の単語に変換して第１表示窓２１または第２表示窓２２に表示することができる。例えば、パターン分類モジュール４１は、図３のｃのように、マッチングされる外国語の単語を発音する通りに表示された単語の側方に表示することができる。
【００６３】
言語処理モジュール４２は、パターン分類モジュール４１でパターン分類過程を経た結果を一連の候補単語または候補音素の形態で文章単位の検索を実施する。ここで、言語処理モジュール４２は、候補単語または候補音素の情報に基づいて文法構造、全体的な文章文脈、特定の主題への符合可否を判断し、どんな単語や音素が最も適切であるかを判断する。その後、言語処理モジュール４２は、最も適切な単語を混合して文章を形成する。ここで、言語処理モジュール４２は、生成された文章をリアルタイムに第２表示窓２２に表示することができる。
【００６４】
ここで言語処理モジュール４２は、第２表示窓２２に単語の組合せで形成された文章のリアルタイム入力状態を表示するための第２カーソル２０ｂを文章の末尾に表示するようにすることができる。また、言語処理モジュール４２は、第２表示窓２２に文章の修正のために移動する第３カーソル２０ｃを表示することができる。ここで、第３カーソル２０ｃは、キー入力部１２の入力によって移動することができる。
【００６５】
また、言語処理モジュール４２は、パターン分類モジュール４１のように、認識率が低い単語に対して識別可能に表示することができ、認識不可能な単語に対して文字数を識別できるように表示することができ、外国語の単語に対して保存部３０に保存されたマッチングされる外国語の単語に変換し、第２表示窓２２に表示するようにすることができる。なお、認識率が低い単語、認識不可能な単語および外国語の単語に対する機能は、前述したパターン分類モジュール４１と同一なので、同じ説明は省略する。
【００６６】
以下、本発明の他の実施形態による音声認識装置について説明する。
【００６７】
図４は、本発明の他の実施形態による音声認識装置の構成を示すブロック図であり、図５および図６は、本発明の他の実施形態による音声認識装置の表示部を示す例示図である。
【００６８】
なお、図４〜図６を参照すると、本発明の他の実施形態による音声認識装置４００は、前述した本発明の実施形態による音声認識装置１００と表示部１２０の構成を除いて、実質的に同じ構成を有する。したがって、同じ構成に対する説明は省略し、同じ構成に対しては、同じ参照符号を付与する。
【００６９】
本発明の他の実施形態による音声認識装置の表示部１２０は、第１表示窓１２１および第２表示窓１２２を含むことができ、第２表示窓１２２で完成された文章を示す第３表示窓１２３をさらに含むことができる。
【００７０】
第１表示窓１２１は、音声入力部１１で入力された音声から抽出された特徴ベクトルと、既保存の単語モデルとを比較して得られた結果を表示する。すなわち第１表示窓１２１は、制御部４０により行われるパターン分類の結果物をリアルタイムに画面上に表示することができる。第１表示窓１２１は、パターン分類されて得られた結果物である単語を蓄積表示し、既定の蓄積範囲が経過すると、経過した単語は、削除され、リアルタイムに新しい単語を追加表示する。すなわち第１表示窓１２１は、音声認識過程で文章を作るための前段階である各単語別の認識状態を表示することができる。ここで、第１表示窓１２１は、パターン分類されて表示される単語のリアルタイム入力状態を表示するための第１カーソル２０ａを単語の末尾に表示することができる。
【００７１】
第２表示窓１２２は、音声入力されてパターン分類過程を経た結果を一連の候補単語または候補音素の形態で文章単位の検索を実施し、候補単語または候補音素の情報に基づいて文法構造、全体的な文章文脈、特定の主題への符合可否を判断した結果物、すなわち文章を画面上に表示することができる。このような第２表示窓１２２は、単語の組合せで形成された文章を時間別に表示することができる。このような第２表示窓１２２は、表の形態で多様な項目を提供し、項目に符合する内容を表示することができる。例えば、第２表示窓１２２は、時間、テキスト、バイトまたは認識率を表示することができる。ここで、テキストは、単語の組合せで形成された文章を意味し、時間は、入力される音声の時間と符合して表示することができる。また、バイトは、文章の長さを意味し、認識率は、文章に対する音声認識率を示す。ここで、第２表示窓１２２は、単語の組合せで形成された文章のリアルタイム入力状態を表示するための第２カーソル２０ｂを文章の末尾に表示することができる。また、第２表示窓１２２は、文章の修正のために移動する第３カーソル２０ｃを表示することができる。
【００７２】
第３表示窓１２３は、第２表示窓１２２に時間別に表示されたそれぞれの文章を組み合わせて文段または段落で表示することができる。ここで、第３表示窓１２３は、第２表示窓１２２に表示された文章で修正が完了した結果を表示することができる。また、第３表示窓１２３は、キー入力部１２の入力によって制御部４０の制御の下に第３カーソル２０ｃを完成された文章に表示して修正するようにすることができる。
【００７３】
なお、図６に示されたように、本発明の他の実施形態による表示部１２０は、制御部４０の制御の下に、音声入力部１１から外国語の音声が入力される場合、外国語の音声を発音する通りに表示し、且つ、キー入力部１２により第３カーソル２０ｃが発音する通りに表示された単語に移動すると、保存部３０に保存された外国語の単語のうちマッチングされる少なくとも一つの外国語の単語を選択できる選択窓１２４を第１表示窓１２１または第２表示窓１２２に表示することができる。
【００７４】
例えば、図６のｃに示されたように、音声入力を通じて「マクロン」が入力されると、第２表示窓１２２に「マクロン」で表示し、且つ、第３カーソル２０ｃを単語に移動すると、保存部３０に保存されている「Macron」および「Emmanuel Macron」のうち一つを選択できる選択窓１２４を表示することができる。
【００７５】
なお、本明細書と図面に開示された実施形態は、理解を助けるために特定例を提示したものに過ぎず、本発明の範囲を限定しようとするものではない。ここに開示された実施形態以外にも、本発明の技術的思想に基づく他の変形例が実施可能であることは、本発明の属する技術分野における通常の知識を有する者には自明である。
【符号の説明】
【００７６】
１０  入力部
１１  音声入力部
１２  キー入力部
２０、１２０  表示部
２０ａ  第１カーソル
２０ｂ  第２カーソル
２０ｃ  第３カーソル
２１、１２１  第１表示窓
２２、１２２  第２表示窓
２３、１２３  第３表示窓
１２４  選択窓
３０  保存部
３１  外国語ＤＢ
４０  制御部
５０  通信部
１００、４００  音声認識装置
２００  コンテンツ提供サーバー
３００  音声認識システム
【図１】
2019095644.tif 000004
【図２】
2019095644.tif 000005
【図３】
2019095644.tif 000006
【図４】
2019095644.tif 000007
【図５】
2019095644.tif 000008
【図６】
2019095644.tif 000009
【手続補正書】
【提出日】平成31年2月15日(2019.2.15)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
音声を入力される音声入力部と；
前記音声入力部から入力された音声を通じてテキストに変換された単語または文章の修正のための信号を入力するためのキー入力部と；
前記音声入力部から入力される音声をテキストに変換した単語を表示する第１表示窓および前記第１表示窓に表示される前記単語を組み合わせた文章を表示する第２表示窓を含む表示部と；
前記音声入力部から入力される音声を単語単位でテキストに変換して前記第１表示窓にリアルタイムに表示するようにし、前記第１表示窓に表示された単語を組み合わせて文章に形成し、リアルタイムに第２表示窓に表示する制御部と；を含み、
前記制御部は、前記第１表示窓にリアルタイムに表示される単語の末尾に表示され、前記単語の入力状態を示す第１カーソルを前記第１表示窓に表示するようにし、前記第２表示窓にリアルタイムに表示される組合わせられた文章の末尾に表示され、前記文章の入力状態を示す第２カーソルを前記第２表示窓に表示するようにし、前記キー入力部の信号によって修正のための第３カーソルを移動させて前記第１表示窓または前記第２表示窓に表示し、
前記制御部は、前記第１表示窓または前記第２表示窓に表示される単語のうち認識不可能な単語に対して文字数が識別されるように文字数に相当する分の特殊文字を表示することを特徴とする音声認識装置。
【請求項２】
前記制御部は、前記第１表示窓または前記第２表示窓に表示される単語のうち認識率が既定の値より低い単語に対して識別されるように表示することを特徴とする請求項１に記載の音声認識装置。
【請求項３】
前記制御部は、前記第１表示窓または前記第２表示窓に表示される単語のうち認識率が既定の値より低い単語に対して認識率の値を前記認識率が低い単語の側方に表示することを特徴とする請求項２に記載の音声認識装置。
【請求項４】
前記認識率の値は、認識率によって０〜１まで表現した数値であることを特徴とする請求項３に記載の音声認識装置。
【請求項５】
前記制御部は、前記第１表示窓または前記第２表示窓に表示される単語のうち認識率が既定の値より低い単語に対してサイズまたは色を異にして表示することを特徴とする請求項１に記載の音声認識装置。
【請求項６】
外国語の単語を保存する保存部；をさらに含み、
前記制御部は、前記音声入力部から外国語の音声が入力される場合、前記外国語の音声を前記保存部に保存された外国語の単語のうちマッチングされる外国語の単語に変換して前記第１表示窓または前記第２表示窓に表示することを特徴とする請求項１に記載の音声認識装置。
【請求項７】
前記制御部は、前記音声入力部から外国語の音声が入力される場合、前記外国語の音声を発音する通りに表示し、且つ、前記キー入力部により前記第３カーソルが、前記発音する通りに表示された単語に移動すると、前記保存部に保存された外国語の単語のうちマッチングされる少なくとも一つの外国語の単語を選択できる選択窓を前記第１表示窓または前記第２表示窓に提供することを特徴とする請求項６に記載の音声認識装置。
【請求項８】
前記制御部は、前記第１表示窓に表示された単語を組み合わせて文章に形成し、時間別に前記第２表示窓に表示することを特徴とする請求項１に記載の音声認識装置。
【請求項９】
前記制御部は、時間別に表示された前記文章に対する認識率を前記第２表示窓に表示することを特徴とする請求項１に記載の音声認識装置。
【請求項１０】
前記表示部は、
前記第２表示窓に時間別に表示された文章を統合して表示する第３表示窓；
をさらに含むことを特徴とする請求項１に記載の音声認識装置。
【請求項１１】
音声を含むコンテンツを提供するコンテンツ提供サーバーと；
前記コンテンツ提供サーバーからコンテンツを受信し、前記コンテンツに含まれた音声を入力される音声入力部と、前記音声入力部から入力された音声を通じてテキストに変換された単語または文章の修正のための信号を入力するためのキー入力部と、前記音声入力部から入力される音声をテキストに変換した単語を表示する第１表示窓および前記第１表示窓に表示される前記単語を組み合わせた文章を表示する第２表示窓を含む表示部と、前記音声入力部から入力される音声を単語単位でテキストに変換して前記第１表示窓にリアルタイムに表示するようにし、前記第１表示窓に表示された単語を組み合わせて文章に形成してリアルタイムに第２表示窓に表示する制御部とを含む音声認識装置と；を備え、
前記制御部は、前記第１表示窓にリアルタイムに表示される単語の末尾に表示され、前記単語の入力状態を示す第１カーソルを前記第１表示窓に表示するようにし、前記第２表示窓にリアルタイムに表示される組合わせられた文章の末尾に表示され、前記文章の入力状態を示す第２カーソルを前記第２表示窓に表示するようにし、前記キー入力部の信号によって修正のための第３カーソルを移動させて前記第１表示窓または前記第２表示窓に表示し、
前記制御部は、前記第１表示窓または前記第２表示窓に表示される単語のうち認識不可能な単語に対し文字数が識別されるように文字数に相当する分の特殊文字を表示することを特徴とする音声認識システム。