(57)【特許請求の範囲】
【請求項１】
音声を入力する音声入力手段と、
前記音声入力手段による入力音声を認識して該入力音声に対応する文字列を出力する音声認識手段と、
前記入力音声から息継ぎを検出する息継ぎ検出手段と、
前記音声認識手段から出力される文字列中に任意の文字列区間を始端側と終端側から挟む記号対の始端側の記号が検出されたとき、前記文字列中の前記息継ぎ検出手段により検出された息継ぎの位置に前記記号対の終端側の記号を挿入する記号挿入手段と
を具備したことを特徴とする音声入力テキスト作成装置。
【請求項２】
前記息継ぎ検出手段は、所定時間以上の息継ぎのみを検出することを特徴とする請求項１記載の音声入力テキスト作成装置。
【請求項３】
入力音声に対応する文字列を出力する音声入力テキスト作成方法において、
前記入力音声を認識して該入力音声に対応する文字列を出力する音声認識ステップと、
前記入力音声から息継ぎを検出する息継ぎ検出ステップと、
前記音声認識ステップによって出力される文字列中に任意の文字列区間を始端側と終端側から挟む記号対の始端側の記号が検出されたとき、前記文字列中の前記息継ぎ検出ステップにより検出された息継ぎの位置に前記記号対の終端側の記号を挿入する記号挿入ステップと
を具備したことを特徴とする音声入力テキスト作成方法。
【請求項４】
前記息継ぎ検出ステップは、所定時間以上の息継ぎのみを検出することを特徴とする請求項３記載の音声入力テキスト作成方法。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、音声入力によりテキストデータを作成する技術に係り、特に括弧類のように任意の文字列区間を指定するためにその文字列区間を前端側と後端側から挟む記号対の挿入を容易とする音声入力テキスト作成方法及び装置に関する。
【０００２】
【従来の技術】
従来、テキスト入力を音声で行うディクテーションシステムでは、入力音声をディジタル変換で音韻列とした後、音声認識処理により認識単語辞書に登録された単語の音韻列との照合を行い、音韻列として類似しているものから順位付けを行う。この際、認識精度を向上させるため、日本語として隣接しやすい単語の並びの確率値をもった言語モデルを利用して、次に続きやすい単語の出現確率から算出したスコアによって順位付けを行い、音韻列として類似しているものとの総合評価を行うことで、最終的な順位付けを行って認識を行っている。
【０００３】
言語モデルを作成するためには、通常、大規模な日本語コーパスを利用する。例えば、情報処理学会研究報告、西村雅史ほか、「単語を認識単位とした日本語ディクテーションシステム」、97-SLP-15,PP.27-34(1997-02)では、新聞記事データから統計的に言語モデルを作成している。
【０００４】
この従来技術においては、句読点を発声せずに自動的にテキスト（文字列）中に挿入する試みはなされてきたが、基本的には入力された音声をディジタル変換して音韻列とし、認識単語辞書に登録された単語の音韻列との照合を行ってテキストに変換する手法であるため、入力しようとする文はすべて発声しなければならなかった。具体的には、例えば文中における括弧などの記号を入力する場合、“かっこ”、“かっことじ”などと発声しなければならず、音声によるテキスト入力をなめらかに行うことができない。
【０００５】
【発明が解決しようとする課題】
上述したように、従来の音声入力テキスト作成技術は、入力音声をディジタル変換して音韻列とし、認識単語辞書に登録された単語の音韻列との照合を行ってテキストに変換するため、基本的に入力しようとする文はすべて発声しなければならず、特に括弧のような入力を行う場合に、音声入力をなめらかに行うことができないという問題点があった。
【０００６】
本発明は、このような問題点を解消するためになされたものであり、特に括弧のように前後で対をなすような記号の音声による入力を容易に行うことができる音声入力テキスト作成方法及び装置を提供することを目的とする。
【０００７】
【課題を解決するための手段】
上記の課題を解決するため、本発明に係る音声入力テキスト作成装置は、音声を入力する音声入力手段と、前記音声入力手段による入力音声を認識して該入力音声に対応する文字列を出力する音声認識手段と、前記入力音声から息継ぎを検出する息継ぎ検出手段と、前記音声認識手段から出力される文字列中に任意の文字列区間を始端側と終端側から挟む記号対の始端側の記号が検出されたとき、前記文字列中の前記息継ぎ検出手段により検出された息継ぎの位置に前記記号対の終端側の記号を挿入する記号挿入手段とを具備したことを特徴とする。
【０００８】
ここで、任意の文字列区間を始端側と終端側から挟む記号対とは、（  ）、［］、｛  ｝、「  」『  』、〔  〕、〈  〉、《  》、‘  ’“  ”等の括弧類である。
【００１２】
このような構成により、本発明によると音声認識により得られた文字列中に始端側と終端側で対をなす記号対の始端側の記号が含まれている場合、対応する終端側の記号を文字列中に自動挿入することができる。従って、音声入力に当たっては当該記号対の終端側の記号のみを発声すればよく、音声によるテキスト入力を従来に比較してなめらかに行うことが可能となる。
【００１３】
【発明の実施の形態】
以下、図面を参照しながら本発明の実施の形態について説明する。
（第１の実施形態）
図１に、本発明の第１の実施形態に係る音声入力テキスト作成装置の構成を示す。この音声入力テキスト作成装置は、マイクロフォンなどからなる音声入力部１と、全体の制御と処理の一部を司る中央処理ユニット（ＣＰＵ）からなる制御部２と、入力音声の認識結果や処理途中の種々のデータ及び出力テキストその他のデータを表示するＣＲＴディスプレイや液晶ディスプレイなどからなる表示部３と、音声認識部４と、認識単語辞書５と、息継ぎ検出部５及び記号自動挿入部６から構成される。
【００１４】
音声認識部４では、音声入力部１からの入力音声を音声認識して文字列（テキストデータ）に変換する。認識単語辞書５には、この音声認識に必要な各種の単語情報が格納されている。音声認識部４及び認識単語辞書５の実現法は既に周知であるので、ここでは詳細には述べない。
【００１５】
息継ぎ検出部５及び記号自動挿入部６は、本発明に基づき新たに設けられた構成要素であり、息継ぎ検出部５では例えば音声認識部４の認識結果あるいは認識途中の中間結果から、入力音声の無声区間（空白期間）を検出することにより、息継ぎを検出する。また、息継ぎ検出部５は入力音声そのものから無声区間を検出することで息継ぎを検出する構成であってもよい。
【００１６】
記号自動挿入部６は、息継ぎ検出部５の検出結果を用いて所定の記号を音声認識部４から出力される文字列中に挿入する処理を行う。すなわち、音声認識部４の認識結果には、当然のことながら各種の記号類は実際に音声入力された記号以外は含まれていないが、記号自動挿入部６では入力音声では省かれている必要な記号を文字列中に挿入する。
【００１７】
より具体的には、任意の文字列区間を始端側と終端側から挟むように対をなす記号（以下、単に記号対という）のうち、始端側の記号が音声認識部４から出力される文字列中に含まれていた場合に、記号自動挿入部６はその記号対の後端側の記号を自動的に挿入する処理を行う。
【００１８】
こうして記号自動挿入部６により記号が挿入された後の文字列は、制御部２を介して出力テキストとして取り出され、表示部３で表示出力されたり、図示しない外部装置へ適宜出力される。
【００１９】
次に、図２に示すフローチャートを用いて本実施形態における記号自動挿入処理に係る処理手順について説明する。
まず、音声入力部１よりユーザの発声による音声が入力されると、この入力音声は制御部２及び音声認識部４を介して息継ぎ検出部６に入力され、息継ぎ、すなわち音声と音声の間の無声区間が検出される（ステップＳ１１）。そして、本実施形態では息継ぎの時間長がｎ秒（例えば１秒）以上かどうかが判断され（ステップＳ１２）、ｎ秒以上の場合のみ息継ぎとして検出される。このようにｎ秒以上の息継ぎのみを息継ぎとして検出する理由は、発声者が発声の区切りとして意識的に行った息継ぎのみを単なる呼吸に伴う自然の息継ぎと区別してするためである。
【００２０】
ステップＳ１２によりｎ秒以上の息継ぎがあった判断された場合には、次に記号自動挿入部７において記号対の終端側の記号を挿入する必要があるかどうかが判断される（ステップＳ１３）。この判断においては、音声認識部４から出力される文字列中に記号対の始端側の記号、例えば“（”（開き括弧）があった場合に記号挿入フラグを立てておき、この記号挿入フラグが立っている場合には、その記号対の終端側の記号、例えば“）”（閉じ括弧）を挿入する必要があると判断するようにすればよい。
【００２１】
ステップＳ１３で終端側の記号を挿入する必要があると判断されると、次に記号自動挿入部７により音声認識部４から出力される文字列中の息継ぎ検出部６で検出されたｎ秒以上の息継ぎの位置にその記号、例えば閉じ括弧“）”が挿入される（ステップＳ１４）。こうして記号自動挿入部７により記号が挿入された後の文字列は、制御部２を経由して出力テキストとして取り出される。
【００２２】
次に、具体的な例文を用いて本実施形態における記号自動挿入処理について説明する。
まず、音声入力部１から
かっこせんきゅうひゃくじゅうよねん（ＬＰ１）
という音声が入力されたとする。
【００２３】
ここで、（ＬＰ１）は音声のあとに無発声の部分が１秒あったことを示す。この無発声の部分は息継ぎ検出部６で息継ぎと検出されるので、ステップＳ１１でＹＥＳとなり、さらにｎを１とするとｎ秒以上の息継ぎとなるので、ステップＳ１２もＹＥＳとなる。
【００２４】
音声認識部４では、“かっこせんきゅうひゃくじゅうよねん”を音声認識した結果、“（１９１４年”という文字列を出力する。この文字列中に開き括弧“（”が存在しているため、記号自動挿入部７は閉じ括弧“）”を挿入する必要があると判断し（ステップＳ１３でＹＥＳ）、ｎ秒以上の息継ぎが検出された位置、つまり“（１９１４年”の直後に、閉じ括弧“）”を挿入する（ステップＳ１４）。この結果、最終的に“（１９１４年）”という文字列が出力される。
【００２５】
このように本実施形態では、音声認識により得られた文字列中に括弧のような記号対の始端側の記号（開き括弧）が含まれている場合、対応する終端側の記号（閉じ括弧）を文字列中に自動挿入することができる。従って、音声入力に当たっては、音声によるテキスト入力をなめらかに行うことが可能となる。
【００２６】
なお、上記の説明では通常の括弧、いわゆる丸括弧の閉じ括弧を自動挿入する場合について述べたが、［  ］、｛  ｝、「  」『  』、〔  〕、〈  〉、《  》、‘  ’“  ”といった他の括弧類の終端側の記号の自動挿入にも、同様の手順で適用できる。
【００２７】
（第２の実施形態）
図３は、本発明の第２の実施形態に係る音声入力テキスト作成装置の構成を示している。図１と同一部分に同一符号を付して説明すると、本実施形態では図１に示した第１の実施形態の構成から息継ぎ検出部６が除去され、代わりに記号挿入判断部８が設けられている。
【００２８】
この記号挿入判断部８は、音声認識部４の認識結果を文法解析することによって、音声認識部４から出力される文字列中に任意の文字列区間を始端側と終端側から挟む記号対の始端側の記号が検出されたとき、文字列中の終端側の記号を挿入すべき位置を判断するものである。記号自動挿入部７では、音声認識部４から出力される文字列中の記号挿入判断部８により判断された位置に終端側の記号を挿入する。
【００２９】
次に、図４に示すフローチャートを用いて本実施形態における記号自動挿入処理に係る処理手順ついて説明する。
まず、音声入力部１からの入力音声が制御部２を介して音声認識部４に入力され、認識単語辞書５を用いて音声認識された後、記号挿入判断部８において音声認識部４の認識結果が文法解析される（ステップＳ２１）。
【００３０】
記号挿入判断部８では、引き続き文法解析の結果を用いてまず記号対の終端側の記号を挿入する必要があるかどうかが判断され（ステップＳ２２）、終端側の記号を挿入する必要があると判断されると、その記号を挿入すべき位置が引き続き判断される（ステップＳ２３）。
【００３１】
ステップＳ２２で終端側の記号を挿入する必要があると判断されると、記号自動挿入部７により音声認識部４から出力される文字列中のステップＳ２３で判断された位置にその記号が挿入される（ステップＳ２４）。こうして記号自動挿入部７により記号が挿入された後の文字列が制御部２を経由して出力テキストとして取り出される。
【００３２】
次に、具体的な例文を用いて本実施形態における記号自動挿入処理について説明する。
まず、音声入力部１から
かっこせんきゅうひゃくじゅうよねん…
という音声が入力されたとする。ここで、…は無声区間であってもよいし、何らかの音声が続いてもよい。
【００３３】
この入力音声に対して、音声認識部４で得られた音声認識結果は次の通りであったとする。
かっこ：（：記号
せんきゅうひゃくじゅうよ：１９１４：数字
ねん：年：数字接尾
この音声認識結果をステップＳ２１において記号挿入判断部８で文法解析すると、次のようになる。
（文頭）／（／１９１４／年／（文末）…
（文頭）、（文末）は文頭、文末を表す記号である。ここで、“年”は文末となり得る単語である。そして、文末は閉じ括弧“）”と接続可能である。
【００３４】
このように音声認識結果には、文法解析により開き括弧“（”が存在し、また閉じ括弧“）”が接続可能な文末となり得る“年”という単語が存在していることが分かるため、記号挿入判断部８では閉じ括弧“）”を挿入する必要があると判断し（ステップＳ２２）、またその挿入すべき位置は文末である“年”の後であると判断する（ステップＳ２３）。この結果、記号自動挿入部７で文末の後に閉じ括弧“）”を挿入する（ステップＳ２４）。
【００３５】
このように本実施形態によっても、音声認識により得られた文字列中に対となる記号の始端側の記号が含まれている場合、対応する終端側の記号を文字列中に自動挿入することが可能であり、音声によるテキスト入力を容易に行うことができる。また、本実施形態では文法解析により記号を自動挿入すべき文字列中の位置を判断するため、不適切な位置に記号を挿入する可能性が減少する。
本実施形態においても、丸括弧以外の括弧類の終端側の記号の自動挿入にも適用ができることはいうまでもない。
【００３６】
（第３の実施形態）
図５は、本発明の第３の実施形態に係る音声入力テキスト作成装置の構成を示している。図１と同一部分に同一符号を付して説明すると、本実施形態は図１に示した第１の実施形態における記号自動挿入部７をより高度な機能を持たせた知的記号自動挿入部９に置き換えた構成となっている。
【００３７】
この知的記号挿入部９は、音声認識部４の認識結果を解析することによって、音声認識部４から出力される文字列中に異なる任意の文字列区間を始端側と終端側から挟む複数種類の記号対の始端側の記号が検出されたとき、この文字列中の終端側の記号を挿入すべき複数の位置及びその終端側の記号の種類を判断し、音声認識部４から出力される文字列中に適切な種類の終端側の記号を自動的に挿入するものである。
【００３８】
次に、図６に示すフローチャートを用いて本実施形態における記号自動挿入処理に係る処理手順について説明する。
まず、音声入力部１より音声が入力されると、この入力音声は制御部２及び音声認識部４を介して息継ぎ検出部６に入力され、息継ぎが検出される（ステップＳ３１）。
【００３９】
息継ぎが検出されると、次に知的記号自動挿入部９において音声認識結果が文法解析され（ステップＳ３２）、引き続きこの文法解析結果と、後述する既に処理されたカッコグループに関するデータとして保存されている情報を用いて、記号対の終端側の記号を挿入する必要があるかどうかが判断され（ステップＳ３３）、さらに終端側の記号を挿入する必要があると判断されると、引き続きその記号の種類及び挿入すべき位置が判断される（ステップＳ３４）。
【００４０】
ステップＳ３３で終端側の記号を挿入する必要があると判断され、さらにステップＳ３４でその記号の種類及び挿入すべき位置が判断されると、知的記号自動挿入部９では音声認識部４から出力される文字列中に記号が挿入される（ステップＳ３５）。こうして知的記号自動挿入部９により記号が挿入された後の文字列は、制御部２を経由して出力テキストとして取り出される。
【００４１】
次に、図７〜図１０を参照して、具体的な例文を用いて本実施形態における記号自動挿入処理について説明する。
まず、音声入力部１から
かぎかっこだいいちじせかいたいせん（ＬＰ0.1）…音声１
かっこせんきゅうひゃくじゅうよねん（ＬＰ１）…音声２
という音声が入力されたとする。これら音声１及び音声２をステップＳ３２で音声認識した結果は、それぞれ図７及び図８のようであったとする。
【００４２】
ここで、音声１の音声認識結果には、図７に示すように記号対の始端側の記号である“かぎかっこ”が存在しているため、図９に示すようにカッコグループかに関するデータとして、“かぎかっこ”が個数“１”だけ存在した旨の情報を保存しておく。また、図７に示すように同じく記号対の始端側の記号である“かっこ”は存在しないため、図９に示すように出現した記号の種類として“かっこ”は個数“０”、つまり存在しないという旨の情報を保存しておく。
【００４３】
音声１の後の息継ぎは０．１秒であり、ｎ＝１秒に満たないために無視されるが、音声２には（ＬＰ１）で示されるようにｎ＝１秒以上の息継ぎがあるため、ステップＳ３１で息継ぎがあったと判断される。また、音声２の音声認識結果には図８に示すように開き括弧“（”が存在し、かつ図９に示すように保存データには“かっこ”が存在しないため、閉じ括弧“）”を挿入する必要があると判断する。
【００４４】
そして、図１０に示すような括弧挿入規則を用いて、適切な記号を挿入する。
【００４５】
図１０は本実施形態にカッコ挿入規則の一部であり、if/then形式で記述されている。acnt，bcntは、それぞれカッコグループに関する保存データとして保存されているカッコ及び音声認識結果中のカッコの種類別の数とその種類を表す。
【００４６】
この例の場合は、図９に示したカッコグループに関する保存データに“かぎかっこ”が１個あり、音声２の音声認識結果に“かっこ”が１個あるので、acnt＝１，bcnt＝１，kind＝｛カギカッコ，カッコ｝となる。従って、挿入すべきカッコは１つでないと判断し、｛カッコ，カギカッコ｝である“）”及び“」”を（１９１４年）」のように挿入する。
結果として、音声１、音声２の音声入力に対し、出力テキストとしては、
「第一次世界大戦（１９１４年）」
という文字列が出力されることになる。
【００４７】
このように本実施形態によると、音声認識により得られた文字列中に複数種類の記号対の始端側の記号が含まれている場合でも、適切な終端側の記号を適切な位置に挿入することができる。
【００４８】
【発明の効果】
以上説明したように、本発明によれば音声認識によって得られた文字列中に括弧類のように始端側と終端側で対をなす記号対の始端側の記号が含まれている場合、対応する終端側の記号を文字列中に自動挿入することができるので、音声入力に当たっては終端側の記号のみを発声すればよいことになり、音声によるテキスト入力をなめらかに行うことができるようになる。
【図面の簡単な説明】
【図１】本発明の第１の実施形態に係る音声入力テキスト作成装置の構成を示すブロック図
【図２】同実施形態における記号自動挿入に係る処理手順を示すフローチャート
【図３】本発明の第２の実施形態に係る音声入力テキスト作成装置の構成を示すブロック図
【図４】同実施形態における記号自動挿入に係る処理手順を示すフローチャート
【図５】本発明の第３の実施形態に係る音声入力テキスト作成装置の構成を示すブロック図
【図６】同実施形態における記号自動挿入に係る処理手順を示すフローチャート
【図７】同実施形態における音声認識結果の一例を示す図
【図８】同実施形態における音声認識結果の他の例を示す図
【図９】同実施形態における保存データの例を示す図
【図１０】同実施形態における括弧挿入規則の一例を示す図
【符号の説明】
１…音声入力部
２…制御部
３…表示部
４…音声認識部
５…認識単語辞書
６…息継ぎ検出部
７…記号自動挿入部
８…記号挿入判断部
９…知的記号自動挿入部
【図１】
0003754257.tif 000002
【図２】
0003754257.tif 000003
【図３】
0003754257.tif 000004
【図４】
0003754257.tif 000005
【図５】
0003754257.tif 000006
【図６】
0003754257.tif 000007
【図７】
0003754257.tif 000008
【図８】
0003754257.tif 000009
【図９】
0003754257.tif 000010
【図１０】
0003754257.tif 000011