(57)【特許請求の範囲】
【請求項１】
キーボードから読みを入力する第１の入力系統と音声で読みを入力する第２の入力系統を有し、当該第１の入力系統および第２の入力系統を選択的に使用するフロントエンドプロセッサにおいて、
ワークエリアとして使用し、データを順次に記憶する記憶手段と、
音声の入力があるか否かを判定する第１の判定手段と、
該第１の判定手段の判定結果が肯定判定の場合には音声の入力が禁止されているか否かを判定する第２の判定手段と、
前記第２の判定手段の判定結果が否定判定の場合には、前記キーボードからの入力を禁止する手段と、
当該キーボードからの入力の禁止の後に、前記第２の入力系統から入力された音声を音声認識して、音声認識結果としてかな混じり漢字を出力する音声認識手段と、
当該音声認識のかな混じり漢字を前記記憶手段に書き込む第１の書き込み手段と、
当該書き込みの後に、前記キーボードからの入力の禁止を解除する手段と、
前記キーボードからの入力があるか否かを判定する第３の判定手段と、
前記第３の判定手段の判定結果が肯定判定の場合に前記キーボードからの入力が禁止されているか否かを判定する第４の判定手段と、
該第４の判定手段による判定結果が否定判定の場合に、音声の入力を禁止する手段と、
当該音声の入力の禁止の後、前記第１の入力系統から入力される読みをかな漢字変換する手段と、
かな漢字変換されたかな混じり漢字を前記記憶手段に書き込む第２の書き込み手段と、
前記かな漢字変換されたかな混じり漢字を前記記憶手段に書き込んだ後、音声の入力の禁止を解除する手段と、
前記第１の書き込み手段および前記第２の書き込みにより前記記憶手段に書き込みされたかな混じり漢字のすべての文字数が一定文字数以上か否かを判定する第５の判定手段と、
該第５の判定手段の判定の結果が肯定判定の場合には前記記憶手段に書き込まれたすべてのかな混じり漢字を後処理する手段と
を備えたことを特徴とするフロントエンドプロセッサ。
【請求項２】
キーボードから読みを入力する第１の入力系統と音声で読みを入力する第２の入力系統を有し、当該第１の入力系統および第２の入力系統を選択的に使用するフロントエンドプロセッサの処理方法において、該フロントエンドプロセッサはＣＰＵと、ワークエリアとして使用し、データを順次に記憶する記憶手段とを有し、前記ＣＰＵは、
音声の入力があるか否かを判定する第１の判定手段と、
該第１の判定手段の判定結果が肯定判定の場合には音声の入力が禁止されているか否かを判定する第２の判定手段と、
前記第２の判定手段の判定結果が否定判定の場合には、前記キーボードからの入力を禁止する手段と、
当該キーボードからの入力の禁止の後に、前記第２の入力系統から入力された音声を音声認識して、音声認識結果としてかな混じり漢字を出力する音声認識手段と、
当該音声認識のかな混じり漢字を前記記憶手段に書き込む第１の書き込み手段と、
当該書き込みの後に、前記キーボードからの入力の禁止を解除する手段と、
前記キーボードからの入力があるか否かを判定する第３の判定手段と、
前記第３の判定手段の判定結果が肯定判定の場合に前記キーボードからの入力が禁止されているか否かを判定する第４の判定手段と、
該第４の判定手段による判定結果が否定判定の場合に、音声の入力を禁止する手段と、
当該音声の入力の禁止の後、前記第１の入力系統から入力される読みをかな漢字変換する手段と、
かな漢字変換されたかな混じり漢字を前記記憶手段に書き込む第２の書き込み手段と、
前記かな漢字変換されたかな混じり漢字を前記記憶手段に書き込んだ後、音声の入力の禁止を解除する手段と、
前記第１の書き込み手段および前記第２の書き込みにより前記記憶手段に書き込みされたかな混じり漢字のすべての文字数が一定文字数以上か否かを判定する第５の判定手段と、
該第５の判定手段の判定の結果が肯定判定の場合には前記記憶手段に書き込まれたすべてのかな混じり漢字を後処理する手段と
として動作することを特徴とするフロントエンドプロセッサの処理方法。
【請求項３】
キーボードから読みを入力する第１の入力系統と音声で読みを入力する第２の入力系統を有し、当該第１の入力系統および第２の入力系統を選択的に使用するフロントエンドプロセッサのための記録媒体において、該フロントエンドプロセッサはＣＰＵと、ワークエリアとして使用し、データを順次に記憶する記憶手段とを有し、前記ＣＰＵに、
音声の入力があるか否かを判定する第１の判定手段と、
該第１の判定手段の判定結果が肯定判定の場合には音声の入力が禁止されているか否かを判定する第２の判定手段と、
前記第２の判定手段の判定結果が否定判定の場合には、前記キーボードからの入力を禁止する手段と、
当該キーボードからの入力の禁止の後に、前記第２の入力系統から入力された音声を音声認識して、音声認識結果としてかな混じり漢字を出力する音声認識手段と、
当該音声認識のかな混じり漢字を前記記憶手段に書き込む第１の書き込み手段と、
当該書き込みの後に、前記キーボードからの入力の禁止を解除する手段と、
前記キーボードからの入力があるか否かを判定する第３の判定手段と、
前記第３の判定手段の判定結果が肯定判定の場合に前記キーボードからの入力が禁止されているか否かを判定する第４の判定手段と、
該第４の判定手段による判定結果が否定判定の場合に、音声の入力を禁止する手段と、
当該音声の入力の禁止の後、前記第１の入力系統から入力される読みをかな漢字変換する手段と、
かな漢字変換されたかな混じり漢字を前記記憶手段に書き込む第２の書き込み手段と、
前記かな漢字変換されたかな混じり漢字を前記記憶手段に書き込んだ後、音声の入力の禁止を解除する手段と、
前記第１の書き込み手段および前記第２の書き込みにより前記記憶手段に書き込みされたかな混じり漢字のすべての文字数が一定文字数以上か否かを判定する第５の判定手段と、
該第５の判定手段の判定の結果が肯定判定の場合には前記記憶手段に書き込まれたすべてのかな混じり漢字を後処理する手段と
として動作させるプログラムを記録したことを特徴とするフロントエンドプロセッサのための記録媒体。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、プログラムをＣＰＵにより実行することで、キーボードやマイクロホンから入力された文字列情報を表示や情報処理のための文字列情報に変換するフロント・エンド・プロセッサ、その処理方法および記録媒体に関する。
【０００２】
【従来の技術】
従来、日本で使用されるフロント・エンド・プロセッサはキーボードから入力された文字をかな漢字変換し、文書処理装置に引き渡す装置であった。このような機能を有するプログラムをフロント・エンド・プロセッサと呼ぶこともあるが、本明細書では、ＣＰＵがプログラムを実行することで実現する装置をフロント・エンド・プロセッサと呼ぶことにする。
【０００３】
近年、音声認識の技術の向上により音声認識装置を情報処理装置に搭載し、入力した音声を音声認識することによりキーボードを介さずかな混じり漢字文字列を情報処理装置に入力できるようになってきた。しかしながら、音声認識処理における問題として、誤認識が発生した場合の修正が必要であること、文字の追加、削除の指示を音声で行うことが難しいということが挙げられる。このため、最近の情報処理装置ではキーボードからの文字入力と音声入力の併用を行うのが一般的である。
【０００４】
このような情報処理装置の機能構成を図１に示す。
【０００５】
図１において１０はフロント・エンド・プロセッサであり、以下に述べる処理を実行する。通常、フロント・エンド・プロセッサ１０はＣＰＵがプログラムを実行することにより実現される。
【０００６】
１はキーボードからの入力を受け付け、読み、この場合ひらがなを表示する処理である。２は入力された読みの文字列をかな混じり漢字に変換する処理である。３は変換されたかな混じり漢字に対する後処理であり、たとえば、同じ文字を２度タイプした場合のように、文法的に換言すると意味的におかしい単語を正しい単語に自動修正する処理が含まれる。
【０００７】
２０は音声認識装置であり、上記ＣＰＵがプログラムを実行することにより音声認識装置２０が実現される。２１はマイクロホンから入力された音声をＣＰＵが処理可能なデジタル信号に変換する処理である。２２はデジタルの音声信号を音声認識する処理である。音声認識方法としては各種知られているが、この例では音声認識結果としてかな混じり漢字が得られるものとする。
【０００８】
２３は後処理であり、誤認識結果の変更処理や同音異義語の変更処理を行う。キーボードから文字の入力が行われた場合、フロント・エンド・プロセッサ１０用のプログラムをＣＰＵが実行してかな漢字変換、文字の訂正を行って、文書処理３０、いわゆるワードプロセッサに訂正されたかな混じり漢字を引き渡す。
【０００９】
また、マイクロホンから音声を入力する場合には音声認識および同音異義語の選択、誤認識結果の訂正を行って、文書処理３０に訂正後のかな混じり漢字を引き渡す。
【００１０】
文書処理では引き渡されたかな混じり漢字を編集する。
【００１１】
なお、後処理３，２３で修正されなかった文字の修正は文書件処理３０で行われる。フロント・エンド・プロセッサ１０および音声認識装置２０に、後処理３、２３がない文字入力機能も知られているが、この場合には、文書処理３０において、文字の訂正処理が行われる。
【００１２】
【発明が解決しようとする課題】
図１から明らかなように、従来では、フロント・エンド・プロセッサ１０および、音声認識装置２０のそれぞれに後処理機能を設けなければならないという制約がある。これは、キーボードからの文字の入力にしても、音声による入力にしても、連続的に読みが入力され、単語を構成する長さになって始めてかな混じり漢字の変換が可能であること、また、フロント・エンド・プロセッサ１０および音声認識装置２０は別個のプログラムで実現されるので、予めどちらかのプログラムを起動するか（入力モードの種類の指定）をユーザがＣＰＵに対して指示しなければならないなどの理由からである。
【００１３】
しかしながら、単一のＣＰＵにより２つのプログラムを実行するといえども双方のプログラムの中に、処理内容がほぼ同じ後処理プログラムが存在することは、プログラムを記憶する記憶手段の記憶領域が増え、記憶領域の有効利用とは言えない。
【００１４】
そこで、本発明の目的は、上述の点に鑑みて、たとえば、キーボード入力および音声入力などの複数の入力系統から得られたかな漢字文字列の双方を単一の後処理で実現できるフロント・エンド・プロセッサを提供することにある。
【００１５】
【課題を解決するための手段】
このような目的を達成するために、本発明は、
キーボードから読みを入力する第１の入力系統と音声で読みを入力する第２の入力系統を有し、当該第１の入力系統および第２の入力系統を選択的に使用するフロントエンドプロセッサにおいて、
ワークエリアとして使用し、データを順次に記憶する記憶手段と、
音声の入力があるか否かを判定する第１の判定手段と、（Ｓ１０）
該第１の判定手段の判定結果が肯定判定の場合には音声の入力が禁止されているか否かを判定する第２の判定手段と、（Ｓ１１）
前記第２の判定手段の判定結果が否定判定の場合には、前記キーボードからの入力を禁止する手段と、（Ｓ１２）
当該キーボードからの入力の禁止の後に、前記第２の入力系統から入力された音声を音声認識して、音声認識結果としてかな混じり漢字を出力する音声認識手段と、（Ｓ１３）
当該音声認識のかな混じり漢字を前記記憶手段に書き込む第１の書き込み手段と、
当該書き込みの後に、前記キーボードからの入力の禁止を解除する手段と、（Ｓ１４）
前記キーボードからの入力があるか否かを判定する第３の判定手段と、（Ｓ２０）
前記第３の判定手段の判定結果が肯定判定の場合に前記キーボードからの入力が禁止されているか否かを判定する第４の判定手段と、（Ｓ２１）
該第４の判定手段による判定結果が否定判定の場合に、音声の入力を禁止する手段と、（Ｓ２２）
当該音声の入力の禁止の後、前記第１の入力系統から入力される読みをかな漢字変換する手段と、（Ｓ２３）
かな漢字変換されたかな混じり漢字を前記記憶手段に書き込む第２の書き込み手段と（Ｓ２４）、
前記かな漢字変換されたかな混じり漢字を前記記憶手段に書き込んだ後、音声の入力の禁止を解除する手段と、（Ｓ２４）
前記第１の書き込み手段および前記第２の書き込みにより前記記憶手段に書き込みされたかな混じり漢字のすべての文字数が一定文字数以上か否かを判定する第５の判定手段と、（Ｓ２５）
該第５の判定手段の判定の結果が肯定判定の場合には前記記憶手段に書き込まれたすべてのかな混じり漢字を後処理する手段と（Ｓ４０）
を備えたことを特徴とする。
【００３０】
【発明の実施の形態】
以下、図面を参照して本発明の実施形態を詳細に説明する。
【００３１】
図２は本発明実施形態の機能構成を示す。図１に示した従来例と同様の個所には同一の符号を付し、詳細な説明を省略する。
【００３２】
図２において、２４は切換えスイッチであり、キーボードからの入力系統と、音声での入力系統とを切換える。
【００３３】
本実施形態では、パーソナルコンピュータの表示画面上に表示されているボタンスイッチをマウスの操作で押下している間、切り替えスイッチ２４の接続先を音声認識処理２２側に切換えるものとする。
【００３４】
ワークエリア２５は、メモリ内に設けられ、入力順にかな混じり漢字（漢字のみ、ひらがなのみの文字、文字列を含む）を記憶する。入力順にデータを記憶するメモリとしてはＦＩＦＯ（ファーストイン・ファーストアウト）メモリやスタックメモリが知られている。また、アドレスポインタの移動によりＲＡＭなども上記かな混じり漢字を入力順に記憶することができる。
【００３５】
本実施形態では、かな漢字変換処理２の結果と音声認識２２処理の結果を入力順に混在させて記憶することにより単一の後処理２６を実現する。自動的に行う後処理２６としては、同音異義語の変換処理、誤認識結果の訂正処理、ミスタイプの訂正処理等を行うことができる。
【００３６】
以上の機能構成を実現するためのプログラムの処理内容を図３に示す。後述するが、ステップＳ１０、Ｓ１１、Ｓ１２およびＳ２０，Ｓ２１，Ｓ２２の処理が切換えスイッチ２４の機能を果たす。さらに本実施形態では音声入力禁止フラグとキーボード入力禁止フラグが設けられており、音声禁止フラグがオンの場合には音声入力が無効とされ（音声入力があってもその入力情報がＣＰＵにより読み取られないこと、あるいは、使用されないこと）、キーボード入力禁止フラグがオンの場合には、キーボードからの文字入力が無効とされる。上記フラグの情報もメモリに記憶される。
【００３７】
最初に音声で「きょうは」が入力され、キーボードから「てんきがよい。あすは」が入力された場合を例に、処理手順を説明する。
【００３８】
ユーザがマウスで表示画面上の音声入力用のボタンを操作して、音声で「きょうは」とマイクロホンに入力すると上記ボタンの操作が、ボタンの押下の有無の検知処理によりＣＰＵにおいて検知される。これによりステップＳ１０の判定はＹＥＳとなる。ＣＰＵは音声禁止フラグがオンとなっていないことを確認して、次にキーボード入力禁止フラグをオフに設定する（ステップＳ１１→Ｓ１２）。
【００３９】
これによりキーボードからの文字入力が無効化される。ＣＰＵは次に、マイクロホンから入力される音声を音声認識プログラムにより音声認識する。音声認識は表示画面のボタンスイッチが押下されている間続行される。これにより「きょうは」に相当する音声信号の音声認識結果として、「京は」が得られたものとする。
【００４０】
従来では、「京は」が後処理の対象となるのに対し、本実施形態では入力のかな漢字文字列が一定文字数以上とならない限り後処理が行われない点に注意されたい。
【００４１】
音声認識結果はメモリ内のワークエリア２５にＣＰＵにより書き込まれる。
【００４２】
次にユーザが、音声の入力後表画面のボタンの操作で音声入力モードを解除するとことによって、キーボードからの入力が指示されると、ＣＰＵはキーボード入力禁止フラグをオフからオンに、音声入力禁止フラグをオフに設定して、キーボードからの文字の入力を可能とする（ステップＳ１３→Ｓ１４）。
【００４３】
次にＣＰＵはワークエリア内に記憶されている文字数を計数する。その計数結果（現在、２文字）がたとえば、５文字のように一定文字数に満たない場合には、ステップＳ４０の後処理へ移行せず、手順をステップＳ１０に戻し、音声入力あるいは、キーボードからの入力を待つ。ユーザは上記表示画面上のボタン操作でキーボード入力を指示し、キーボードから「てんきがよい。あすは、」と入力する。これによりＣＰＵはキーボードから文字が入力されることをステップＳ２０で検出し、手順をステップＳ２１へと進める。
【００４４】
ＣＰＵはキーボード入力禁止フラグがオフとなっていないないことを確認して、音声入力禁止フラグをオフに設定する（ステップＳ２１→Ｓ２２）。これにより、キーボードから入力されたよみの文字列「てんきがよい。あすは、」がＣＰＵにより読み出されて、かな漢字変換プログラムに引き渡される。ＣＰＵは音声認識プログラムの実行を中断し、かな漢字変換プログラムを実行して、キーボードから入力された文字列「てんきがよい。あすは、」をかな混じり漢字の文字列「天気がよい。明日は、」に変換する（ステップＳ２３）。この処理は従来から周知であり、詳細な説明を要しないであろう。
【００４５】
変換されたかな混じり漢字文字列は、ＣＰＵによりメモリのワークエリア２５に書き込まれる。かな混じり漢字文字列がメモリに記憶される順は入力順であるので、音声認識結果の文字列「京は」に続いて上記文字列が記憶される。また、音声入力禁止フラグがオフからオンに設定されて、ボタン操作による音声入力が許可される（ステップＳ２４）。
【００４６】
ＣＰＵはメモリのワークエリア内の現在の文字列の文字数を計数する。現在は図４に示すように１２文字なので、ステップＳ２５の判定処理では記憶文字数＞一定文字数（５文字）の判定が得られる。
【００４７】
この判定結果に応じて、ＣＰＵはワークエリアの先頭から５文字（京は天気が）を取り出し、日本語の意味内容の解析を行う。
【００４８】
意味内容の解析には従来技術を使用することができる。一例を紹介すると、単語の意味の結びつきの度合いを点数で表し、解析対象の文字列の点数を計算する。意味的、文法的に結びつきが高いものほど点数が高くなる。この点数が閾値よりも低い場合には、ある単語を同音異義語に代えて、再び点数を計算する。このようにして、同異義語を有する単語すべてについて得点を計算し、最高得点が得られた単語を現在の単語と置き換える。この例では、「京は」が「今日は」に置き換えられる。置き換えられた文字列「今日は天気が」が文書処理プログラムに引き渡される。より具体的には、図３の処理プログラムと文書処理グラムで共有使用する特定のメモリ領域（プログラム上の変数に対応するメモリ領域）に置き換えられた文字列が引き渡される（ステップＳ４０→Ｓ５０）。なお、上記特定領域に書き込む前に、置き換えられた文字列を修正したい場合には、キーボードからの修正の指示を受け付けて、上記ワーク領域上の文字列をＣＰＵにより修正するとよい。この場合には、キーボードからの確定の指示（通常はＥＮＴＥＲキー）で、確定後の文字列を文書処理プログラムに引き渡す。
【００４９】
なお、図４に示すワークエリア２５の引き渡し前の文字列の内、引き渡された文字列はワークエリアから削除され、残りの文字列は先頭方向に記憶位置が変更される。
【００５０】
以上の処理を繰り返し実行すると、音声入力およびキーボード入力の双方を併用しても、ワークエリアには音声認識の結果とキーボードから入力された読みの変換結果が混在して記憶されているので、入力系統の種類に関係なく、後処理を実行することができる。
【００５１】
以後、音声入力やキーボードからの文字入力がある毎に上述の処理手順が繰り返し実行されるので、誤認識、ミスタイプなど、日本語の意味、文法的におかしい文字列は後処理で自動的に修正される。また、上述した後処理は、特定のトリガ（ユーザのキー押下）によらずに自動的に行われ、表示画面上に後処理前の文字列が表示された後、後処理により変換される部分の文字列が後処理された文字列に置換されて表示されるので、ユーザは後処理が行われたことを確認することができる。この点は従来にはない新規な点である。
【００５２】
以上、述べた実施形態は、本発明を説明するための一実施形態であり、特許請求の範囲に記載された技術思想にしたがって、上述の実施形態に対する変形、設計変更が可能であるが、変更されたＧＵＩ，その表示方法および記録媒体はいずれも特許請求の範囲で規定される特許権の範囲内にある。本発明の実施形態の他にたとえば、次の実施形態を実施できる。
【００５３】
１）図３の処理手順は、後処理を説明するための例示である。後処理としては、上述の文字列の自動修正のほか、手動操作による文字の修正、他の同音異義語への変換、かな混じり漢字の選択された範囲の文字列のよみへの逆変換等を後処理で行うことができる。また、「いちまん」を「１００００」というようにアラビア数字に展開するなどある文字列を同じ意味を持つ他の文字列に変換することももちろん可能である。この場合には、ワークエリアに記憶された文字列を表示画面に表示し、表示した文字列をマウスにより範囲指定したり、キーボードから処理する内容を指示するとよい。また、自動で行ってもよいこと勿論である。
【００５４】
２）上述の例は、キーボードからの入力と、音声入力による文字列を後処理する例であったが、手書きイメージで入力した文字をパターン認識する文字入力系統やその他既知の文字入力系統を適宜組み合わせても本発明を実現できる。
【００５５】
３）上述の実施形態は、パーソナルコンピュータにフロント・エンド・プロセッサを搭載する例を示した。搭載対象の機器は上記以外にもワークステーション、携帯用電子端末、電子手帳など、各種、複数の方法で入力した文字列を文字処理し、その後で後処理する機器に本発明を適用することができる。
【００５６】
４）上述の実施形態ではワークエリアに記憶した文字列を５文字単位で意味解析し、誤りの単語を自動修正したが、５文字に限定することなく所定の文字数とすることができる。また、区切りを文字数ではなく、文節、文単位とすることができる。
【００５７】
５）図３の処理手順を規定したプログラムはＲＯＭなどのような不揮発性メモリに保存してもよいし、ハードディスクなどの記憶装置に保存してもよい。また、ＣＤＲＯＭ，フロッピーディスク等の携帯用記録媒体から、保存用の記憶デバイスにインストールしてもよい。以上の記憶デバイス、携帯用記録媒体はいずれも本発明の記録媒体に該当する。また、通信により他の情報処理機器からプログラムを転送した場合には、他の情報処理機器の記憶デバイス等が本発明の記録媒体に該当する。
【００５８】
６）記録媒体にはプログラムを暗号化、圧縮化して記録してもよく、このような形態でプログラムが記録された記録媒体も本発明の記録媒体に該当する。
【００５９】
７）上述の実施形態では後処理自体を主に説明したが、後処理に関連付けて、後処理前の文字列と後処理語の文字列を表示するために種々の表示方法を使用するとよい。たとえば、後処理前の文字列と後処理後の文字列の色を異ならせて表示したり、点滅表示などで後処理により変更された文字列部分のみを強調表示させることが考えられる。また、後処理される前および後の文字列はインラインで表示したり、専用のウィンドウで表示してもよい。
【００６０】
【発明の効果】
以上、説明したように、本発明によれば、複数の系統で文字処理された結果を記憶手段に順に記憶するので、記憶手段には入力系統から得られる文字列が混在し、一括して後処理で文字処理することができる。複数の系統としてはキーボード、音声、手書き文字等各種の文字入力系統を適宜組み合わせることで、フロント・エンド・プロセッサと接続するワープロ、作画装置などに好適な文字入力装置を提供できる。また、後処理を入力系統毎に設けないので、プログラムの容量を減らし、メモリを有効利用することができる。
【図面の簡単な説明】
【図１】従来例の機能構成を示すブロック図である。
【図２】本発明実施形態の機能構成を示すブロック図である。
【図３】本発明実施形態の処理手順を示すフローチャートである。
【図４】後処理の内容を示す説明図である。
【符号の説明】
１０、１００  フロント・エンド・プロセッサ
２０  音声認識装置
２４  （切換え）スイッチ
２５  ワークエリア
【図１】
0004326630.tif 000002
【図２】
0004326630.tif 000003
【図３】
0004326630.tif 000004
【図４】
0004326630.tif 000005