(57)【要約】【課題】利用者が音声認識コマンドを覚えることなくデータ入力を行うことができ、また、音声認識率を向上させることができるマルチモーダルシステムを提供する。【解決手段】サーバ２が入力文字の候補を端末１へ送信し、端末１がサーバ２によって送信された入力文字の候補を画面を表示する。ユーザは画面に表示された入力文字の候補を発音することによって音声入力を行う。端末１がその音声を通信回線を介して音声ポータル３へ送信する。音声ポータル３が該音声を認識して認識結果をサーバ２へ送信する。また、音声ポータル３は、ユーザ毎の発話頻度を記録したデータベースを有し、ユーザから音声を受ける毎に該データベースを更新する。サーバ２は、そのデータベースに基づいて端末１へ送信する入力文字の候補を決める。【選択図】    図１
2004295017.tif 000002
【特許請求の範囲】
【請求項１】
ユーザの端末と、該端末と通信ネットワークを介して接続されたサーバと、前記端末と音声通信回線を介して接続され、かつ、前記サーバと直接または通信回線を介して接続された音声ポータルとを有するマルチモーダルシステムにおいて、
前記端末が前記サーバおよび前記音声ポータルと通信回線を確立し、
前記サーバが入力文字の候補を前記端末へ送信し、
前記端末が前記サーバによって送信された入力文字の候補を画面に表示し、
ユーザが前記画面に表示された入力文字の候補を発音した時、前記端末がその音声を通信回線を介して前記音声ポータルへ送信し、
前記音声ポータルが該音声を認識して認識結果を前記サーバへ送信する
ことを特徴とするマルチモーダルシステムにおける音声入力方法。
【請求項２】
前記音声ポータルは、ユーザ毎の発話頻度を記録したデータベースを有し、ユーザから音声を受ける毎に該データベースを更新し、
前記サーバは、前記データベースに基づいて前記端末へ送信する入力文字の候補を決めることを特徴とする請求項１に記載のマルチモーダルシステムにおける音声入力方法。
【請求項３】
前記サーバは、前記入力文字の候補に番号または記号を付記し、前記音声ポータルは前記ユーザによって発音された番号または記号を認識して前記サーバへ送信することを特徴とする請求項１に記載のマルチモーダルシステムにおける音声入力方法。
【請求項４】
ユーザの端末と、該端末と通信ネットワークを介して接続されたサーバと、前記端末と音声通信回線を介して接続され、かつ、前記サーバと直接または通信回線を介して接続された音声ポータルとを有するマルチモーダルシステムにおいて、
前記サーバが、入力文字の候補を前記端末へ送信する送信手段と、前記音声ポータルからのデータに基づいて所定の処理を行う処理手段とを具備し、
前記端末が、前記サーバおよび前記音声ポータルと通信回線を確立する通信回線確立手段と、
前記サーバによって送信された入力文字の候補を画面表示する表示手段と、
ユーザが前記画面に表示された入力文字の候補を発音した時、その音声を通信回線を介して前記音声ポータルへ送信する送信手段とを具備し、
前記音声ポータルが、前記通信回線を介して前記端末から送信された音声を認識する認識手段と、
その認識結果を前記サーバへ送信する送信手段とを具備する
ことを特徴とするマルチモーダルシステム。
【請求項５】
前記音声ポータルは、ユーザ毎の発話頻度を記録したデータベースと、前記通信回線を介して音声を受ける毎に該データベースを更新する更新手段とをさらに具備し、
前記サーバは、前記データベースに基づいて前記端末へ送信する入力文字の候補を決める文字候補選択手段をさらに有することを特徴とする請求項４に記載のマルチモーダルシステム。
【請求項６】
前記サーバの送信手段は、前記入力文字の候補に番号または記号を付記して前記端末へ送信し、前記音声ポータルの認識手段は、前記ユーザによって発音された番号または記号を認識することを特徴とする請求項４に記載のマルチモーダルシステム。
【請求項７】
ユーザの端末と通信ネットワークを介して接続されたサーバと、前記端末と音声通信回線を介して接続され、かつ、前記サーバと直接または通信回線を介して接続された音声ポータルとを有するマルチモーダル装置において、
前記サーバが、入力文字の候補を前記端末へ送信する送信手段と、前記音声ポータルからのデータに基づいて所定の処理を行う処理手段とを具備し、
前記音声ポータルが、前記通信回線を介して前記端末から送信された音声を認識する認識手段と、その認識結果を前記サーバへ送信する送信手段とを具備する
ことを特徴とするマルチモーダル装置。
【請求項８】
前記音声ポータルは、ユーザ毎の発話頻度を記録したデータベースと、前記通信回線を介して音声を受ける毎に該データベースを更新する更新手段とをさらに具備し、
前記サーバは、前記データベースに基づいて前記端末へ送信する入力文字の候補を決める文字候補選択手段をさらに有することを特徴とする請求項７に記載のマルチモーダル装置。
【請求項９】
前記サーバの送信手段は、前記入力文字の候補に番号または記号を付記して前記端末へ送信し、前記音声ポータルの認識手段は、前記ユーザによって発音された番号または記号を認識することを特徴とする請求項７に記載のマルチモーダル装置。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
この発明は、複数のユーザインターフェイスを備えたマルチモーダルシステムに係り、特に、音声認識コマンドを覚えることなく、音声によるデータ入力を行うことができる音声入力方法に関する。
【０００２】
【従来の技術】
近年、音声認識を活用した音声ポータルシステムが開発され、実用化され始めている。この音声ポータルシステムにおいては、利用者は音声ポータルに電話をすることで、音声認識によりシステムと対話をしながら、ニュース、株価、天気など各種の情報を音声により得ることができる。
【０００３】
しかし、音声ポータルは、情報の要求を音声入力（音声認識）で行い、結果も音声出力（音声応答）により戻すため、音声認識できる言葉（音声認識コマンド）を利用者が予め覚えておくか、または音声ガイダンスでその都度利用できる音声認識コマンドを利用者に知らせる必要があり、また、結果が残らないため、その都度、頭に記億しておかなけれはならないという問題があった。
【０００４】
そこで、音声ポータルの問題点を解決するために、音声入力・音声応答だけではなく、画面入力・画面出力を併用したマルチモーダルシステムが提案されるようになってきた。マルチモーダルシステムとは、音声認識や音声合成、ディスプレイ、キーボード、キーパッド、マウス、スタイラス・ペンなど複数のユーザ・インタフェースを備えた人に優しいシステムを指す。
【０００５】
しかしながら、従来のマルチモーダルシステムは、結果が残らないという音声ポータルの問題点は解決できたが、煩わしい音声ガイダンスによる音声認識コマンドの案内や利用者による音声認識コマンドの暗記が必要となるという問題は解決できなかった。このため、音声と画面を併用したマルチモーダルシステムでありながら、結果的に画面操作が多用され、本来容易な入力手段であるはずの音声入力によるメリットが生かされないという状況が発生していた。また、一つの機能に対して、利用者が発声する音声認識コマンドは複数のパターンが存在するため、予めこの点を考慮した音声認識辞書登録が必要となり、音声認識率低下にも繋がっていた。
なお、従来技術を記載した文献として特許文献１〜３が知られている。
【０００６】
【特許文献１】
特開２００２−３５９６８８号公報
【特許文献２】
特開２００２−３４２３５６号公報
【特許文献３】
特開２００２−１８２８９５号公報
【０００７】
【発明が解決しようとする課題】
本発明は上記事情を考慮してなされたもので、その目的は、利用者が音声認識コマンドを覚えることなく、音声によるデータ入力を行うことができ、また、音声認識率を向上させることができ、さらに、利用者が動的に表示される内容（名前一覧等）を選択する際には、一覧番号自体を音声認識コマンドとすることにより、毎回異なる一覧内容が表示されても、利用者がその都度音声認識できる言葉が何であるかを迷うことなく知ることができるマルチモーダルシステムおよび音声入力方法を提供することにある。
【０００８】
【課題を解決するための手段】
この発明は上記の課題を解決するためになされたもので、請求項１に記載の発明は、ユーザの端末と、該端末と通信ネットワークを介して接続されたサーバと、前記端末と音声通信回線を介して接続され、かつ、前記サーバと直接または通信回線を介して接続された音声ポータルとを有するマルチモーダルシステムにおいて、前記端末が前記サーバおよび前記音声ポータルと通信回線を確立し、前記サーバが入力文字の候補を前記端末へ送信し、前記端末が前記サーバによって送信された入力文字の候補を画面に表示し、ユーザが前記画面に表示された入力文字の候補を発音した時、前記端末がその音声を通信回線を介して前記音声ポータルへ送信し、前記音声ポータルが該音声を認識して認識結果を前記サーバへ送信することを特徴とするマルチモーダルシステムにおける音声入力方法である。
【０００９】
請求項２に記載の発明は、請求項１に記載のマルチモーダルシステムにおける音声入力方法において、前記音声ポータルは、ユーザ毎の発話頻度を記録したデータベースを有し、ユーザから音声を受ける毎に該データベースを更新し、前記サーバは、前記データベースに基づいて前記端末へ送信する入力文字の候補を決めることを特徴とする。
【００１０】
請求項３に記載の発明は、請求項１に記載のマルチモーダルシステムにおける音声入力方法において、前記サーバは、前記入力文字の候補に番号または記号を付記し、前記音声ポータルは前記ユーザによって発音された番号または記号を認識して前記サーバへ送信することを特徴とする。
【００１１】
請求項４に記載の発明は、ユーザの端末と、該端末と通信ネットワークを介して接続されたサーバと、前記端末と音声通信回線を介して接続され、かつ、前記サーバと直接または通信回線を介して接続された音声ポータルとを有するマルチモーダルシステムにおいて、前記サーバが、入力文字の候補を前記端末へ送信する送信手段と、前記音声ポータルからのデータに基づいて所定の処理を行う処理手段とを具備し、前記端末が、前記サーバおよび前記音声ポータルと通信回線を確立する通信回線確立手段と、前記サーバによって送信された入力文字の候補を画面表示する表示手段と、ユーザが前記画面に表示された入力文字の候補を発音した時、その音声を通信回線を介して前記音声ポータルへ送信する送信手段とを具備し、前記音声ポータルが、前記通信回線を介して前記端末から送信された音声を認識する認識手段と、その認識結果を前記サーバへ送信する送信手段とを具備することを特徴とするマルチモーダルシステムである。
【００１２】
請求項５に記載の発明は、前記音声ポータルは、請求項４に記載のマルチモーダルシステムにおいて、ユーザ毎の発話頻度を記録したデータベースと、前記通信回線を介して音声を受ける毎に該データベースを更新する更新手段とをさらに具備し、前記サーバは、前記データベースに基づいて前記端末へ送信する入力文字の候補を決める文字候補選択手段をさらに有することを特徴とする。
【００１３】
請求項６に記載の発明は、請求項４に記載のマルチモーダルシステムにおいて、前記サーバの送信手段は、前記入力文字の候補に番号または記号を付記して前記端末へ送信し、前記音声ポータルの認識手段は、前記ユーザによって発音された番号または記号を認識することを特徴とする。
【００１４】
請求項７に記載の発明は、ユーザの端末と通信ネットワークを介して接続されたサーバと、前記端末と音声通信回線を介して接続され、かつ、前記サーバと直接または通信回線を介して接続された音声ポータルとを有するマルチモーダル装置において、前記サーバが、入力文字の候補を前記端末へ送信する送信手段と、前記音声ポータルからのデータに基づいて所定の処理を行う処理手段とを具備し、前記音声ポータルが、前記通信回線を介して前記端末から送信された音声を認識する認識手段と、その認識結果を前記サーバへ送信する送信手段とを具備することを特徴とするマルチモーダル装置である。
【００１５】
請求項８に記載の発明は、請求項７に記載のマルチモーダル装置において、前記音声ポータルは、ユーザ毎の発話頻度を記録したデータベースと、前記通信回線を介して音声を受ける毎に該データベースを更新する更新手段とをさらに具備し、前記サーバは、前記データベースに基づいて前記端末へ送信する入力文字の候補を決める文字候補選択手段をさらに有することを特徴とする。
【００１６】
請求項９に記載の発明は、請求項７に記載のマルチモーダル装置において、前記サーバの送信手段は、前記入力文字の候補に番号または記号を付記して前記端末へ送信し、前記音声ポータルの認識手段は、前記ユーザによって発音された番号または記号を認識することを特徴とする。
【００１７】
【発明の実施の形態】
以下、図面を参照し、この発明の実施の形態について説明する。図１はこの発明の一実施の形態によるマルチモーダルシステムの概略構成を示すブロック図である。このシステムは、通信端末１、情報提供サーバ２、音声ポータル３および通信端末１と情報提供サーバ２、音声ポータル３とを接続する通信回線とから構成されている。ここで、情報提供サーバ２および音声ポータル３を合わせた装置をマルチモーダル装置８という。
【００１８】
通信端末１は、音声パス（電話網、ＶｏＩＰなど）とデータパス（ＴＣＰ／ＩＰ通信など）を同時利用可能であって音声入力とデータ出力（画面出力）が可能な無線または有線通信端末である。この場合、音声パスとデータパスを確立するための通信媒体はどのようなものでもよい。この通信端末１としては、例えば、携帯電話、パーソナルコンピュータ、ＰＤＡ等が該当する。
【００１９】
情報提供サーバ２は、インターネット等を通して各種情報を提供するサーバ（Ｗｅｂサーバ等）である。音声ポータル３は、インターネット等のネットワークに接続可能な音声認識および音声合成機能を持つサーバ（音声認識・音声合成サーバ）である。なお、音声ポータル３は情報提供サーバ２に物理的に含めてもよく、あるいは、ＬＡＮによって接続してもよい。音声認識辞書・グラマー４は音声ポータル３の音声認識エンジンが利用する認識辞書およびグラマーである。情報提供源５は、情報提供サーバ２内に有する情報（ＤＢデータなど）だけでなく、情報提供サーバ２に接続されるＤＢサーバやインターネット等から取得可能なあらゆる提供情報源を含んでいる。
【００２０】
＜システム概要＞
次に、この情報提供システムの概要を説明する。
通信端末１から情報提供サーバ２と音声ポータル３にアクセスし、認証処理を行った後、データパスと音声パスを確立する。通信端末１には情報提供サーバ２が生成した画面が表示される。画面には、ユーザが画面から操作可能な固定的な機能ボタンやメニュー等が表示される。メニューや機能ボタンには、ユーザ毎の発話頻度に応じて音声認識コマンドが一つ付記される。図２は画面に表示された機能ボタンの例を示す図であり、この例においては、「ようかいごしゃ」、「さーびす」という音声認識コマンドが付記されている。
【００２１】
ユーザは、画面に表示された機能ボタンを直接押下することもできるし、付記された音声認識コマンドを発声して機能ボタンの操作をすることもできる。これにより、ユーザは、システムからの煩わしい音声ガイダンス（音声認識コマンドの説明）を逐一聞くことなく、また、音声認識コマンドを暗記することもなく、画面に表示された固定的なメニューや機能ボタンに付記された文字を発声するだけで機能ボタンの操作を行うことができる。ユーザが発声した言葉は音声ポータル３によって音声認識処理され、認識結果が情報提供サーバ２に伝えられる。情報提供サーバ２は音声ポータル３からの認識結果を受け、その内容に応した画面を通信端末１へ送信し表示させる。
【００２２】
また、図３に示すように、氏名等を検索する場合、情報提供サーバ２が情報供給源５から取得したデータは常に固定ではなく、最新データは更新（追加・削除・変更）されていることもあり得る。すなわち、画面表示内容はその都度動的に変化する。このような場合、動的に表示される内容を番号付きで一覧表示し、番号自体を音声認識コマンドとする。図３の例においてユーザが「氏名」の項目を選択する場合、音声で「１」と発音する。これにより、「氏名」の項目が選択され、要介護者の氏名が図４に示すように表示される。ここで、ユーザが再び例えば「１」と発音すると、第１番目の名前が選択される。これにより、第１番目の名前が音声ポータル３を介して情報提供サーバ２へ入力される。
【００２３】
なお、上記の音声入力に代えて、図３においては「設定してください」の右側の三角マークをマウスによってクリックし、次いで、図４の第１番目の氏名をマウスによってクリックしてもよい。
このように、上記システムは、ユーザがそのデータを選択するために音声認識できる言葉を意識することなく、番号を発話しさえすればシステムを利用することができる。
【００２４】
＜システムにおけるデータの流れ＞
図５は上述した情報提供システムにおけるデータの流れを詳細に説明するための図である。以下、この図に基づいてデータの流れを説明する。
まず、通信端末１で情報取得を行うため、情報提供サーバ２と音声ポータル３にアクセスし、データパスと音声パスを同時に確立する（符号（１））。なお、ユーザ認証処理は、何らかの認証処理により音声パスとデータパスが同時に確立されていることを前提とする。また、情報提供サーバ２から音声ポータル３のユーザ毎発話頻度ＤＢ３１は参照可能とする。ここで、ユーザ毎発話頻度ＤＢ３１には次のデータが登録される。
【００２５】
・ユーザＩＤ・・・ユーザをユニークに識別するための本システム内で一意な番号
・画面表示要素番号・・・機能ボタンやメニュー等の画面に表示する要素で、本システム内で一意な番号
・音声認識コマンド・・・画面表示要素番号毎に登録した複数の音声認識コマンド
・頻度・・・音声認識コマンド毎に使用された頻度
【００２６】
データパス確立後、情報提供サーバ２の同期制御機能２１により、音声ポータル３との同期処理が開始される（符号（２））。提供情報表示機能２２はユーザ毎発話頻度ＤＢ３１を参照し、各表示要素（機能ボタンやメニュー等）毎に発話頻度の最も高い音声認識コマンドを一件検索し、通信機能２３を介して通信端末１のデータ表示部１１に付記表示する（符号（４）、（５））。同時に、音声ポータル３の通信機能および音声入出力機能を介して、通信端末１からの音声入力待ち状態となる。
【００２７】
次に、通信端末１の画面に表示されている音声認識コマンドをユーザが発音すると、音声入出力部１２がその音声を音声ポータル３へ送信し、音声ポータル３の音声認識機能３４が発話内容を受け取る（符号（６）、（７））。音声認識機能３４は音声認識辞書・グラマー４を用いて、ユーザの発話内容を解析し、通信機能３２を介して提供情報サーバ１の提供情報表示機能２２に発話内容を通知する（符号（８）、（９）、（１０））。同時に、認識結果よりユーザ毎発話頻度ＤＢ３１を更新する。
【００２８】
提供情報表示機能２２は発話内容に応じて、提供情報源５から必要な情報を入手し、入手した情報の一覧を番号付き（番号は音声認識辞書・グラマー４に予め登録済み）で通信端末１のデータ表示部１１に表示するとともに、予め音声認識辞書・グラマー４に登録された音声認識コマンドを付記した所定の画面を表示する（符号（１１）、（１２））。以降、データパスまたは音声パスを強制切断するまで、（５）から（１２）の処理が繰り返えされる。
【００２９】
【発明の効果】
以上説明したように、この発明によれば、音声入出力とデータ（画面）入出力を併用したマルチモーダルシステムにおいて、音声認識可能な言葉（音声認識コマンド）を画面上に付記表示することにより、ユーザは音声ガイダンスによる説明や音声認識コマンドを暗記することなく、音声によるデータ入力を行うことができる。また、ユーザから発声される言葉を予め絞ることが可能となり、音声認識向上と音声認識サーバ負荷軽減につなげられる。また、この発明によれば、ユーザ毎の発話頻度の高い音声認識コマンドを付記表示することにより、ユーザ毎の音声認識向上と使い勝手向上につなげられる。また、動的に音声認識可能な「番号」を画面上に付記して音声認識コマンドとすることにより、毎回異なる一覧内容が表示されても、利用者がその都度音声認識できる言葉が何であるかを迷うことなくシステムを利用することができる。
【図面の簡単な説明】
【図１】この発明の一実施形態によるマルチモーダルシステムの構成を示すブロック図である。
【図２】同実施形態における通信端末１の表示画面の例を示す図である。
【図３】同実施形態における通信端末１の表示画面の例を示す図である。
【図４】同実施形態における通信端末１の表示画面の例を示す図である。
【図５】同実施形態の構成をさらの詳細に示したブロック図である。
【符号の説明】
１…通信端末
２…情報提供サーバ
３…音声ポータル
４…音声認識辞書・グラマー
５…情報提供源
８…マルチモーダル装置
１１…データ表示部
１２…音声入出力部
２１…同期制御機能
２２…提供情報表示機能
２３…通信機能
３２…通信機能
３３…音声入出力機能
３４…音声認識機能
３５…音声合成機能
【図１】
2004295017.tif 000003
【図２】
2004295017.tif 000004
【図３】
2004295017.tif 000005
【図４】
2004295017.tif 000006
【図５】
2004295017.tif 000007