(57)【特許請求の範囲】
【請求項１】
記憶装置に記憶されたスロット個所を含む複数の定型文を表示手段に表示するステップと、
指示手段を介して前記表示される定型文の選択を受けるステップと、
選択された定型文の前記スロット個所に対応づけられた時間長の情報に基づいて、記憶された音響の音源データを切り出し、該スロット個所を該音源データで置き換えて音声合成しサウンドデータとして出力するステップと、
音声データを受信するステップと、
受信した音声データを音声認識処理して文字列に変換するステップと、
前記文字列から前記スロット個所に対応する単語を取得するステップと
を含むことを特徴とする音声入力を用いた情報取得方法。
【請求項２】
記憶装置に記憶しているスロット個所を含む表示中の複数の定型文のうちの一つを選択する指示を受信するステップと、
選択された定型文の前記スロット個所に対応づけられた時間長の情報に基づいて、記憶された音響の音源データを切り出し、前記スロット個所を前記音源データで置き換えて音声合成したサウンドデータを作成するステップと、
作成したサウンドデータを送信するステップと、
音声データを受信するステップと、
受信した音声データを音声認識処理して文字列に変換するステップと、
前記文字列から前記スロット個所に対応する単語を取得するステップとを含むことを特徴とする音声入力を用いた情報取得方法。
【請求項３】
請求項１又は２記載の音声入力を用いた情報取得方法において、前記音響に当該スロット個所に音声入力すべき単語のサンプルを重畳することを特徴とする音声入力を用いた情報取得方法。
【請求項４】
請求項１又は２記載の音声入力を用いた情報取得方法において、前記スロット個所は属性としてカテゴリーを有し、当該スロット個所のカテゴリーと前記文字列中の単語のカテゴリーの一致を条件として前記スロット個所に対応する単語を取得することを特徴とする音声入力を用いた情報取得方法。
【請求項５】
請求項４項記載の音声入力を用いた情報取得方法において、前記受信した音声データによって複数あるスロット個所全てに対応する単語が取得されなかった場合に、取得できなかったスロット個所の入力を促す音声を出力するステップを有することを特徴とする音声入力を用いた情報取得方法。
【請求項６】
音声入力を用いた情報取得システムにおいて、
スロット個所を含む複数の定型文及び前記スロット個所を置き換えるべき音源データを記憶する記憶手段と、
スロット個所を含む定型文のスロット個所を当該スロット個所に対応づけられた時間長の情報に基づいて切り出した前記音源データで置き換えてサウンドデータに変換する音声合成手段と、
スロット個所を含む複数の定型文からなる定型文メニュー、あるいは当該定型文メニューの中から選択された１つの定型文に対応するサウンドデータを送信する送信手段と、
上記定型文メニューを表示する端末から送信された１つの定型文を選択する指示、あるいは音声データを受信する受信手段と、
前記受信手段によって受信した音声データを文字列に変換する音声認識手段と、
前記文字列から、送信した定型文中のスロット個所に対応する単語を取得する単語取得手段とを含むことを特徴とする情報取得システム。
【請求項７】
請求項６記載の情報取得システムにおいて、前記スロット個所を置き換えた前記音源データに当該スロット個所に音声入力されるべきサンプル単語のサウンドデータを重畳することを特徴とする情報取得システム。
【請求項８】
請求項６記載の情報取得システムにおいて、前記スロット個所に対応する単語を登録した単語辞書を有し、前記単語取得手段は前記文字列中の単語と単語辞書に登録されている単語とを照合して前記スロット個所に対応する単語を取得することを特徴とする情報取得システム。
【請求項９】
請求項８記載の情報取得システムにおいて、前記スロット個所に対応するデータには単語カテゴリーが含まれ、前記単語辞書は単語のカテゴリーに関するデータを含み、前記単語取得手段は前記スロット個所の単語カテゴリーと前記文字列中の単語のカテゴリーとを照合して前記スロット個所に対応する単語を取得し、前記受信した音声データによって複数あるスロット個所全てに対応する単語が取得されなかった場合に、前記送信手段から取得できなかったスロット個所の入力を促す音声データを送信することを特徴とする情報取得システム。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、音声入出力手段を用いたユーザインタフェース及びそれを搭載した情報処理システムに関する。
【０００２】
【従来の技術】
近年、ユニバーサルデザインの提唱にも見られるように、健常者が享受しているサービスを高齢者/障害者も同様に受けるために、高齢者/障害者用の特別なサービス体系を構築するのではなく、健常者が受けるサービスの中に高齢者/障害者をも取り込んだ体系を構築する傾向がある。ただし、この傾向は最近始まったことであり、現状、この傾向に順じて開発された装置は少ない。視覚障害者に焦点を当てると、視覚障害者の間でも携帯電話の利用が浸透しつつあるが、現状の携帯電話のユーザインタフェースは健常者を対象として構築されているため、視覚障害者が携帯電話に搭載されている機能を使いこなすことは困難であり、通話機能のみを利用している場合が多く見られる。また高齢者においても、携帯電話は、緊急時や外出時の利便性等も相俟って利用が増える傾向にある。しかしながら、視覚障害者と同様に高齢者も、携帯電話に搭載されている多くの機能を利用することができず、通話のみの利用が多い。また携帯電話は、筐体上の制約から表示画面が小さく、高齢者には見にくいという問題があり、インターネットで配信される画面情報を獲得することが困難である場合も多い。表示画面の面積については、健常者、高齢者を問わず、小さな文字での表示は見づらく、ストレスを誘発しやすい。
【０００３】
【発明が解決しようとする課題】
高齢者や視覚障害者が健常者と同量、同質の情報を獲得できるようにするには、画面表示だけではなく、音声出力及び音声入力を用いたユーザインタフェースを機器に搭載する必要がある。ただ、音声入出力を用いる場合、現状では、いかなる音声をも正確に認識するのは難しい。したがって、ユーザが対象機器に対して情報を入力する場合に、負荷が少なくかつ認識率を高く保つことを可能にするユーザインタフェースを構築する必要がある。
【０００４】
ユーザが情報入力を行う場合、音声情報を用いたユーザインタフェースによって情報入力が行えるようになれば、ユーザは、小さな画面の表示を細部まで見て確認しなくとも自分が何を入力すべきかを理解することができ、さらには適切な情報を入力することが可能になると考えられる。
【０００５】
音声情報を用いたユーザインタフェースとしては、選択肢に番号を付けてその内容を番号と共に音声で読み上げ、番号によって選択肢を選択させる方式、あるいは音声対話によってユーザの音声入力を誘導する方式が知られている。しかし、前者の方式は選択肢が多岐にわたる場合や選択肢を予め用意できないような場合には不向きであり、後者の方式は何を音声入力すべきなのかをユーザに正確に伝達できず必要な入力内容が得られなかったり、音声入力に当たりユーザが予想外の仕方で応答した場合には対応できない等の問題があった。
【０００６】
本発明は、このような従来技術の問題点に鑑み、音声入力すべき内容をユーザに正確に伝えることができ、また、音声入力された内容を高精度に認識することを可能にする音声情報を用いたユーザインタフェースを提供することを目的とする。
【０００７】
【課題を解決するための手段】
本発明では、ユーザに入力すべき内容を示すために、単語等の入れ替えが可能な定型文を作成してユーザに示し、更にこのテキスト定型文の定型個所を音声により読み上げ、さらに定型文中のスロット個所を音響音或いは音声によって表現する手段を構築することによって前記目的を達成する。定型文中のスロット個所とは、ユーザからの音声入力によってそこに埋め込むべき情報が求められている定型文中の穴あき個所のことである。
【０００８】
また、ユーザが操作したいコマンドを選択でき、さらに対象となるパラメータを自由に設定することが可能になれば、発声すべき内容について考える労力を軽減することが可能になると考えられる。したがって、ユーザが音声出力で示された複数の定型文中からボタン等で一つの文を選択し、選択した定型文中に含まれているスロット個所に入力されるべき内容を音声を用いて入力する手段を設ける。
【０００９】
健常者が利用する場合には、画面に表示されているテキスト情報を見ることは可能であるが、状況により画面をはっきりと見ることができない場合もある。よって、ユーザが健常者である場合には、定型文情報を音声出力により確認するだけではなく、操作コマンドを示す定型文が複数表示されている画面からユーザが行いたいコマンドを示している定型文を選択することもできる手段を設ける。
【００１０】
音声入力はスロット個所に対する情報入力となるが、ユーザがスロットに対応する単語の発声単語長をあらかじめ意識することができれば、スロット個所に適切な単語が入力される可能性が高くなる。したがって、スロット個所で表現されるべき単語の発声時間長に応じてスロット個所に対応して表現される音響音或いは音声の時間長を制御する手段を設ける。
【００１１】
また、ユーザがスロット個所に入力すべき内容だけではなく、定型文全て或いは定型文の一部を含んだ内容についても音声入力を許容するようにシステムを構築すれば、スロット個所だけではなく全文を発声したとしても音声認識が可能になる。そのため、ユーザが発声した情報からスロット個所の情報を効率良く獲得する手段を設けた。更に、ユーザが入力した複数の音声情報とスロット個所との対応を掴むために、入力された音声情報の順序とスロットの順序を対応させることによってスロット内容を判断する機能を設け、さらに出現順序に従って入力されているかどうかを判断するために、入力された音声情報のカテゴリーを判断し、対応するスロットに入力されるべき内容と対応しているかどうかを判断する機能を設けた。
【００１２】
本発明による音声入力を用いた情報取得方法は、スロット個所を含む定型文を、スロット個所を所定時間長の音響で置き換えて音声合成しサウンドデータとして出力するステップと、音声データを受信するステップと、受信した音声データを音声認識処理して文字列に変換するステップと、前記文字列からスロット個所に対応する単語を取得するステップとを含むことを特徴とする。
【００１３】
本発明による音声入力を用いた情報取得方法は、また、記憶装置に記憶しているスロット個所を含む複数の定型文のうちの一つを選択する指示を受信するステップと、選択された定型文を、スロット個所を所定時間長の音響で置き換えて音声合成したサウンドデータを作成するステップと、作成したサウンドデータを送信するステップと、音声データを受信するステップと、受信した音声データを音声認識処理して文字列に変換するステップと、前記文字列からスロット個所に対応する単語を取得するステップとを含むことを特徴とする。
【００１４】
音響に当該スロット個所に音声入力すべき単語のサンプルを重畳してもよい。スロット個所を、その個所に入力すべき単語のサンプルで置き換えて音声合成出力することにより、ユーザはどのような内容を入力すべきなのかについて迷うことがなくなる。
【００１５】
また、スロット個所を置き換える音響の時間長をスロットによって異ならせるようにしてもよい。スロット個所において表現される音響音或いは音声の時間長を、スロット個所に入力されるべき情報の時間長に応じて制御することにより、ユーザは入力すべき単語等の発声時間長を推測することができ、入力される単語情報をユーザが特に意識することなく限定することが可能になる。
【００１６】
スロット個所に属性としてカテゴリーを与え、当該スロット個所のカテゴリーと前記文字列中の単語のカテゴリーの一致を条件としてスロット個所に対応する単語を取得するようにすることもできる。この方法によると、一つの定型文中にスロット個所が複数個存在している場合、入力された個々の音声情報に対応するスロット個所を音声情報のカテゴリー情報によって判断することが可能になる。また、必要な情報が全て入力されていないと判断された場合には、入力を促すべきデータについて定型文を生成し、同定型文の音響・音声データをユーザに対して提示することにより、ユーザに対して必要情報のみを入力させることが可能になる。
【００１７】
本発明による音声入力を用いた情報取得システムは、スロット個所を含む複数の定型文及びスロット個所に対応するデータを記憶する記憶手段と、スロット個所を含む定型文を、当該スロット個所を前記データで置き換えてサウンドデータに変換する音声合成手段と、サウンドデータを送信する送信手段と、データを受信する受信手段と、受信手段によって受信した音声データを文字列に変換する音声認識手段と、前記文字列から、送信した定型文中のスロット個所に対応する単語を取得する単語取得手段と含むことを特徴とする。
【００１８】
スロット個所に対応するデータは所定時間長の音響データ、あるいは当該スロット個所に音声入力されるべきサンプル単語及びそれに重畳される所定時間長の音響データとすることができる。
スロット個所に対応する単語を登録した単語辞書を有し、単語取得手段は前記文字列中の単語と単語辞書に登録されている単語とを照合してスロット個所に対応する単語を取得するようにしてもよい。このシステムによると、ユーザがスロット個所に入力すべき内容だけではなく、定型文全て或いは定型文の一部を含んだ音声入力を行ったとしても、スロット個所のみの情報を獲得することが可能となり、ユーザの発話自由度を上げることが可能になる。
【００１９】
また、スロット個所に対応するデータに単語カテゴリーを含ませ、単語辞書にも単語のカテゴリーに関するデータを含ませ、単語取得手段はスロット個所の単語カテゴリーと前記文字列中の単語のカテゴリーとを照合してスロット個所に対応する単語を取得するように構成してもよい。このシステムによると、一つの定型文中にスロット個所が複数個存在している場合、入力された個々の音声情報に対応するスロット個所を音声情報のカテゴリー情報によって判断することが可能になる。また、必要な情報が全て入力されていないと判断された場合には、入力を促すべきデータについて定型文を生成し、同定型文の音響・音声データをユーザに対して提示することにより、ユーザに対して必要情報のみを入力させることが可能になる。
本発明によると、ユーザの意図を表現する「定型文」を用いることによって音声による情報入出力を簡便に行うことが可能になる。
【００２０】
【発明の実施の形態】
以下、図面を参照して本発明の実施形態を説明する。以下では、ユーザが携帯電話からAAAA市のホームページにアクセスし、そのホームページ上でAAAA市弥生東町４丁目のテニスコートを、５月１５日１０時から１６時まで４名で予約する場合の例について説明する。ここでは本発明の適用例として、ユーザが携帯電話等の携帯端末からウェブサーバにアクセスして公共施設の予約を行う場合を想定しているが、本発明の適用は携帯端末とウェブサーバとの間での情報入出力のみに限られるわけではない。
【００２１】
図１は、本実施の形態においてユーザが情報入出力用に用いる携帯電話の画面表示例を示す図である。携帯電話は、画像や文字情報を表示する画面表示部１００、ユーザが操作する操作ボタン搭載部１０１、音声入力用のマイクロフォン１０２、音声出力用のスピーカ１０３を備える。画面表示部１００に全ての内容を表示できない場合、スクロールバー１０４によって画面をスクロールして所望の内容を表示させることができる。操作ボタン搭載部１０１には、メニュー選択ボタン１０１０，１０１１、数字ボタン１０１２、及びその他のボタン１０１３が搭載されている。ユーザが利用する施設予約システムの初期画面は、この例では図１の画面表示部１００に示すような「施設予約ページ」の第一画面であり、「＿＿＿を予約したい」「＿＿＿の予約をキャンセルしたい」といった定型文メニューが表示されている。
【００２２】
図２は、本発明によるデータ処理サーバの構成例を示すブロック図である。本例のデータ処理サーバ２０はウェブサーバである。ユーザが情報入出力用に用いる携帯電話２１とデータ処理サーバ２０とは、携帯電話網及びインタネット網等の通信網２２を介して通信する。携帯電話２１は、携帯端末等の他のモバイル機器であってもよい。
【００２３】
データ処理サーバ２０は、起動されたプログラムに応じて処理を行なうＣＰＵ２０１、ＣＰＵによって起動されたプログラム等を記憶する主記憶装置２０２、電話回線等のネットワーク情報を管理制御するネットワーク管理装置２０３、及びディスク２０４を備える。ディスク２０４には、システム全体を制御するシステムプログラム２０４１０、施設予約管理プログラム２０４１１、定型文型音声入力ガイダンスプログラム２０４１２、音声入力ガインダス情報生成プログラム２０４１３、音声認識プログラム２０４１４、音声合成プログラム２０４１５、ネットワーク管理プログラム２０４１６等のプログラムが格納され、さらにデータベースとして、音源データ２０４１７、定型文データ２０４１８、単語辞書２０４１９が格納されている。音源データ２０４１７には、音響データ及び音声合成用の音源データが格納されている。実行プログラム及びアクセスするデータは、必要に応じて主記憶装置２０２上に読み込まれ、ＣＰＵ２０１によって本発明に基づくデータ処理がなされる。なお、本実施の形態では、ユーザが利用する携帯電話２１に関し、音声データとインターネットデータを同時に送受信可能なマルチアクセス型携帯電話を想定した説明を行う。
【００２４】
次に、図９から図１６に示したフローチャートを適宜参照して、本実施の形態における処理について説明する。
まず、図９に示すように、施設予約システム管理者がウェブサーバであるデータ処理サーバ２０を立ち上げる。管理者がシステムプログラム２０４１０を起動すると（Ｓ９０１）、ネットワーク管理プログラム２０４１６が立ち上がる（Ｓ９０２）。さらに管理者が施設予約管理プログラム２０４１１を起動すると（Ｓ９０３）、定型文型音声入力ガイダンスプログラム２０４１２が起動され（Ｓ９０４）、音声認識プログラム２０４１４、音声合成プログラム２０４１５が起動される（Ｓ９０５）。これらのプログラムは、いずれもデータ処理サーバ２０の主記憶装置２０２に格納される。
【００２５】
この時点で、携帯電話２１からデータ処理サーバ２０へのアクセスが可能になる。ユーザが、例えば携帯電話２１を用いてデータ処理サーバ２０上のAAAA市のホームページにアクセスし（Ｓ１００１）、同ページ上で「施設予約」を指定すると（Ｓ１００２）、定型文型音声入力ガイダンスプログラム２０４１２により、携帯電話網を介して表示画面情報が携帯電話２１に送信され、図３に示すように、初期画面である定型文メニュー情報が携帯電話２１の画面表示部１００に表示される（Ｓ１００３）。
【００２６】
表示用の定型文群は、定型文型音声入力ガイダンスプログラム２０４１２により定型文データ２０４１８から主記憶装置２０２に格納され（Ｓ１１０１）、各操作場面毎の定型文は、定型文データ２０４１８から選択される（Ｓ１１０２）。次に該定型文を表示するための例えばＨＴＭＬ形式のデータが、携帯電話に送信され（Ｓ１１０３）、同データを用いて定型文データが画面上に表示される（Ｓ１１０４）。
【００２７】
ここで、個々の定型文データの構造を説明する。図３の定型文メニュー３０中の定型文(A)を例にとると、「テニスコート」と「に行きたい」から構成されている。「テニスコート」の個所は、ユーザがこれから入力する情報のサンプルを示しており、定型文中の可変部（以下、スロット個所という）３００である。一方「に行きたい」はメニューの定型部（以下、定型個所という）３０１であり、ユーザの意図を表現している。
【００２８】
次に、定型文データ２０４１８のデータ構造の一例を図４を用いて説明する。定型文の管理番号である定型文識別子４００１の各々に対して、一つの定型文４００２が対応している。定型文各々に対しては、各定型文中のスロット個所（[A1]、[B1]、[C1]、[D1]、[D2]...[W1]）に対応したデータが格納されている。定型文(D)を例にとると、スロット用単語カテゴリー名４００３として、各スロットにおいて表現される音声のカテゴリー名、ここでは[D1]に対しては「町名番地」、[D2]に対しては「施設名」が格納されている。さらに、カテゴリー名に対応してスロット用単語４００４が格納されており、例えば[D1]の「町名  番地」に対しては「弥生東町３丁目」、[D2]の「施設名」に対しては「体育館」が格納されている。さらにスロット個所音響の種類４００５には、４００３のカテゴリーに対応して、カテゴリー名「施設名」にはsound_a、「町名」にはsound_bが対応して格納されている。また、スロット個所の時間長４００６には、各スロット用単語の発声時間長が格納されている。[D1]の「弥生東町３丁目」に対しては1000msec、[D2]の「体育館」に対しては500msecが対応する時間長である。
【００２９】
また、定型文４００１は、サブ単位から構成されている。図５に示すように、定型文中の定型個所とスロット個所が各々サブ単位となっている。また、サブ単位に対応して、サブ単位の時系列番号をWord_i(i = 0...n)、スロット個所のみの番号を S_j(j = ...m)、定型個所のみの番号をT_k(k = 0...s)としてサブ単位に対応づけされている。
【００３０】
次に、ユーザの入力操作場面について説明する。本発明は、画面表示がある場合と無い場合の両者に対応しているが、本実施の形態では、画面表示があるものについて説明を行う。
ユーザは、図３の初期画面において、複数表示されている定型文メニュー３０からユーザが所望する意図を表現している定型文を選択する。ユーザは、図１に示す携帯電話のメニュー選択用操作ボタン１０１０及び１０１１を用いて、定型文メニューからの選択を行う（Ｓ１２０１）。操作ボタン１０１０を押すと、現在反転表示によってポジティブに表示されている定型文(B)に替わり、その上の定型文(A)の表示が反転し、ポジティブになる。操作ボタン２０１１をプッシュすると現在反転している定型文(B)の下に表示されている定型文(C)の表示が反転してポジティブになる。ポジティブになった定型文の識別子データは携帯電話２１からデータ処理サーバ２０に自動的に送信される（Ｓ１２０２）。
【００３１】
例えば、定型文「D」が選択され、定型文識別子データ「D」がデータ処理サーバに送信されると、音声入力ガイダンス情報生成プログラム２０４１３が起動される（Ｓ１２０３）。同プログラムによって、定型文識別子データ「D」に対応する定型文データ２０４１８内の情報を用いてユーザの音声入力を誘導する「定型文型音声入力ガイダンス情報」が生成され（Ｓ１２０４）、生成された該ガイダンス情報は携帯電話側に送信され、携帯電話のスピーカから出力される（Ｓ１２０５）。
【００３２】
ここでまた定型文選択ボタン１０１０又は１０１１が押された場合には、ステップ１２０６からステップ１２０２の選択された識別子データをデータ処理サーバ２０に送信する処理に戻る。こうして、定型文が選択される度に、定型文識別子データ４００１がデータ処理サーバに送信される。つまり、ユーザが上下メニュー選択ボタン１０１０，１０１１を押してメニューから別の定型文が選択されると、その都度、選択された定型文の識別子データがデータ処理サーバ２０に自動送信され、選択された定型文が読み上げられる。そのため、ユーザは携帯電話２１の画面を見ることなく、スピーカからの音声出力だけを頼りに所望のメニューを選択することが可能になる。
【００３３】
なお、ステップ１２１０からステップ１２０２に進むに当たって、選択確定のためのボタン操作を必要とするように構成することもできる。その場合には、ステップ１２０１においてメニューを選択した後、確定ボタン（例えば"#"ボタン１０１３）押して選択を確定すると、ステップ１２０２に進み、選択された定型文の定型文識別子データ４００１が携帯電話２１からデータ処理サーバ２０に送信されることになる。
【００３４】
ステップ１２０５で定型文型を携帯電話のスピーカから音声出力した後、ボタン入力が無く、ステップ１２０７で音声入力が行われた場合には、図１４に示す処理に進む。ステップ１２０７で音声入力が無い場合にはステップ１２０５に戻り、ガイダンス情報を再度スピーカから出力する。
ここで、図１３により、ステップ１２０４における定型文型音声入力ガイダンス情報の生成方法の詳細について説明する。ここでは定型文「D」が選択された場合について説明する。
【００３５】
定型文識別子データ「D」をネットワーク管理装置２０３を介してデータ管理サーバ２０が受信すると、受信をトリガとして起動された音声入力ガイダンス情報生成プログラム２０４１３は、定型文データ２０４１８内の定型文識別子データ「D」に対応するデータをメモリ上に格納する（Ｓ１２０４０１）。さらに、音声合成プログラム２０４１５が起動され、定型文「Ｄ」中のスロット個所[D1]及び[D2]の出力音声が生成される。
【００３６】
まず、図５に示したように、スロット個所である[D1]に対応する定型文サブ単位であるS_0についての出力音声生成方法について述べる。はじめに、S_0に対応しているスロット用単語「弥生東町３丁目」が音声合成プログラムによって合成音声に変換され、temp_S_0.wavファイルに格納される（Ｓ１２０４０２）。次に、施設名のカテゴリーに対応しているスロット個所の音響の種類である「sound_b」を音源データ２０４１７から呼び出し、「sound_b」に対応している音源データ「sound_b.wav」からスロット個所の時間長４００６に記述されている時間長1000msec分を切り出したデータをtemp_S_0.wavに重畳する（Ｓ１２０４０３）。重畳した音響音声重畳データをS_0_speech_sound.wavとして主記憶装置２０２上のW[ 0 ]の配列に格納しておく（Ｓ１２０４０４）。[D2]であるS_1についても同様に、S_1に対応しているスロット用単語「体育館」の時間長分を音源データ２０４１７に格納されている「sound_a」に対応しているwavファイル「sound_a.wav」から切り出し、スロット用単語「体育館」に重畳する。この重畳データもS_1_speech_sound.wavとして主記憶装置２０２上のW[ 2 ]に格納しておく（Ｓ１２０４０５）。
【００３７】
次に、定型個所であるT_0（「の」）、T_1（を予約したい）の合成音声生成方法について述べる。T_0の「の」について、音声合成プログラム２０４１５によって合成音声を生成し、wavファイルとしてW[ 1 ]の配列に格納しておく。T_1に関しても同様に「を予約したい」について音声合成プログラムによって合成音声を生成し、wavファイルとしてW[ 3 ]の配列に格納しておく（Ｓ１２０４０６）。
【００３８】
最後に、W[ 0 ]、W[ 1 ]、W[ 2 ]、W[ 3 ]を接続して、WavファイルとしてD.wavに格納する（Ｓ１２０４０７）。前述のように、図１２のステップ１２０５において、このD.wavは携帯電話に送信され、携帯電話のスピーカから出力音ファイルD.wavの音声入力ガイダンス情報が出力される。
【００３９】
スロット個所の出力音に関しては、スロット用単語の合成音声を重畳せずにスロット個所音響のみでの出力でも良く、この場合には、スロット個所音響の種類で指定されているsound_aやsound_bをスロット個所時間長に記載されている長さだけ切り出してS_0_speech_sound.wav及びS_1_speech_sound.wavに格納する。
【００４０】
音源データsound_a.wavやsound_b.wavとしては、例えばチャイム音やビープ音のようなものを用いることができる。また、定型個所T_0（「の」）、T_1（を予約したい）の合成音声とスロット個所[D1]及び[D2]の合成音声には、例えばそれぞれの音声の周波数帯域を異ならせるといったような区別をつけると、ユーザが自分の入力するべき内容を容易に理解でき、かつ耳障りならずにユーザの注意を引くことができる。
【００４１】
次に、図１４から図１６を参照して、定型文中に含まれているスロット個所へのユーザの音声入力について説明する。出力音ファイルD.wavの音声入力ガイダンス情報がスピーカから出力された後に、ユーザは定型文中に含まれているスロット個所に対応する内容を音声入力する。例えば、定型文(D)が選択されている場合、「[D1]の[D2]を予約したい」の[D1]及び[D2]に対応する単語を音声入力する。スロット個所[D1]に対しては「南町」「北町」といった単語を、スロット個所[D2]に対しては「テニスコート」「グランド」といった単語を携帯電話のマイクロフォン等音声入力装置に対して入力する（Ｓ１４０１）。入力された音声情報は、音声認識プログラム２０４１４によってＡ/Ｄ変換され（Ｓ１４０２）、デジタルデータに変換された音声情報を単語単位の文字列に変換する（Ｓ１４０３）。認識された文字列は認識結果セルに格納される。本例では、ユーザが「弥生東町４丁目のテニスコート」と発声し、認識結果が、「弥生東町４丁目」「の」「テニスコート」の３単語として認識結果セル(res_speech[ t ](t = 0..k)(k
= 2))に格納される（Ｓ１４０４）。
【００４２】
次に、res_speech[ 0 ]=「弥生東町４丁目」とres_speech[ 1 ]=「の」、res_speech[ 2 ]=「テニスコート」について、単語辞書２０４１９中の単語名と照合する（Ｓ１４０５）。単語辞書２０４１９は、図６に示すように、単語番号６００１、単語名６００２、及び単語カテゴリー名６００３から構成されている。res_speech[ 0 ]、res_speech[ 1 ]、及びres_speech[ 2 ]と単語名との照合を行う。照合の結果、res_speech[ 0 ]とres_speech[ 2 ]がマッチし、これらはマッチした単語として主記憶装置上のtarget_word[ j ](j = 0..m)に順に格納される（Ｓ１４０６）。ここでは、target_word[ 0 ] = 「弥生東町４丁目」、target_word[ 2 ] = 「テニスコート」となる。
【００４３】
また、主記憶装置上のtarget_category[ j ](j = 0..m)にはマッチした単語に対応する単語辞書中の単語カテゴリー名が格納される（Ｓ１４０７）。ここでは、target_category[ 0 ] = 「町名  番地」、target_category[ 2 ] =「施設名」となる。res_speech[ 1 ]＝「の」については、カテゴリーが対応していないため、target_category[ 1 ] = 「対応無」となり、「０」が入力格納される。
【００４４】
さらに、target_category[ j ]を定型文データ２０４１８中のスロット用単語カテゴリー名（図４参照）と照合する。ここでは既選択の定型文Ｄのスロットについてのスロット用単語カテゴリー名４００３を呼び出し、そのカテゴリー名とtarget_category[ j ]とを照合する。具体的には、定型文Ｄのスロットについてのスロット用単語カテゴリー名である「町名  番地」と「施設名」が呼び出され、target_category[ 0 ] = 「町名  番地」とtarget_category[ 1 ]=「施設名」と照合される（Ｓ１４０８）。ここで該当定型文のスロットの数とtarget_wordの数が同一であり、かつ両者のカテゴリーが同一であれば（Ｓ１４０９）必要な情報は満たされていると判断され、ここでは「弥生東町４丁目のテニスコート」の予約画面へと遷移し、後述する図１６に示す処理を行う。
【００４５】
一方、ユーザが「弥生東町４丁目のテニスコート」と発声したにも関わらず、音声認識の結果として２つのスロット[D1][D2]のうち一方のみ、例えば「テニスコート」のみが認識された場合にはステップ１４０９から図１５に示す処理に移る。図１５のステップ１５０１では、上記過程と同様に、単語辞書２０４１９中の単語名と「テニスコート」が照合され、target_word[ 0 ]=「テニスコート」、target_category[ 0 ] = 「施設名」が格納される。次に、target_category[ 0 ]について、上記の方法と同様に定型文データ「Ｄ」のスロット用単語カテゴリー名（図４参照）との文字列照合を行い、スロット番号[D2]と同一カテゴリーであると判断された場合には、スロット[D2]への入力は満たされたと判断される。
【００４６】
ただし本例のように、スロット数が２個満たされる必要があるにも関わらず、スロット番号[D1]についての入力が満たされていないため、スロット番号[D1]について、定型文型音声入力ガイダンスプログラムにより、スロット番号 [D1]について入力を促進する音声出力が行われるように、スロット番号１のカテゴリー名である「町名  番地」についてのユーザ入力を促すために、定型文データ２０４１８から「[k1]を入力してください。」という定型文Ｗが選択され（Ｓ１５０２）、「町名  番地」のカテゴリーに対応するスロット用単語「弥生東町３丁目」を用いて前述の「[D1]の[D2]を予約したい」の場合での音声入力ガイダンス生成方法で定型文型音声入力ガイダンス情報が生成される（Ｓ１５０３）。
【００４７】
次に、生成された定型文型音声入力ガイダンス情報が携帯電話に送信され、携帯電話のスピーカから出力される（Ｓ１５０４）。これによりユーザはカテゴリー名に対応する町名番地「弥生東町４丁目」を入力することになり（Ｓ１５０５）、ステップ１５０６にて全ての情報が入力されたと判断されると、「弥生東町４丁目のテニスコート」の予約画面へと遷移し、図１６に示す処理に移る。
【００４８】
また、図１５のステップ１５０１において、「弥生東町」というようにカテゴリーが「町名」のみ入力されたり認識された場合には、「弥生東町」の単語辞書に対応するカテゴリー名「町名」と定型文データ「Ｄ」のスロット用単語カテゴリー名との照合が行われる。この時、定型文データ２０４１８中のスロット用単語カテゴリー名「町名  番地」の２単語のうち一単語が一致した場合には、ステップ１５１２において、定型文データ２０４１８中の定型文「[k1]を入力してください」が選択され、この定型文のスロット用単語カテゴリー名「番地」に対応するスロット用単語「３丁目」との組み合わせにより、前述の方法で音声入力ガイダンス情報が生成され（Ｓ１５１３）、その情報が携帯電話に送信され、携帯電話のスピーカから出力される（Ｓ１５１４）。ここでユーザが「４丁目」と音声入力すると（Ｓ１５１５）、上記の方法で入力音声が認識され、「４丁目」という文字列に変換される。変換された文字列「４丁目」は、target_word[ 0 ]に既に格納されている「弥生東町」の文字列に接続され、target_word[ 0 ]＝「弥生東町４丁目」として格納される。また、格納されたtarget_word[ 0 ]は、単語辞書中で該単語と対応するカテゴリー名からtarget_category[ 0 ]＝「町名  番地」が再登録される。次に、定型文Ｄの[D1]スロットについてのスロット用単語カテゴリー名である「町名  番地」とtarget_category[ 0 ]とを照合し（Ｓ１５０６）、全て一致していれば、必要情報は全て入力されているとみなされ、「弥生東町４丁目のテニスコート」の予約画面へと遷移する。ステップ１５０６において未だ入力されていない必要情報があると判定されれば、再びステップ１５０１に戻って処理を反復する。
【００４９】
次に、図７と図８に示した携帯電話の表示画面、及び図１６のフローチャートを参照して、「弥生東町４丁目のテニスコート」の予約画面での入力内容について説明する。
ここでは、ユーザは定型文メニューを選択することはない。表示画面が「弥生東町４丁目のテニスコート」予約画面へと遷移したと同時に、データ処理サーバ２０において、図７に示すように「[P1]月[P2]日」の定型文による音声入力ガイダンス情報が生成され（Ｓ１６０１）、その情報が携帯電話へ送信されて、携帯電話のスピーカから音声として出力される。ユーザは、５月１５日に予約したい場合、音声によるガイダンスが出力された後に「５、１５」というように発声して、携帯電話のマイクロフォンからスロット個所に関する音声情報を入力する（Ｓ１６０２）。この時、数値の発声ではなく「５月」や「１５日」というように接尾辞がついた入力であっても、音声認識プログラムにより、数値情報と「月」「日」といったカテゴリー情報が共に抽出されるため、データ処理サーバ上のスロット[P1]及び[P2]データ領域には「月」のデータ及び「日」のデータとして登録格納される。入力された音声情報は、前述の「[D1] の[D2]を予約したい」における処理と同様の方法で、入力された音声情報を文字列に変換し、入力すべき情報が全て格納されていれば、次の処理に移る（Ｓ１６０３）。
【００５０】
予約の日にちに関する情報が全て入力されると、さらに時間に関して「[Q1]時から[Q2]時まで」という音声入力ガイダンス情報がデータ処理サーバにおいて上記方法で生成され、携帯電話に送信され出力される（Ｓ１６０４）。ここでユーザは、１０時から１６時までの利用を予約したい場合、「１０、１６」と発声して、携帯電話のマイクロフォンからスロット個所に関する情報を音声入力する（Ｓ１６０５）。音声入力された開始時間に関する情報「１０」及び終了時間に関する情報「１６」は、音声認識プログラムによって文字列に変換され、主記憶装置上に格納される（Ｓ１６０６）。利用時間の入力が終了すると、次に利用者数の入力に移り、「[R1]名」という音声入力ガイダンス情報が上記と同様の方法で生成され（Ｓ１６０７）、携帯電話のスピーカから出力される（Ｓ１６０７）。ここでユーザが「４」と発声し（Ｓ１６０８）、必要な情報が全て入力されたことが確認されると（Ｓ１６０９）、「弥生東町４丁目のテニスコート」の予約画面において入力され、音声認識によって文字列に変換された全てのデータを用いてデータ処理サーバ上で施設予約プログラムによって予約状況が検索され、予約が可能であることが確認されると、図８に示すように、ユーザの携帯電話に予約結果が画面表示される（Ｓ１６１０）。最後にユーザが画面上の「予約終了」ボタンを押すと、予約が終了し（Ｓ１６１１）、AAAA市ホームページに戻る。
【００５１】
以上説明したように、本発明によると、ユーザが画面で情報を確認しなくともシステムが対応可能なコマンドを確認でき、さらにユーザが入力すべき情報を推測することができるようになり、かつユーザが発話内容を考える必要無く音声入力することができるようになる。また、ユーザが複数の定型文中からボタン等で選択した一定型文に対し、該定型文中に含まれているスロット個所に入力されるべき内容を音声を用いて入力可能にすることにより、ユーザは定型文を選択することでユーザが所望するコマンドを選ぶことができ、さらにスロット部分に音声入力することによって指定したコマンドに対応するパラメータを画面からポインティングデバイス等で選択したりすることなく指定可能になる。
【００５２】
また、スロット個所を含む複数のテキスト定型文をメニュー形式で表示し、次に個々の表示内容から上記ポイティングデバイスやボタン等を用いて定型文１文を選択し、さらに選択した文のスロット個所に入力されるべき内容を音声で入力可能にすることにより、ユーザは視覚的に入力すべき情報を推測することが可能になる。
【００５３】
【発明の効果】
本発明によると、ユーザが、入力すべき発声内容について迷うことなく、簡便にかつ確実にタスクを達成することが可能になる。
【図面の簡単な説明】
【図１】携帯電話表示画面の一例を示す図。
【図２】本発明によるデータ処理サーバの構成例を示すブロック図。
【図３】メニュー表示画面の一例を示す図。
【図４】定型文データの構造の一例を示す図。
【図５】定型文のサブ単位及びスロット個所、定型部の項目番号の一例を示す図。
【図６】単語辞書の構造の一例を示す図。
【図７】メニュー表示画面の一例を示す図。
【図８】予約結果表示画面の一例を示す図。
【図９】本発明の処理フローの一例を示す図。
【図１０】本発明の処理フローの一例を示す図。
【図１１】定型文データからの画面遷移に応じた定型文選択の一例を示す図。
【図１２】本発明の処理フローの一例を示す図。
【図１３】定型文型音響音声ガイダンス情報の生成フローの一例を示す図。
【図１４】本発明の処理フローの一例を示す図。
【図１５】本発明の処理フローの一例を示す図。
【図１６】本発明の処理フローの一例を示す図。
【符号の説明】
２０：データ処理サーバ、２１：携帯電話、２２：通信網、１００：画面表示部 、１０２：マイクロフォン 、１０３：スピーカ 、１０４：スクロールバー、１０１０：メニュー操作ボタン、１０１１：メニュー操作ボタン
【図１】
0003974419.tif 000002
【図２】
0003974419.tif 000003
【図３】
0003974419.tif 000004
【図４】
0003974419.tif 000005
【図５】
0003974419.tif 000006
【図６】
0003974419.tif 000007
【図７】
0003974419.tif 000008
【図８】
0003974419.tif 000009
【図９】
0003974419.tif 000010
【図１０】
0003974419.tif 000011
【図１１】
0003974419.tif 000012
【図１２】
0003974419.tif 000013
【図１３】
0003974419.tif 000014
【図１４】
0003974419.tif 000015
【図１５】
0003974419.tif 000016
【図１６】
0003974419.tif 000017