(57)【要約】【課題】  音声対話型アプリケーションを、端末装置の使用環境（ネットワーク環境）に依存することなく使用すること。【解決手段】  ＶＸＭＬプログラムを記憶する記憶装置を備えた情報処理装置が、音声の入力を受け付け、記憶装置に記憶されるＶＸＭＬプログラム及び入力された音声内容に基づき、出力すべき音声内容を決定し、決定された音声内容を音声として出力する。【選択図】  図１
2009048578.tif 000002
【特許請求の範囲】
【請求項１】
音声の入力を受け付ける音声入力手段と、
ＶＸＭＬプログラムを記憶する記憶手段と、
前記記憶手段に記憶されるＶＸＭＬプログラム及び前記音声入力手段により入力された音声内容に基づき、出力すべき音声内容を決定するＶＸＭＬ制御手段と、
前記ＶＸＭＬ制御手段によって決定された音声内容を音声として出力する音声出力手段と、を含む端末装置。
【請求項２】
前記ＶＸＭＬ制御手段によって決定された音声内容を文字として出力する画像出力手段をさらに含む請求項１に記載の端末装置。
【請求項３】
ＶＸＭＬプログラムを記憶する記憶装置を備えた情報処理装置が、音声の入力を受け付けるステップと、
前記情報処理装置が、前記記憶装置に記憶されるＶＸＭＬプログラム及び入力された音声内容に基づき、出力すべき音声内容を決定するステップと、
前記情報処理装置が、決定された音声内容を音声として出力するステップと、
を含む音声対話処理方法。
【請求項４】
ＶＸＭＬプログラムを記憶する記憶装置を備えた情報処理装置に対し、
音声の入力を受け付けるステップと、
前記記憶装置に記憶されるＶＸＭＬプログラム及び入力された音声内容に基づき、出力すべき音声内容を決定するステップと、
決定された音声内容を音声として出力するステップと、
を実行させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、情報処理装置に対して、ユーザが音声によって操作やデータ入力を行うことを可能とする技術に関する。
【背景技術】
【０００２】
近年、キーボードやマウス等のように手を用いて操作する入力装置を用いることなく、音声によって情報処理装置の操作やデータ入力を行う方法が提案されている。例えば、音声対応のＷＥＢブラウザや、ＩＶＲ（Interactive Voice Response：自動音声応答）アプリケーションなどが、その実現例である。このような音声対応のアプリケーションを実現するためのプログラミング言語の一つとして、ＶＸＭＬ（Voice Extensible Markup Language）が注目されている。ＶＸＭＬは、音声対話型のアプリケーションをＸＭＬで記述するための言語である。
【０００３】
ＶＸＭＬを用いることにより、フロントエンドの部分とビジネスロジックの部分とを、それぞれ独立して構築することが可能となる。このため、ＶＸＭＬを用いることにより、音声対話型アプリケーションの開発が容易となり、開発に要する時間やコストを削減することが可能となる。
【０００４】
このようなＶＸＭＬを用いたシステムの具体例として、特許文献１に示されるシステムがある。このシステムは、通信回線を介して教材情報を利用者に音声にて提供する音声教材提供システムである。このシステムは、利用者によって入力された教材情報に関するパラメータを取得し、この取得した教材パラメータを解析し、この解析された教材パラメータに基づいて、教材情報をＶＸＭＬ文書で生成し、この生成された教材情報を音声ブラウザで音声化して教材を利用者に提供する。
【特許文献１】特開２００６−１６３１０８号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
従来のＶＸＭＬでは、ユーザが直接的に操作を行い音声の入出力インタフェースとして機能する端末装置の他に、実際の処理を行うサーバ装置が必要となっていた。例えば、音声認識を行う装置、音声合成を行う装置、ＶＸＭＬブラウザとしての装置、ドキュメントサーバとしての装置などが、端末装置の他に必要となっていた。そして、端末装置は、これらの装置を含むシステムに対してネットワークで接続される必要があった。
【０００６】
しかしながら、このようなシステムとのネットワーク接続が必須の構成となってしまうと、端末装置を用いた音声対話型アプリケーションの使用環境が限定されてしまう。本発明の目的は、音声対話型アプリケーションを、端末装置の使用環境（ネットワーク環境）に依存することなく使用することを可能とすることである。
【課題を解決するための手段】
【０００７】
本発明は、端末装置であって、音声入力手段、記憶手段、ＶＸＭＬ制御手段、及び音声出力手段を含む。音声入力手段は、ユーザの発話による音声の入力を受け付ける。記憶手段は、ＶＸＭＬプログラムを予め記憶する。ＶＸＭＬ制御手段は、記憶手段に記憶されるＶＸＭＬプログラム及び音声入力手段により入力された音声内容に基づき、出力すべき音声内容を決定する。音声出力手段は、ＶＸＭＬ制御手段によって決定された音声内容を音声として出力する。
【０００８】
また、本発明による端末装置は、ＶＸＭＬ制御手段によって決定された音声内容を文字として出力する画像出力手段をさらに含むように構成されても良い。
【０００９】
また、本発明は、情報処理装置を、上述した端末装置として動作させるためのプログラムとして特定されても良い。また、本発明は、上述した端末装置が行う音声対話処理方法として特定されても良い。
【発明の効果】
【００１０】
本発明により、音声対話型アプリケーションを、端末装置の使用環境（ネットワーク環境）に依存することなく使用することが可能となる。
【発明を実施するための最良の形態】
【００１１】
〔装置構成〕
図１は、本発明における端末装置１０の装置構成例を示す図である。端末装置１０は、情報処理装置を用いて構成される。即ち、端末装置１０は、バスを介して接続された記憶装置、演算装置、入出力装置を含み、記憶装置に記憶されたプログラムを演算装置において処理することによってプログラムに従って動作する。具体的には、携帯電話機やＰＤＡ（Personal Digital Assistance）やスマートフォンやパーソナルコンピュータ等の情報処理装置を用いて構成することができる。次に、端末装置１０に含まれる各機能部について説明する。
【００１２】
〈画像出力部〉
画像出力部１１は、端末装置１０に接続された画像出力装置に対し、文字や画像の出力や画面の遷移を指示する。画像出力装置は、画像出力部１１からの指示に応じて文字や画像を表示する装置である。画像出力装置は、例えばＣＲＴ（Cathode Ray Tube）ディスプレイや液晶ディスプレイや有機ＥＬ（Organic Electroluminescence）ディスプレイ等を用いて構成できる。画像出力装置は、端末装置１０に一体的に設けられても良い。
【００１３】
〈音声出力部〉
音声出力部１２は、端末装置１０に接続された音声出力装置に対し、音声データ（電気信号）を出力することにより、音声の出力を指示する。音声出力装置は、音声出力部１２からの指示に応じて、音声データを振動に変換し、音声を出力する。音声出力装置は、スピーカーを用いて構成することができ、その種類は限定されない。例えば、空気を振動させるスピーカーや、人体を振動させるスピーカー（例えば骨伝導スピーカーなど）を用いて構成できる。また、その形状なども限定されず、端末装置１０のユーザが装着できるもの（例えばヘッドフォンやヘッドセットタイプのもの）でも良いし、どこかに設置されるもの（例えば卓上型や床設置型や壁設置型のもの）でも良い。
【００１４】
〈音声入力部〉
音声入力装置１３は、端末装置１０に接続された音声入力装置から入力される音声データを音声認識部１４に渡す。音声入力装置は、端末装置１０のユーザが発話した音声を電気信号に変換する装置である。音声入力装置は、マイクロフォンを用いて構成することができ、その種類は限定されない。例えば、内耳マイク、骨伝導マイク、咽頭マイク、ヘッドセットマイク、卓上マイクなどのマイクロフォンを用いて構成できる。
【００１５】
〈音声認識部〉
音声認識部１４は、端末装置１０のＣＰＵによって音声認識プログラムが実行されることにより実現される。音声認識部１４は、音声入力部１３から入力される音声データを入力信号として、音声認識を行う。音声認識部１４には、従来からあるどのような音声認識技術が適用されても良い。以下に、音声認識部１４に適用可能な技術の具体例を示す。
【００１６】
音声認識部１４は、不図示の記憶装置に音響モデル及び言語モデルを有する。音響モデルとは、人の発話による音声信号の特徴量と、その発話に対応する文言とを対応付けたものである。例えば、予め人間によって発音された特定の単語の音声信号の特徴量を取得し、その特徴量と、その特定の単語とを対応付けておくことによって音響モデルを作成できる。特徴量と文言との対応付けは、１対１であっても良いし、１対複数であっても良い。後者の場合は、各文言に重み付けなどを施すことも有効である。
【００１７】
言語モデルとは、各文言の出現確率を表すデータである。この出現確率は、他の文言の存在にかかわらず、単に出現する確率として与えられても良い。また、出現確率は、ある文言が認識されたことを前提に、その文言に続いて次に出現する確率として与えられても良い。この言語モデルを用いることにより、音響モデルのみに基づいて音声認識する場合に比べて、認識効率を向上させることができる。
【００１８】
次に、音声認識部１４の処理について説明する。まず、音声認識部１４は、入力された音声信号に対し音声分析を実施することにより、入力された音声信号から、音声認識に有効な特徴量を抽出する。次に、音声認識部１４は、言語モデルの拘束下において、音声分析によって得られた特徴量と、音響モデルとをマッチングし、入力された音声信号がいずれの文言を示す音声信号であるか判断する。
【００１９】
音声認識部１４は、認識結果（数値や文字列など）が得られた場合には、認識結果をＶＸＭＬ制御部１６に渡す。一方、音声認識部１４は、認識結果が得られない場合（認識エラーの場合）には、エラーであることをＶＸＭＬ制御部１６に出力する。
【００２０】
〈音声合成部〉
音声合成部１５は、端末装置１０のＣＰＵによって音声合成プログラムが実行されることにより実現される。音声合成部１５は、ＶＸＭＬ制御部１６から受け取ったデータに基づいて音声合成処理を行う。音声合成部１５には、従来からあるどのような音声合成技術が適用されても良い。以下に、音声合成部１５に適用可能な技術の具体例を示す。
【００２１】
音声合成部１５は、不図示の記憶装置に単語辞書と音声信号辞書を有する。単語辞書とは、複数の単語とその読みとを対応付けたものである。音声信号辞書とは、各音とその音声信号とを対応付けたものである。音声合成部１５は、ＶＸＭＬ制御部１６から受け取ったデータと単語辞書とに基づいて、受け取ったデータに対応する読みを判断する。そして、音声合成部１５は、音声信号辞書を用いて、受け取ったデータの読みに対応した音声信号を作成する。
【００２２】
音声合成部１５は、ＶＸＭＬ制御部１６から数値や文字列などのデータを受け取った場合には、このデータに応じた音声信号を作成する。一方、音声合成部１５は、ＶＸＭＬ制御部１６からエラーデータを受け取った場合は、予め定められたエラー用音声信号を作成する。
【００２３】
音声合成部１５は、作成された音声信号を音声出力部１２に渡し、音声出力部１２に音声信号に基づいた音声出力を実行させる。
【００２４】
〈ＶＸＭＬ制御部〉
ＶＸＭＬ制御部１６は、端末装置１０のＣＰＵによって、ＶＸＭＬブラウザのアプリケーションが実行されることにより実現される。ＶＸＭＬ制御部１６は、ドキュメント記憶部１７から読み出すＶＸＭＬプログラムの内容に応じて、端末装置１０のユーザとの対話処理を実現する。即ち、ＶＸＭＬ制御部１６は、音声認識部１４から入力される認識結果のデータ及びＶＸＭＬプログラムの内容に応じて、ユーザに対する応答内容の決定や、ドキュメント記憶部１７から新たなＶＸＭＬプログラムの読み出しを実行する。また、ＶＸＭＬ制御部１６は、ユーザに対する応答内容のデータを音声合成部１５へ渡す。
【００２５】
また、ＶＸＭＬ制御部１６は、画像出力部１１に対し、ＶＸＭＬプログラムに基づいた画像の表示を実行させる。ＶＸＭＬ制御部１６は、音声合成部１５へ渡すデータ（即ち、ユーザに対する応答内容のデータ）と同等の文言を、画像出力部１１を介して文字として出力する。
【００２６】
〈ドキュメント記憶部〉
ドキュメント記憶部１７は、不揮発性の記憶装置を用いて構成される。ドキュメント記憶部１７は、ＶＸＭＬプログラムを記憶する。ドキュメント記憶部１７が記憶するＶＸＭＬプログラムは、端末装置１０がユーザと音声を通じて対話型処理を実行するためのプログラムである。
【００２７】
〔動作例〕
図２及び図３は、画像出力部１１を介した表示画面の例を示す図である。以下、端末装置１０における表示画面及び画面遷移の例について説明する。
【００２８】
端末装置１０における所定のアプリケーション（音声対話型アプリケーション）が起動されると、メニューを選択するための画面が表示される（図２（ａ）及び（ｂ）参照）。なお、図２（ａ）と図２（ｂ）との画面表示は同一のものであり、図２（ａ）は端末装置１０の外観まで表したものである。
【００２９】
図２（ａ）における画面には、“メニューを選択してください。”の文字と、選択候補が表示される。このとき、音声合成部１５により生成された音声データが、音声出力部１２を介してスピーカーにより出力される。出力される音声データは、“メニューを選択してください”及び各選択候補を読み上げる音声のデータである。
【００３０】
図２（ａ）の画面において、ユーザが“フリュー温度”と発話すると、その発話内容が音声入力部１３を介して端末装置１０に入力され、音声認識部１４によって発話内容が認識される。そして、ＶＸＭＬ制御部１６は、ＶＸＭＬプログラム及び“フリュー温度”という入力データに基づき、次に表示すべき画像と出力すべき音声を判断する。この判断によって、端末装置１０において、図２（ｃ）の画面表示及び“燃焼室列番を入力してください。”との音声出力がなされる。
【００３１】
ここで、ユーザが“ヘルプ”と発話すると、それに応じて端末装置１０はさらに、“１から２０までを発話してください。”と音声出力する。即ち、端末装置１０は、ユーザの“ヘルプ”の発話に応じて、発話すべき内容について説明を行う。このとき、音声出力とともに“１から２０までを発話してください。”の文字が画面にも表示される（図２（ｄ）参照）。
【００３２】
また、ユーザが“メニュー”と発話すると、それに応じて端末装置１０はメニューウィンドウを表示する（図２（ｅ）参照）。また、図２（ｃ）の画面において、ユーザが１〜２０の数字を発話すると、それに応じて端末装置１０は次の画面を表示する（図２（ｆ）参照）。この次の画面は、ＶＸＭＬプログラムによって定義されている。
【００３３】
〔作用／効果〕
従来のＶＸＭＬプロトコルでは、ＶＸＭＬブラウザとしての機能部は、端末装置１０とは別のサーバ装置に実装されていた。また、そもそもＶＸＭＬの仕組みは、ＶＸＭＬブラウザとしての機能部がネットワークを介した外部装置に実装されることが前提となっていた。このため、従来は、端末装置１０がネットワークを介してＶＸＭＬブラウザとしての機能部が実装された外部装置にアクセス可能な環境になければ、音声による対話型アプリケーションを使用することができなかった。このような問題に対し、本発明による端末装置１０では、従来は外部装置に実装されていたＶＸＭＬブラウザとしての機能部やＶＸＭＬファイルを記憶しておく機能部（いわゆるドキュメントサーバ）を端末装置１０自身が有する。このため、ＶＸＭＬによる音声対話型アプリケーションを、端末装置１０の使用環境（ネットワーク環境）に依存することなく使用することが可能となる。
【００３４】
また、従来のＶＸＭＬでは、端末装置として想定されているものが電話機であったため、ＧＵＩ（Graphical User Interface）の規定がない。このため、ユーザは、端末装置１０を介した対話型処理の実行に際し、音声のみに頼ってシステム側からの応答を理解しなければならなかった。このため、音声を聞きそびれることや、何を入力すれば良いか失念した場合などは、再度音声を聞き直すなどしなければならなかった。これに対し、本発明の端末装置１０では、音声合成部１５を介して出力される音声内容が、画像出力部１１を介して画像出力装置に表示される。このため、ユーザは、音声のみならず視覚情報によってもシステム側からの応答を理解することが可能となる。このため、例えばシステム側による音声の発話が完了する前に、視覚情報に基づいて次の処理（例えばデータの入力やメニューの選択など）を実行することが可能となり、処理の迅速化を図ることが可能となる。
【００３５】
〔変形例〕
ＶＸＭＬ制御部１６は、端末装置１０内のドキュメント記憶部１７ではなく、端末装置１０の外部の装置（ドキュメントサーバ）と連携して動作するように構成されても良い。この場合、ＶＸＭＬ制御部１６は、ＶＸＭＬプログラムを読み出すために、ネットワークを介してドキュメントサーバにアクセスし、ドキュメントのリクエストを送信する。そして、このリクエストに応じて受信されるＶＸＭＬプログラムに応じて、ＶＸＭＬ制御部１６は処理を実行する。このように構成されることにより、ＶＸＭＬプログラムの内容を容易に修正・更新することが可能となる。
【図面の簡単な説明】
【００３６】
【図１】本発明における端末装置の装置構成例を示す図である。
【図２】本発明による画面の表示例を示す図である。
【図３】本発明による画面の表示例を示す図である。
【符号の説明】
【００３７】
１０…端末装置，  １１…画像出力部，  １２…音声出力部，  １３…音声入力部，  １４…音声認識部，  １５…音声合成部，  １６…ＶＸＭＬ制御部，  １７…ドキュメント記憶部
【図１】
2009048578.tif 000003
【図２】
2009048578.tif 000004
【図３】
2009048578.tif 000005