(57)【要約】【課題】音声とリモートコントローラによるマルチモーダル入力を可能とする制御方法および制御装置を提供する。【解決手段】ＶｏｉｃｅＸＭＬに含まれるＤＴＭＦ入力用文法であるｏｐｔｉｏｎ要素のｄｔｍｆ属性、ｇｒａｍｍａｒ要素、ｃｈｏｉｃｅ要素のｄｔｍｆ属性を拡張し、リモートコントローラコードを指定できるようにする。この拡張ＤＴＭＦ入力用文法を備えた拡張ＶｏｉｃｅＸＭＬ文書を解釈して音声対話を行うＶｏｉｃｅＸＭＬインタプリタ３０２では、拡張ＤＴＭＦ入力用文法内に記述されたリモートコントローラコードと、リモートコントローラコード変換部３０３から得た入力コードとが合致した場合に文法成立とし、入力を受け付ける。この際、ＶｏｉｃｅＸＭＬの標準機能である音声からの入力も可能であり、音声とリモートコントローラによるマルチモーダル入力が可能となる。【選択図】図３
2007219600.tif 000002
【特許請求の範囲】
【請求項１】
ＶｏｉｃｅＸＭＬドキュメントにより対話制御を行う際の入力受付制御方法であって、ユーザのリモートコントローラによって入力されたコードを受け付けるステップと、
入力されたコードとＶｏｉｃｅＸＭＬドキュメント内に記述されたリモートコントローラ受付文法とを比較するステップと、
前記比較により文法と合致した場合に入力として受け付けるステップと、
を有することを特徴とするＶｏｉｃｅＸＭＬドキュメントの入力受付制御方法。
【請求項２】
前記リモートコントローラ入力受付制御方法と、ＶｏｉｃｅＸＭＬの標準機能である音声入力制御方法とを同時に受け付けることを特徴とするマルチモーダル入力制御方法。
【請求項３】
ＶｏｉｃｅＸＭＬドキュメントによる音声対話が可能なＶｏｉｃｅＸＭＬインタラプタであって、
リモートコントローラ入力を受付けるリモートコントローラ受信手段と、
音声入力を受付ける音声入力受信手段と、
ＶｏｉｃｅＸＭＬドキュメントを解釈する解釈手段と、
前記解釈手段による解釈によって得た入力文法と、前記リモートコントローラ受信手段によって受信したリモートコントローラコードが合致するかを判別するリモートコントローラ文法照合手段と、
前記解釈手段による解釈によって得た入力文法と、前記音声入力受信手段によって受信した音声入力が合致するかを判別する音声文法照合手段と、
前記リモートコントローラ文法照合手段によって文法と合致すると判別されたリモートコントローラコードを入力結果として受付ける入力受付手段と、
前記音声文法照合手段によって文法と合致すると判別された音声入力文字列を入力結果として受付ける入力受付手段と
を備えるＶｏｉｃｅＸＭＬインタラプタ。
【請求項４】
前記ＶｏｉｃｅＸＭＬインタプリタをマルチモーダル入力手段として備えることを特徴とする情報機器装置。
【請求項５】
リモートコントローラ入力を受付けるステップと、
ＶｏｉｃｅＸＭＬドキュメントを解釈するステップと、
前記ＶｏｉｃｅＸＭＬドキュメントを解釈するステップによる解釈によって得た入力文法と、前記リモートコントローラ受付ステップによって受付けたリモートコントローラコードが合致するかを判別する文法照合ステップと、
前記照合ステップによって文法と合致すると判別されたリモートコントローラコードを入力として受付ける入力受付ステップと、
を実行させるプログラム。
【請求項６】
リモートコントローラ入力を受付けるステップと、
ＶｏｉｃｅＸＭＬドキュメントを解釈するステップと、
前記ＶｏｉｃｅＸＭｌドキュメントを解釈するステップによる解釈によって得た入力文法と、前記リモートコントローラ受付ステップによって受付けたリモートコントローラコードが合致するかを判別する文法照合ステップと、
前記照合ステップによって文法と合致すると判別されたリモートコントローラコードを入力として受付ける入力受付ステップと、
を実行するためのプログラムを記録した記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、音声とリモートコントローラによるマルチモーダル入力を可能とする制御方法および制御装置に関するものである。
【背景技術】
【０００２】
近年の音声認識技術の進歩に伴い、リモートコントローラ、ポインティングデバイス・キーボードなどの入力に、音声入力を組み合わせたマルチモーダル入力システムの開発が盛んに行われている。
【０００３】
音声による対話インタフェースでは、プッシュホンからのダイヤルトーン(ＤＴＭＦ)入力や音声による指示、あるいは録音・合成音声を用いた対話で、電話機だけでＷｅｂにアクセスしたり、Ｗｅｂサービスを利用したりするために開発されたマークアップ言語であるＶｏｉｃｅＸＭＬが存在する。
【０００４】
マルチモーダルシステムの開発には、独自に音声認識部とその他の入力部を合わせたシステムを開発するか、音声認識部にＶｏｉｃｅＸＭＬのような既存システムを用いる方法がある。
【０００５】
音声認識部に既存システムを用いる場合、音声認識部とその他の入力制御部との同期制御が必要となる。図２は従来のマルチモーダル入力装置の構成図である。例えば、マルチモーダル入力装置201の音声認識部（音声入力制御部）202とリモートコントローラ入力制御部203で入力待ち状態になった場合、音声によりユーザが入力すると同期制御部204を用いてリモートコントローラ入力制御部203の待ち状態も解除しなければならない。
【０００６】
上記のように最初からシステムを開発しなくてはならないか、既存システムを併用する場合にも同期制御が必要になるなど、マルチモーダル入力を実現するには、複雑なシステムを構築する必要があった。この改善策として、音声対話記述言語ＶｏｉｃｅＸＭＬを拡張し、リモートコントローラコードを受け付けるようにしたものを用いる方法があげられる（例えば、非特許文献１や特許文献１参照）。
【非特許文献１】「ＶｏｉｃｅＸＭＬ２．０」  ２００４年                ｈｔｔｐ：／／ｗｗｗ．ｗ３．ｏｒｇ／ＴＲ／ｖｏｉｃｅｘｍｌ２０
【特許文献１】特開２００３−１５０４４０号公報
【発明の開示】
【発明が解決しようとする課題】
【０００７】
本発明により解決しようとする問題点は、マルチモーダル入力装置において音声認識部と、リモートコントローラ入力認識部との同期制御など複雑なシステムを構築する必要がある点である。
【０００８】
従って、本発明は同期制御を不要としながら音声とリモートコントローラによるマルチモーダル入力を可能とする制御方法および制御装置を提供することを目的とする。
【課題を解決するための手段】
【０００９】
本発明のマルチモーダル入力装置は、ＤＴＭＦ入力用に拡張した音声対話記述言語ＶｏｉｃｅＸＭＬのインタプリタを内在する。音声による入力は、ＶｏｉｃｅＸＭＬインタプリタの通常機能を用い解析することで受け付け、リモートコントローラコードはＶｏｉｃｅＸＭＬインタプリタの拡張機能を用いて受け付ける。
【００１０】
具体的には本発明のＶｏｉｃｅＸＭＬドキュメントの入力受付制御方法は、ＶｏｉｃｅＸＭＬドキュメントにより対話制御を行う際の入力受付制御方法であって、ユーザのリモートコントローラによって入力されたコードを受け付けるステップと、入力されたコードとＶｏｉｃｅＸＭＬドキュメント内に記述されたリモートコントローラ受付文法とを比較するステップと、前記比較により文法と合致した場合に入力として受け付けるステップと、を有することを特徴とする。また、前記リモートコントローラ入力受付制御方法と、ＶｏｉｃｅＸＭＬの標準機能である音声入力制御方法とを同時に受け付けることが望ましい。
【００１１】
また本発明のＶｏｉｃｅＸＭＬインタラプタは、ＶｏｉｃｅＸＭＬドキュメントによる音声対話が可能なＶｏｉｃｅＸＭＬインタラプタであって、リモートコントローラ入力を受付けるリモートコントローラ受信手段と、音声入力を受付ける音声入力受信手段と、ＶｏｉｃｅＸＭＬドキュメントを解釈する解釈手段と、前記解釈手段による解釈によって得た入力文法と、前記リモートコントローラ受信手段によって受信したリモートコントローラコードが合致するかを判別するリモートコントローラ文法照合手段と、前記解釈手段による解釈によって得た入力文法と、前記音声入力受信手段によって受信した音声入力が合致するかを判別する音声文法照合手段と、前記リモートコントローラ文法照合手段によって文法と合致すると判別されたリモートコントローラコードを入力結果として受付ける入力受付手段と、前記音声文法照合手段によって文法と合致すると判別された音声入力文字列を入力結果として受付ける入力受付手段とを備えるものである。
【００１２】
また本発明の情報機器装置は、前記ＶｏｉｃｅＸＭＬインタプリタをマルチモーダル入力手段として備えることが望ましい。
【００１３】
さらに本発明のプログラムは、リモートコントローラ入力を受付けるステップと、ＶｏｉｃｅＸＭＬドキュメントを解釈するステップと、前記ＶｏｉｃｅＸＭＬドキュメントを解釈するステップによる解釈によって得た入力文法と、前記リモートコントローラ受付ステップによって受付けたリモートコントローラコードが合致するかを判別する文法照合ステップと、前記照合ステップによって文法と合致すると判別されたリモートコントローラコードを入力として受付ける入力受付ステップと、を実行させるプログラムである。
【００１４】
本発明の記録媒体は、リモートコントローラ入力を受付けるステップと、ＶｏｉｃｅＸＭＬドキュメントを解釈するステップと、前記ＶｏｉｃｅＸＭｌドキュメントを解釈するステップによる解釈によって得た入力文法と、前記リモートコントローラ受付ステップによって受付けたリモートコントローラコードが合致するかを判別する文法照合ステップと、前記照合ステップによって文法と合致すると判別されたリモートコントローラコードを入力として受付ける入力受付ステップと、を実行するためのプログラムを記録した記録媒体である。
【発明の効果】
【００１５】
本発明のマルチモーダル入力装置によれば、制御装置がひとつになる上、同期制御が不要となるためシステムを単純化することが可能となる。
【発明を実施するための最良の形態】
【００１６】
（実施の形態１）
ＶｏｉｃｅＸＭＬには、プッシュボタンによるＤＴＭＦ（Ｄｉａｌ  Ｔｏｎｅ  Ｍｕｌｔｉ Ｆｒｅｑｕｅｎｃｙ）を受け付ける文法として、ｏｐｔｉｏｎ要素のｄｔｍｆ属性、ｇｒａｍｍａｒ要素のｍｏｄｅ属性、ｃｈｏｉｃｅ要素のｄｔｍｆ属性を持っている。上記ＤＴＭＦ入力受け付け文法は、０〜９、＊、＃の１２個のプッシュボタンを受け付けることを可能としている。図１の１０１は、ｏｐｔｉｏｎ要素のｄｔｍｆ属性の例である。
【００１７】
本発明は、上記ＤＴＭＦ文法をリモートコントローラのコードに対して拡張対応することで、マルチモーダル入力を可能とする。リモートコントローラコードに拡張対応した例を図１の１０２に示す。
【００１８】
以下、本実施の形態ではこの拡張ＶｏｉｃｅＸＭＬを用いたマルチモーダル入力装置について説明する。図３は本発明の実施の形態１における拡張ＶｏｉｃｅＸＭＬを用いたマルチモーダル入力装置の構成図である。
【００１９】
マルチモーダル入力装置301は、ＤＴＭＦ入力用に拡張した音声対話記述言語ＶｏｉｃｅＸＭＬのインタプリタ302を内在する。ＶｏｉｃｅＸＭＬインタプリタ３０２は、拡張ＤＴＭＦ入力用文法を備えた拡張ＶｏｉｃｅＸＭＬ文書を解釈して音声対話を行う。拡張ＤＴＭＦ入力用文法内に記述されたリモートコントローラコードと、リモートコントローラコード変換部３０３から得た入力コードとが合致した場合に文法成立とし、入力を受け付ける。この際、ＶｏｉｃｅＸＭＬの標準機能である音声からの入力も可能であり、音声とリモートコントローラによるマルチモーダル入力が可能となる。
【００２０】
本実施の形態では単純なシステムでマルチモーダル入力を実現するという目的を、ＤＶＤプレイヤで実現した例を示す。またＤＶＤプレイヤにおいてユーザが再生速度を上げたい場合の例を、(a)ユーザがリモートコントローラを用いた場合と(b)ユーザが音声を用いた場合に分けて説明する。
【００２１】
(a)ユーザがリモートコントローラを用いた場合
図４は図３のマルチモーダル入力装置にリモートコントローラ入力を行なった場合の状態図である。ユーザがＳＰＥＥＤ ＵＰボタンを押下すると、受信したデータをリモートコントローラコード変換部４０３でコード０ｘ５５に変換される。変換されたリモコンコード０ｘ５５は、拡張ＶｏｉｃｅＸＭＬインタプリタ４０２に渡される。拡張ＶｏｉｃｅＸＭＬインタプリタ４０２には、０ｘ５５を受け付ける文法データを持ったＶｏｉｃｅＸＭＬドキュメント４０４がロードされており、０ｘ５５を入力可能なコードとして受け付ける。このとき、文法は条件を満たしたため、同時に受け付け可能であった音声入力は受付不能となる。
【００２２】
(b)ユーザが音声を用いた場合
図５は図３のマルチモーダル入力装置に音声入力を行なった場合の状態図である。ユーザによって”Ｓｐｅｅｄ ｕｐ”という発言があると、拡張ＶｏｉｃｅＸＭＬインタプリタ５０２で受ける。拡張ＶｏｉｃｅＸＭＬインタプリタ５０２には、”Ｓｐｅｅｄ ｕｐ”という発言を受け付ける文法データを持ったＶｏｉｃｅＸＭＬドキュメント５０４がロードされており、”Ｓｐｅｅｄ ｕｐ”を入力可能な発言として受け付ける。このとき、文法は条件を満たしたため、同時に受け付け可能であったリモートコントローラコードは受付不能となる。
【００２３】
以上より、本実施の形態のマルチモーダル入力装置は、音声による入力は、ＶｏｉｃｅＸＭＬインタプリタ302の通常機能を用い解析することで受け付け、リモートコントローラコードはＶｏｉｃｅＸＭＬインタプリタ302の拡張機能を用いて受け付ける。そのため、制御装置がひとつになる上、同期制御が不要となるためシステムを単純化することが可能となる。
【産業上の利用可能性】
【００２４】
本発明の制御方法および制御装置は、音声入力、リモートコントローラ入力を備えたマルチモーダル入力を必要とする全ての機器に使用可能である。
【図面の簡単な説明】
【００２５】
【図１】ＶｏｉｃｅＸＭＬのｏｐｔｉｏｎ要素によるＤＴＭＦ指定例を示した図
【図２】従来のマルチモーダル入力装置の構成図
【図３】本発明の実施の形態１における拡張ＶｏｉｃｅＸＭＬを用いたマルチモーダル入力装置の構成図
【図４】図３のマルチモーダル入力装置にリモートコントローラ入力を行なった場合の状態図
【図５】図３のマルチモーダル入力装置に音声入力を行なった場合の状態図
【符号の説明】
【００２６】
２０１    マルチモーダル入力装置
２０２    音声入力制御部
２０３    リモートコントローラ入力制御部
２０４    同期制御部
３０１    マルチモーダル入力装置
３０２    拡張ＶｏｉｃｅＸＭＬインタプリタ
３０３    リモートコントローラコード変換部
４０４    ＶｏｉｃｅＸＭＬドキュメント
【図１】
2007219600.tif 000003
【図２】
2007219600.tif 000004
【図３】
2007219600.tif 000005
【図４】
2007219600.tif 000006
【図５】
2007219600.tif 000007