(57)【要約】【課題】  既に提供されているアプリケーションプログラムに対して改変を施すことなく、音声認識処理及び音声合成処理の導入やその制御を行うこと。【解決手段】  情報処理装置を、既存のアプリケーションプログラムを実行する実行手段と、アプリケーションプログラムの実行状態を監視する監視手段と、監視手段による監視結果に基づいて、音声認識処理又は音声合成処理の制御を行う制御手段と、を含む装置として構成する。【選択図】  図２
2009015393.tif 000002
【特許請求の範囲】
【請求項１】
既存のアプリケーションプログラムを実行する実行手段と、
前記アプリケーションプログラムの実行状態を監視する監視手段と、
前記監視手段による監視結果に基づいて、音声認識処理又は音声合成処理の制御を行う制御手段と、を含む端末装置。
【請求項２】
前記監視手段は、前記既存のアプリケーションプログラムから独立して動作する、請求項１に記載の端末装置。
【請求項３】
前記制御手段は、音声認識処理によって得られた認識結果に基づき、前記既存のアプリケーションプログラムに対する操作内容を決定し、
前記監視手段は、前記制御手段によって決定された前記操作内容を、前記実行手段に対して反映させる、請求項１又は２に記載の端末装置。
【請求項４】
情報処理装置を、
既存のアプリケーションプログラムを実行する実行手段と、
前記アプリケーションプログラムの実行状態を監視する監視手段と、
前記監視手段による監視結果に基づいて、音声認識処理又は音声合成処理の制御を行う制御手段として機能させるためのプログラム。
【請求項５】
情報処理装置が、既存のアプリケーションプログラムを実行し、
前記情報処理装置が、前記アプリケーションプログラムの実行状態を監視し、
前記情報処理装置が、前記監視による監視結果に基づいて、音声認識処理又は音声合成処理の制御を行う、制御方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、情報処理装置に対して、ユーザが音声によって操作やデータ入力を行うことを可能とする技術に関する。
【背景技術】
【０００２】
情報処理装置が、人間の発話する音声を認識し、その音声の内容に基づいて動作するための技術が、音声認識処理として実現されている。また、情報処理装置がデータの内容を音声として出力するための技術も、音声合成処理として実現されている。このような音声認識処理や音声合成処理を活用することで、ユーザが情報処理装置のキーボードやマウスを操作することなく操作・入力を行うことや（ハンズフリー）、情報処理装置の画面を見ることなく操作・入力を行うこと（アイズフリー）が研究されている。
【０００３】
例えば、ハンズフリーを実現するための技術の例として、音声によってデータ入力位置を変更する技術や、音声によってデータを入力する技術が提案されている。
【０００４】
また、例えば、アイズフリーを実現するための技術の例として、スプレッドシートのセルに対してデータが入力された際に、入力されたデータを自動的に音声合成処理によって読み上げる技術が提案されている（非特許文献１参照）。
【非特許文献１】Microsoft（登録商標） サポートオンライン”［Excel2003］入力している数値や文字列を自動で読み上げさせる方法”、［online］、［平成１９年６月２６日検索］、インターネット＜URL:http://support.microsoft.com/kb/881774/JA/＞
【発明の開示】
【発明が解決しようとする課題】
【０００５】
ところで、既に提供されているアプリケーションに対し、アイズフリーやハンズフリーの技術を導入する場合、アプリケーションプログラムに対して改変を施す必要がある。例えば、非特許文献１に記載されている技術の場合、既に提供されているスプレッドシートのアプリケーションプログラムに対して改変を施すことにより、音声による読み上げ技術が提供されている。
【０００６】
一方で、既に提供されているアプリケーションに対し、アイズフリーやハンズフリーの技術を導入しようとすると、その用途に応じて細かな変更が必要となる。例えば、製造工程で使用する装置の場合、製造する商品に応じて、音声認識処理及び音声合成処理の内容やその制御内容を変更する必要が生じる。また例えば、工事現場、ビル修理現場、電気整備現場など、装置が使用される場面に応じても、音声認識処理及び音声合成処理の内容やその制御内容を変更する必要が生じる。そして、このような変更毎に、アプリケーションプログラムに対して改変を施す必要があり、膨大なコストがかかっていた。
【０００７】
本発明の目的は、既に提供されているアプリケーションプログラムに対して改変を施すことなく、音声認識処理及び音声合成処理の導入やその制御を行うことを可能とすることである。
【課題を解決するための手段】
【０００８】
本発明は、実行手段、監視手段及び制御手段を含む端末装置である。実行手段は、既存のアプリケーションプログラムを実行する。既存のアプリケーションプログラムとは、例えば表計算ソフトやウェブブラウザソフトやワープロソフトなどのプログラムである。
【０００９】
監視手段は、アプリケーションプログラムの実行状態を監視する。実行状態とは、アプリケーションプログラムの状態であれば、設計者によってどのように定義されても良い。例えば、表計算ソフトであれば、ブック、シート、セルの選択状況が実行状態として監視されても良いし、セルに対するデータ入力の発生が実行状態として監視されても良い。また、例えば、ウェブブラウザソフトであれば、タグや入力枠の選択状況や、アクセス先が実行状況として監視されても良い。また、例えば、ワープロソフトであれば、ファイル、ページ、行などの選択状況や、入力内容やフォントの指定などが実行状況として監視されても良い。
【００１０】
制御手段は、監視手段による監視結果に基づいて、音声認識処理又は音声合成処理の制御を行う。音声認識処理の制御とは、例えば、音声認識処理において使用されるライブラリ（音響モデルや言語モデルなど）の選択や、音声合成処理による音声出力などである。
【００１１】
このように構成された本発明によれば、音声認識処理又は音声合成処理の制御は制御手段によって実行される。そして、制御手段の制御内容は、既存のアプリケーションプログラムの実行状態に基づいて決定されるが、この実行状況は監視手段によって監視され制御手段に渡される。このため、既存のアプリケーションプログラムに対して改変を行うことなく、音声認識処理又は音声合成処理の制御を実現することが可能となる。
【００１２】
本発明における監視手段は、既存のアプリケーションプログラムから独立して動作するように構成されても良い。このように構成されることにより、監視手段は、既存のアプリケーションプログラムを改変させることなく実現できる。
【００１３】
本発明における制御手段は、音声認識処理によって得られた認識結果に基づき、既存のアプリケーションプログラムに対する操作内容を決定するように構成されても良い。この場合、監視手段は、制御手段によって決定された操作内容を、実行手段に対して反映させるように構成されても良い。
【００１４】
また、本発明は、情報処理装置を、上述した端末装置として動作させるためのプログラムとして特定されても良い。また、本発明は、上述した端末装置が行う制御方法として特定されても良い。
【発明の効果】
【００１５】
本発明により、既に提供されているアプリケーションプログラムに対して改変を施すことなく、音声認識処理及び音声合成処理の導入やその制御を行うことが可能となる。
【発明を実施するための最良の形態】
【００１６】
〔装置構成〕
図１は、本発明における端末装置１０の装置構成例を示す図である。端末装置１０は、情報処理装置を用いて構成される。即ち、端末装置１０は、バスを介して接続された記憶装置、演算装置、入出力装置を含み、記憶装置に記憶されたプログラムを演算装置において処理することによってプログラムに従って動作する。具体的には、携帯電話機やＰＤＡ（Personal Digital Assistance）やパーソナルコンピュータ等の情報処理装置を用いて構成することができる。携帯型端末を用いて端末装置１０を構成する場合は、そのＯＳとしてWindows Mobile OS（“Windows”及び“Windows Mobile”は登録商標）を適用することもできる。次に、端末装置１０に含まれる各機能部について説明する。なお、本発明は、情報処理装置によって実行されるプログラムであって、情報処理装置をこのような端末装置１０として動作させるようなプログラムであっても良い。また、本発明は、端末装置１０が実行する処理の方法であっても良い。以下、本発明における端末装置１０に含まれる各機能部について説明する。
【００１７】
〈画像出力部〉
画像出力部１１は、端末装置１０に接続された画像出力装置に対し、文字や画像の出力や画面の遷移を指示する。画像出力装置は、画像出力部１１からの指示に応じて文字や画像を表示する装置である。画像出力装置は、例えばＣＲＴ（Cathode Ray Tube）ディスプレイや液晶ディスプレイや有機ＥＬ（Organic Electroluminescence）ディスプレイ等を用いて構成できる。画像出力装置は、端末装置１０に一体的に設けられても良い。
【００１８】
〈音声出力部〉
音声出力部１２は、端末装置１０に接続された音声出力装置に対し、音声データ（電気信号）を出力することにより、音声の出力を指示する。音声出力装置は、音声出力部１２からの指示に応じて、音声データを振動に変換し、音声を出力する。音声出力装置は、スピーカーを用いて構成することができ、その種類は限定されない。例えば、空気を振動させるスピーカーや、人体を振動させるスピーカー（例えば骨伝導スピーカーなど）を用いて構成できる。また、その形状なども限定されず、端末装置１０のユーザが装着できるもの（例えばヘッドフォンやヘッドセットタイプのもの）でも良いし、どこかに設置されるもの（例えば卓上型や床設置型や壁設置型のもの）でも良い。
【００１９】
〈音声入力部〉
音声入力装置１３は、端末装置１０に接続された音声入力装置から入力される音声データを制御部１８に渡す。音声入力装置は、端末装置１０のユーザが発話した音声を電気信号に変換する装置である。音声入力装置は、マイクロフォンを用いて構成することができ、その種類は限定されない。例えば、内耳マイク、骨伝導マイク、咽頭マイク、ヘッドセットマイク、卓上マイクなどのマイクロフォンを用いて構成できる。
【００２０】
〈音声認識部〉
音声認識部１４は、端末装置１０のＣＰＵによって音声認識プログラムが実行されることにより実現される。音声認識部１４は、音声入力部１３から入力される音声データを入力信号として、音声認識を行う。音声認識部１４には、従来からあるどのような音声認識技術が適用されても良い。以下に、音声認識部１４に適用可能な技術の具体例を示す。
【００２１】
音声認識部１４は、不図示の記憶装置に音響モデル及び言語モデルを有する。音響モデルとは、人の発話による音声信号の特徴量と、その発話に対応する文言とを対応付けたものである。例えば、予め人間によって発音された特定の単語の音声信号の特徴量を取得し、その特徴量と、その特定の単語とを対応付けておくことによって音響モデルを作成できる。特徴量と文言との対応付けは、１対１であっても良いし、１対複数であっても良い。後者の場合は、各文言に重み付けなどを施すことも有効である。
【００２２】
言語モデルとは、各文言の出現確率を表すデータである。この出現確率は、他の文言の存在にかかわらず、単に出現する確率として与えられても良い。また、出現確率は、ある文言が認識されたことを前提に、その文言に続いて次に出現する確率として与えられても良い。この言語モデルを用いることにより、音響モデルのみに基づいて音声認識する場合に比べて、認識効率を向上させることができる。
【００２３】
次に、音声認識部１４の処理について説明する。まず、音声認識部１４は、入力された音声信号に対し音声分析を実施することにより、入力された音声信号から、音声認識に有効な特徴量を抽出する。次に、音声認識部１４は、言語モデルの拘束下において、音声分析によって得られた特徴量と、音響モデルとをマッチングし、入力された音声信号がいずれの文言を示す音声信号であるか判断する。
【００２４】
音声認識部１４は、認識結果（数値や文字列など）が得られた場合には、認識結果を制御部１８に渡す。一方、音声認識部１４は、認識結果が得られない場合（認識エラーの場合）には、エラーであることを制御部１８に出力する。
【００２５】
音声認識部１４は、複数のモデル（言語モデル、音響モデル）を有する。音声認識処理に使用されるモデルは、制御部１８によって制御される。この制御は、例えばソフトウェア１６の状態（入力モード、カーソル位置、画面状態など）や過去の認識結果に応じて、制御部１８により制御される。より具体的には、ソフトウェア１６の状態が、数値入力状態である場合には、数値をより正確に認識できるようにチューニングされたモデルが使用される。また、ソフトウェア１６の状態が、入力されるデータが限定される状態である場合には、その限定されるデータをより正確に認識できるようにチューニングされたモデルが使用される。このような対応付は、不図示の記憶装置に記憶される。
【００２６】
〈音声合成部〉
音声合成部１５は、端末装置１０のＣＰＵによって音声合成プログラムが実行されることにより実現される。音声合成部１５は、制御部１８から受け取ったデータに基づいて音声合成処理を行う。音声合成部１５には、従来からあるどのような音声合成技術が適用されても良い。以下に、音声合成部１５に適用可能な技術の具体例を示す。
【００２７】
音声合成部１５は、不図示の記憶装置に単語辞書と音声信号辞書を有する。単語辞書とは、複数の単語とその読みとを対応付けたものである。音声信号辞書とは、各音とその音声信号とを対応付けたものである。音声合成部１５は、制御部１８から受け取ったデータと単語辞書とに基づいて、受け取ったデータに対応する読みを判断する。そして、音声合成部１５は、音声信号辞書を用いて、受け取ったデータの読みに対応した音声信号を作成する。
【００２８】
音声合成部１５は、制御部１８から数値や文字列などのデータを受け取った場合には、このデータに応じた音声信号を作成する。一方、音声合成部１５は、制御部１８からエラーデータを受け取った場合は、予め定められたエラー用音声信号を作成する。
【００２９】
音声合成部１５は、作成された音声信号を音声出力部１２に渡し、音声出力部１２に音声出力を実行させる。
【００３０】
〈アプリケーション実行部〉
アプリケーション実行部１６は、端末装置１０のＣＰＵによって、データを入力するためのアプリケーションが実行されることにより実現される。以下、アプリケーション実行部１６において実行されるアプリケーションを、「本件アプリケーション」と呼ぶ。本件アプリケーションは、端末装置１０にインストールされているアプリケーションである。本件アプリケーションは、データを入力する要素を有するアプリケーションであれば、どのようなアプリケーションであっても良い。言い換えれば、本件アプリケーションは、データ入力を主目的とするアプリケーションに限る必要はない。例えば、本件アプリケーションは、スプレッドシートソフト（表計算ソフト）であっても良いし、ウェブブラウザソフトであっても良いし、ワープロソフトであっても良い。より具体的には、本件アプリケーションは、例えばExcel Mobile、あるいはPocket Excelであっても良い（“EXCEL”は登録商標）。
【００３１】
アプリケーション実行部１６は、制御部１８から入力指示を受け取ると、その入力指示に従って、本件アプリケーションにおいて選択されているデータ入力枠にデータの入力を受ける。例えば、本件アプリケーションがスプレッドシートである場合は、選択されているセルに対してデータの入力を受ける。また、例えば、本件アプリケーションがワープロソフトやウェブブラウザである場合は、カーソルの位置に対してデータの入力を受ける。
【００３２】
〈監視部〉
監視部１７は、端末装置１０のＣＰＵによって、本発明における監視プログラムが実行されることにより実現される。この監視プログラムは、例えば本件アプリケーション用のライブラリとして提供されても良い。監視部１７は、アプリケーション実行部１６の動作を監視する。言い換えれば、監視部１７は、アプリケーション実行部１６において実行されている本件アプリケーションの状態を監視する。例えば、本件アプリケーションがスプレッドシートである場合は、監視部１７は選択されているブック、シート、セルに変更があったか否かについて監視を行う。
【００３３】
監視部１７が行う監視処理の実装方法は限定される必要はない。例えば、監視部１７は、本件アプリケーションのプロセスを、端末装置１０において実行されているオペレーティングシステム（Operating System：以下「ＯＳ」という。）から取得することで監視を行う。
【００３４】
〈制御部〉
制御部１８は、端末装置１０のＣＰＵによって、本発明における制御用プログラムが実行されることにより実現される。制御部１８は、本件アプリケーションにおけるデータの入力処理や、音声認識処理・音声合成処理について制御を行う。制御部１８の具体的な動作については、動作例の説明とともに後述する。
【００３５】
〔動作例〕
図２は、本発明による端末装置１０の動作例を示すフローチャートである。以下、図２を用いて端末装置１０の動作例について説明する。
【００３６】
制御部１８は、動作が開始すると、まず監視部１７に対し監視依頼を行う（Ｓ０１）。監視部１７は、監視依頼を受け取ると、アプリケーション実行部１６におけるアプリケーションの状態について監視を開始する（Ｓ０２）。図３は、監視部１７が行う監視処理の動作例を示すフローチャートである。ここで、図３を用いて、監視部１７が行う監視処理の具体例について説明する。
【００３７】
監視処理を開始すると、監視部１７は、まず、本件アプリケーションのプロセスを、端末装置１０において実行されているＯＳから取得する（Ｓ２１）。次に、監視部１７は、取得されたプロセスから、監視対象となるウィンドウハンドルを取得し監視を行う（Ｓ２２）。監視対象となるウィンドウハンドルとは、例えばデータ入力ウィンドウ、参照入力ウィンドウ、メニューウィンドウ等である。また、このような監視対象となるウィンドウハンドルの取得は、例えば本件アプリケーションのメインウィンドウハンドル以下の子ウィンドウハンドルを検索することにより取得することができる。次に、監視部１７は、本件アプリケーションのプロセスから得たウィンドウハンドルを用いて、セル参照やシート名の監視を行う（Ｓ２３）。
【００３８】
図２に戻り、端末装置１０の動作例の説明を続ける。監視部１７は、本件アプリケーションの状態に変化があると、変化があったことを制御部１８に通知する（Ｓ０３）。制御部１８は、この通知内容に基づいて、音声認識設定を音声認識部１４に指示する（Ｓ０４）。この音声認識設定は、現在の状況に応じた音響モデルや言語モデルの設定として行われる。本件アプリケーションがスプレッドシートである場合には、現在選択されているシートや、選択されているセル等に応じて音声認識設定がなされる。なお、現在の状況と、その状況に応じた音響モデル・言語モデルとは、不図示の記憶装置に対応付けて記憶されている。
【００３９】
また、制御部１８は、監視部１７からの通知内容に基づいて、ガイダンス制御を行う（Ｓ０５）。このガイダンス制御とは、現在の状況に応じたガイダンスを行うための音声信号の出力を、音声合成部１５に対して指示することである。本件アプリケーションがスプレッドシートである場合には、現在選択されているシートや、選択されているセル等に応じて、制御部１８は出力すべきガイダンス内容を選択する。そして、制御部１８は、このガイダンス内容を（例えばテキストデータとして）音声合成部１５へ渡す。なお、現在の状況と、その状況に応じたガイダンス内容とは、不図示の記憶装置に対応付けて記憶されている。このガイダンス内容は、現在の状況において、端末装置１０のユーザが行うべき動作を支援するためのものである。例えば、現在の状況において端末装置１０にユーザが入力すべきデータの内容をガイダンスするように構成されても良い。より具体的には、例えば本件アプリケーションがスプレッドシートである場合には、現在選択されているブック、シート、セルに応じて、ユーザが入力すべきデータの内容を説明するものであっても良い。
【００４０】
音声合成部１５は、制御部１８からガイダンス内容を受け取ると、このガイダンス内容を音声出力するための音声信号を生成する。そして、音声合成部１５は、生成した音声信号を、音声出力部１２を介して出力する（Ｓ０６）。
【００４１】
次に、端末装置１０のユーザによって発話がなされると、音声入力部１３を介して音声信号が音声認識部１４に入力される。音声認識部１４は、入力された音声信号について音声認識処理を行い、認識結果を制御部１８へ渡す（Ｓ０７）。制御部１８は、認識結果に基づいて、本件アプリケーションに対する操作内容を決定し、監視部１７にその操作の実行を指示する（Ｓ０８）。操作内容とは、データの入力、入力位置や選択対象の変更などである。データの入力である場合には、制御部１８は、認識結果に基づいたデータの入力を、監視部１７に対し指示する。また、入力位置や選択対象の変更である場合には、制御部１８は、変更先となる入力位置や選択対象を監視部１７に対し指示する。そして、監視部１７は、アプリケーション実行部１６に対し、制御部１８からの指示内容に基づいて、処理を行う（Ｓ０９）。具体的には、監視部１７は、本件アプリケーションのデータ入力ウィンドウのウィンドウハンドルを用いて、処理の実行をアプリケーション実行部１６に対し指示する。
【００４２】
また、制御部１８は、上述した操作内容を実行したことをユーザに対して音声で通知する（以下、この処理を「入力後ガイダンス」と言う。）ことを、音声合成部１５に指示する（Ｓ１０）。どのような入力後ガイダンスを行うべきかという選択は、例えば、入力後ガイダンスの内容と操作内容との対応付けが不図示の記憶装置に記憶され、その対応付に基づいて入力ガイダンスの内容が決定されても良い。また、音声認識部１４による音声認識結果に、入力ガイダンスの内容が含まれるように構成され、この入力ガイダンスの内容を制御部１８が音声合成部１５に指示するように構成されても良い。この後、音声合成部１５は、指示された入力後ガイダンスの内容に基づいて音声信号を生成し、音声出力部１２を介して出力する（Ｓ１１）。
【００４３】
上述した操作内容の実行後においても、監視部１７はアプリケーション実行部１６の監視を継続する。このため、操作内容の実行によって本件アプリケーションの状態に変化が生じた場合には、この変化について監視部１７は制御部１８に通知を行う。そして、Ｓ０３以降の処理が実行される。
【００４４】
〔作用／効果〕
本発明の端末装置１０によれば、音声認識処理や音声合成処理を実行するタイミングやその制御は、制御部１８及び監視部１７によって行われる。特に、本件アプリケーションの状態に基づいて制御を行う場合は、アプリケーション実行部１６ではなく、監視部１７がその状態を監視し、状態変化を検出する（Ｓ０３の処理に相当）。そして、監視部１７によって検出された状態変化に基づいて、制御部１８が音声認識処理や音声合成処理の制御を行う（Ｓ０４，Ｓ０５の処理に相当）。このため、このような音声合成処理や音声合成処理の制御を実行するに当たって、本件アプリケーションのプログラムに対して改変を施す必要がない。
【００４５】
また、音声認識処理における認識結果に基づいて本件アプリケーションを操作する場合にも、その操作は、制御部１８及び監視部１７によって行われる（Ｓ０８，Ｓ０９の処理に相当）。このため、このように音声認識結果に基づいた操作を本件アプリケーションに対して実行するに当たって、本件アプリケーションのプログラムに対して改変を施す必要がない。
【００４６】
また、音声認識処理や音声合成処理の制御や、音声認識結果に基づいた処理の制御は、特に制御部１８によって決定される。即ち、音声認識処理や音声合成処理の制御や、音声認識結果に基づいた処理の制御の内容について変更を行う場合には、制御部１８の処理内容を変更すれば良い。このため、このような変更を行うに当たって、本件アプリケーションのプログラムに対して改変を施す必要がない。
【００４７】
上述した理由により、既存の本件アプリケーションに対する、音声認識処理や音声合成処理の導入やこれらの処理内容の変更が容易となり、導入や変更に要する期間の短縮やコストの削減の実現が可能となる。
【００４８】
また、本発明の端末装置１０は以下のような効果も奏する。従来のアイズフリーを謳った端末装置では、以下のような問題があった。ユーザは、現在の状態においてどのようなデータを入力すべきか判断する必要があるが、こちらについてはアイズフリーが実現されていなかった。即ち、従来の技術（例えば上述した非特許文献１に記載された技術）では、入力されたデータは音声によって確認できるものの、入力すべきデータがどのようなデータであるかについては、画面を見て確認する必要があった。
【００４９】
例えば、複数種類のデータ入力が想定されたソフトウェアを操作する場合、ユーザは、その複数種類の中から、現在入力すべきデータの種類を特定する必要があった。このため、アイズフリーの実現を目指す上で、このような問題を解決する必要があった。そして、特にモバイル装置としての情報処理装置に対してデータ入力を行う際には、画像出力装置の大きさが制限されるため、アイズフリーに対する要望が大きかった。
【００５０】
このような従来の問題に対し、本発明の端末装置１０では、ガイダンス音声出力（Ｓ０６）がなされるため、ユーザは画像出力部１１による表示内容を視認することなく、入力すべきデータの種類を特定することが可能となる。
【００５１】
〔変形例〕
図４は、監視部１７の他の動作例を示すフローチャートである。監査部１７は、図４のような動作を行うように構成されても良い。この場合、本件アプリケーションに対応したｄｌｌ（Dynamic Link Library）が用いられる。図４では、監視用ＤＬＬ１９として記す。以下、図４を用いて、監視部１７の他の動作例について説明する。
【００５２】
監視用ＤＬＬ１９は、予め端末装置１０の記憶装置に記憶されている。監視部１７は、アプリケーション実行部１６に対し、監視用ＤＬＬ１９をロードすることを依頼する（Ｓ３１）。具体的には、本件アプリケーションのプロセスに、監視用ＤＬＬ１９のロードを実行させる。アプリケーション実行部１６は、実行中のアプリケーションにおいて、監視用ｄｌｌ９をロードする（Ｓ３２）。監視用ＤＬＬ１９は、ロードされることにより、アプリケーション実行部１６において実行されている本件アプリケーションのプロセス内部メッセージの監視を開始する（Ｓ３３）。監視用ＤＬＬ１９は、監視結果を、プロセス間通信にて、監視部１７に通知する（Ｓ３４）。監視部１７は、この監視において、例えばブック名、ダイアログ表示の開始・終了、メニュー表示の開始・終了などを監視する。
【００５３】
また、端末装置１０の音声認識処理において、必ずしも言語モデルと音響モデルの両方を用いる必要はない。即ち、音声認識処理が、言語モデルや音響モデルを用いない方法で実装されても良い。
【図面の簡単な説明】
【００５４】
【図１】本発明における端末装置の装置構成例を示す図である。
【図２】本発明による端末装置の動作例を示すフローチャートである。
【図３】監視部が行う監視処理の動作例を示すフローチャートである。
【図４】監視部が行う監視処理の他の動作例を示すフローチャートである。
【符号の説明】
【００５５】
１０…端末装置，  １１…画像出力部，  １２…音声出力部，  １３…音声入力部，  １４…音声認識部，  １５…音声合成部，  １６…アプリケーション実行部，  １７…監視部，  １８…制御部，  １９…監視用ＤＬＬ
【図１】
2009015393.tif 000003
【図２】
2009015393.tif 000004
【図３】
2009015393.tif 000005
【図４】
2009015393.tif 000006