(57)【要約】【課題】任意の対話箇所においてシステム発話およびユーザ発話の両方を対話シーケンス順に録音・管理する。【解決手段】録音の開始を示す録音タグを認識する録音タグ認識部１と、録音の終了を示す録音終了タグを認識する録音終了タグ認識部１と、録音タグが認識された後、録音終了タグが認識されるまでの間、取得された音声データを記憶するとともに、出力された音声を音声データとして記憶する音声データ記憶制御部２と、を備える。【選択図】図３
2007249653.tif 000002
【特許請求の範囲】
【請求項１】
所定の機能の実行を指示するためのタグ情報を含むマークアップ言語情報の処理装置であって、
音声取得部を接続可能なインターフェースと、
音声出力部を接続可能なインターフェースと、
前記音声取得部を通じて音声を音声データとして取得する音声取得制御部と、
前記音声出力部を通じて音声を出力する音声出力制御部と、
音声データを記憶する音声データ記憶部と、
録音の開始を示す録音タグを認識する録音タグ認識部と、
録音の終了を示す録音終了タグを認識する録音終了タグ認識部と、
前記録音タグが認識された後、録音終了タグが認識されるまでの間、前記音声取得制御部によって取得された音声データを前記音声データ記憶部に記憶させるとともに、前記音声出力制御部によって出力された音声を音声データとして前記音声データ記憶部に記憶させる音声データ記憶制御部と、を備えるマークアップ言語情報の処理装置。
【請求項２】
前記音声取得部を通じて音声を音声データとして取得する音声取得部と、
前記音声出力部を通じて音声を出力する音声出力部と、
音声データを記憶する音声データ記憶部と、を備えるコンピュータが、所定の機能の実行を指示するためのタグ情報を含むマークアップ言語情報を処理する情報処理方法であって、
録音の開始を示す録音タグを認識する録音タグ認識ステップと、
録音の終了を示す録音終了タグを認識する録音終了タグ認識ステップと、
前記録音タグが認識された後、録音終了タグが認識されるまでの間、前記音声取得制御部によって取得された音声データを前記音声データ記憶部に記憶させるとともに、前記音声出力制御部によって出力された音声を音声データとして前記音声データ記憶部に記憶させる音声データ記憶制御ステップと、を実行する情報処理方法。
【請求項３】
前記音声取得部を通じて音声を音声データとして取得する音声取得部と、
前記音声出力部を通じて音声を出力する音声出力部と、
音声データを記憶する音声データ記憶部と、を備えるコンピュータに、所定の機能の実行を指示するためのタグ情報を含むマークアップ言語情報を処理させるコンピュータ実行可能なプログラムであって、
録音の開始を示す録音タグを認識する録音タグ認識ステップと、
録音の終了を示す録音終了タグを認識する録音終了タグ認識ステップと、
前記録音タグが認識された後、録音終了タグが認識されるまでの間、前記音声取得制御部によって取得された音声データを前記音声データ記憶部に記憶させるとともに、前記音声出力制御部によって出力された音声を音声データとして前記音声データ記憶部に記憶させる音声データ記憶制御ステップと、を有するコンピュータ実行可能なプログラム。
【請求項４】
前記音声データ記憶制御ステップでは、前記取得された音声データと前記出力された音声の音声データとが、取得された時点および出力された時点の時系列順で結合されて１つの音声データとして記憶される請求項３に記載のコンピュータ実行可能なプログラム。
【請求項５】
前記音声データ記憶制御ステップは、前記取得された音声データおよび前記出力された音声の音声データをそれぞれの取得された時点および出力された時点に対応するデータデータファイルに保存するデータファイル保存ステップと、
取得された時点に対応するデータファイルおよび出力された時点に対応するデータファイルについての時系列順の関係を順序記憶ファイルに記録する順序記録ステップと、を有する請求項３に記載のコンピュータ実行可能なプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、マークアップ言語情報による音声処理技術に関する。
【背景技術】
【０００２】
現在、音声対話システムで一般的に利用されているＷ３Ｃ規格のＶｏｉｃｅＸＭＬ  ２．０  （ｈｔｔｐ：／／ｗｗｗ．ｗ３．ｏｒｇ／ＴＲ／ｖｏｉｃｅｘｍｌ２０／）では＜ｒｅｃｏｒｄ＞を使ってユーザ発話内容を録音する機能がある。
【０００３】
図１に、従来のＶｏｉｃｅＸＭＬのデータ例を示す。従来のＶｏｉｃｅＸＭＬでは、＜ｆｏｒｍ＞が対話処理の開始を示し、＜／ｆｏｒｍ＞が対話処理の終了を示している。したがって、＜ｆｏｒｍ＞から＜／ｆｏｒｍ＞に至る範囲（スコープと呼ばれる）において、対話処理が実行される。
【０００４】
さらに＜ｐｒｏｍｐｔ＞から＜／ｐｒｏｍｐｔ＞に至る部分が、システム側で音声を合成し、発話する処理を示している。この＜ｐｒｏｍｐｔ＞によって、音声合成、合成された音声の発話が実行される。またインプットアイテムといわれるタグ群を合わせて利用するにより、合成発話された内容に対するユーザからの応答発話などの入力内容を取得して認識結果とするアプリケーションプログラムが実行される。
【０００５】
一方、＜ｒｅｃｏｒｄ＞から＜／ｒｅｃｏｒｄ＞に至る範囲が、録音機能の実行を指定する記述である。この例では、ｎａｍｅ＝”ｍｓｇ”で指定されるファイルに録音内容が録音されること、ビープ音が発せられること、最長１０秒間録音されること、４秒間の無音状態で、録音が終了することが指定されている。
【０００６】
図１の記述例では図２のような対話シーケンスとなる。ここで、Ｃ：システム発話、Ｈ：ユーザ発話である。従来の＜ｒｅｃｏｒｄ＞に夜処理では、これらの一連の対話のうち、＜ｒｅｃｏｒｄ＞から＜／ｒｅｃｏｒｄ＞に至る範囲で、ユーザが発した音声だけが録画されることになる。
【特許文献１】特開２００３−１５８６０号公報
【特許文献２】特開２００２−３２４１５８号公報
【特許文献３】特開２００２−１０８７９４号公報
【発明の開示】
【発明が解決しようとする課題】
【０００７】
上記例のように＜ｒｅｃｏｒｄ＞を使った記述ではユーザが録音用に発話した内容（図２の例では”テレビ”）のみ録音ファイルに記録されるが、前後のシステム発話を含む録音ではないため、以下のような問題がある。
（１）録音した内容がどの対話に対応したものかがわかりにくい。
（２）対話記録ではないため、利用者は録音されることを意識して発話する必要がある。例えば、録音開始時点はいつかを確認する（ビープ音が発せられるの注意して待つ）必要がある。また、最長録音時間を気にして発話する必要がある。
（３）複数のユーザ発話を録音するにはユーザ発話箇所それぞれに＜ｒｅｃｏｒｄ＞を書き、＜ｒｅｃｏｒｄ＞の数だけ作成される録音ファイルを管理する必要がある。
【０００８】
本発明は、任意の対話箇所においてシステム発話およびユーザ発話の両方を対話シーケンス順に録音・管理する機能を提供することにある。
【課題を解決するための手段】
【０００９】
本発明は前記課題を解決するために、以下の手段を採用した。すなわち、本発明は、所定の機能の実行を指示するためのタグ情報を含むマークアップ言語情報の処理装置であって、音声取得部を接続可能なインターフェースと、音声出力部を接続可能なインターフェースと、前記音声取得部を通じて音声を音声データとして取得する音声取得制御部と、前記音声出力部を通じて音声を出力する音声出力制御部と、音声データを記憶する音声データ記憶部と、録音の開始を示す録音タグを認識する録音タグ認識部と、録音の終了を示す録音終了タグを認識する録音終了タグ認識部と、前記録音タグが認識された後、録音終了タグが認識されるまでの間、前記音声取得制御部によって取得された音声データを前記音声データ記憶部に記憶させるとともに、前記音声出力制御部によって出力された音声を音声データとして前記音声データ記憶部に記憶させる音声データ記憶制御部と、を備えるマークアップ言語情報の処理装置である。
【００１０】
本発明によれば、録音タグが認識された後、録音終了タグが認識されるまでの間、前記音声取得制御部によって取得された音声データが前記音声データ記憶部に記憶されるとともに、前記音声出力制御部によって出力された音声が音声データとして前記音声データ記憶部に記憶される。したがって、タグの指定にしたがって、取得された音声データと出力された音声データとを対話として記憶することができる。
【００１１】
前記音声データ記憶制御部は、前記取得された音声データと前記出力された音声の音声データとを、取得された時点および出力された時点の時系列順で結合して１つの音声データとして記憶するようにしてもよい。本発明によれば、１つに結合された音声データとして、対話が記憶される。
【００１２】
前記音声データ記憶制御部は、前記取得された音声データおよび前記出力された音声の音声データをそれぞれの取得された時点および出力された時点に対応するデータデータファイルに保存するデータファイル保存部と、取得された時点に対応するデータファイルおよび出力された時点に対応するデータファイルについての時系列順の関係を順序記憶ファイルに記録する順序記録部と、を有するようにしてもよい。本発明によれば、取得された時点および出力された時点に対応するデータファイルに格納された音声データが、順序記憶ファイルによって関係付けられて対話が記憶される。
【００１３】
音声データを記憶するときの属性情報を認識する属性認識部をさらに備え、前記音声データ記憶制御部は、前記属性情報にしたがい、前記取得された音声データ、前記出力された音声の音声データ、またはその両方を記憶させるようにしてもよい。本発明によれば、取得された音声データ、出力された音声の音声データ、またはその両方が選択的記憶される。
【００１４】
また、本発明は、コンピュータその他の装置、機械等が上記いずれかの処理を実行する方法であってもよい。また、本発明は、コンピュータその他の装置、機械等に、上記いずれかの処理を実行させるコンピュータ実行可能なプログラムであってもよい。また、本発明は、そのようなプログラムをコンピュータその他の装置、機械等が読み取り可能な記録媒体に記録したものでもよい。
【発明の効果】
【００１５】
本発明によれば、任意の対話箇所においてシステム発話およびユーザ発話の両方を対話シーケンス順に録音・管理することができる。
【発明を実施するための最良の形態】
【００１６】
以下、図面を参照して本発明を実施するための最良の形態（以下、実施形態という）に
係る情報処理装置について説明する。以下の実施形態の構成は例示であり、本発明は実施形態の構成には限定されない。
【００１７】
《発明の骨子》
任意の対話録音を行うタグとして対話録音タグ（例えば＜ｖｏｉｃｅｌｏｇ＞）を用意し、ＶｏｉｃｅＸＭＬなどのマークアップ言語で記述された音声対話アプリケーションにおいて利用する。実行時には対話録音タグが記述されたスコープ（＜ｖｏｉｃｅｌｏｇ＞から＜／ｖｏｉｃｅｌｏｇ＞に至る範囲）内において対話録音を実施することで任意の対話における対話録音機能を実現する。
【００１８】
対話録音タグが記述されたスコープにおける対話（システム発話＋ユーザ発話）内容をそのまま録音（対話録音）できる機能を提供することにより、従来の技術では実現できなかった機能、すなわち、アプリケーションの制御による対話単位でのユーザ発話内容の録音、または、対話録音を実現する。これにより、対話記録による証拠保管、誤認識／誤操作など利用状況情報の入手が可能となる。このような対話記録により、アプリケーションの改善あるいは対話システムの改善などシステム運用に役立つ各種情報の入手が可能となる。
【００１９】
《第１実施形態》
以下、図３から図９の図面に基づいて本発明の第１実施形態に係る情報処理装置を説明する。
【００２０】
＜システム構成＞
図３に、対話録音タグ処理機構を備えたシステム全体の構成図を示す。本実施形態では、音声対話アプリケーションとしてＶｏｉｃｅＸＭＬ（Ｖｏｉｃｅ  Ｅｘｔｅｎｓｉｂｌｅ
Ｍａｒｋｕｐ  Ｌａｎｇｕａｇｅ）を利用した場合の構成例を示す。
【００２１】
本情報処理装置は、ハードウェアとしては、ＣＰＵ、メモリ、入出力インターフェース、ハードディスク等の外部記憶装置、ＣＤ、ＤＶＤ等の着脱可能な記録媒体、音声入力インターフェース、音声出力インターフェース等を有する。このようなコンピュータの構成は周知であるのでその説明を省略する。本情報処理装置の機能は、ＣＰＵがコンピュータプログラムを実行することによって実現される。
【００２２】
図３のように、本情報処理装置は、ＶｏｉｃｅＸＭＬを解釈し実行するＶｏｉｃｅＸＭＬインタープリタ１（本発明の録音タグ認識部および録音終了タグ認識部に相当する）と、ＶｏｉｃｅＸＭＬインタープリタ１に組み込まれて対話録音を実行する対話録音タグ処理部２（本発明の音声データ記憶制御部に相当）と、ＶｏｉｃｅＸＭＬインタープリタ１が処理するＶｏｉｃｅＸＭＬのデータを格納したＶｏｉｃｅＸＭＬドキュメント格納部３と、マイクロフォン４を接続可能な音声入力インターフェース５（本発明の音声取得部を接続可能なインターフェースに相当）と、スピーカ６を接続可能な音声出力インターフェース７（本発明の音声出力部を接続可能なインターフェースに相当）と、音声入力インターフェース５を通じてマイクロフォン４から取り込まれた音声を処理する音声認識処理部８（本発明の音声取得制御部に相当）と、音声を合成し、音声出力インターフェース７を通じてスピーカに音声を送出する音声合成処理部９（本発明の音声出力制御部に相当）と、音声認識処理部８から取り込まれた音声および音声合成処理部９で合成された音声を録音する音声録音処理部１０と、対話内容をそのまま結合して音声データとして格納する対話録音ファイル１１と、対話内容のうちの音声合成処理部９によって合成された発話部分を音声データとして録音する合成発話録音ファイル１２と、対話内容のうちのユーザ発話部分を音声データとして録音するユーザ発話録音ファイル１３と、合成発話ファイル１２の合成発話とユーザ発話録音ファイル１３のユーザ発話とを結びつけて対話録音内容を構
成する対話録音管理ファイル１４（本発明の順序記憶ファイルに相当）とを有している。
【００２３】
ＶｏｉｃｅＸＭＬインタープリタ１は、周知のＶｏｉｃｅＸＭＬデータを解析し、ＶｏｉｃｅＸＭＬデータ中にタグ形式で指示された機能を実行する。ＶｏｉｃｅＸＭＬは音声認識エンジンや音声合成エンジンなどと組み合わせて利用され、選択肢の読み上げや、音声による入力の受け付け、入力に対応するコンテンツの読み上げなど、対話型アプリケーションの構造をＸＭＬで記述することができる。これまで製品間で統一されていなかったユーザインターフェースを統一的な手法で記述できる。
【００２４】
また、携帯電話事業者などが音声入出力で操作できる情報サービス（「ボイスポータル」などと呼ばれる）を提供する例もあり、コンテンツの保有者はＶｏｉｃｅＸＭＬにより特別な技術を必要とせず音声対応Ｗｅｂサイトを提供することができる。
【００２５】
ＶｏｉｃｅＸＭＬドキュメント格納部３は、ＶｏｉｃｅＸＭＬインタープリタ１によって処理されるＶｏｉｃｅＸＭＬデータを格納する。
【００２６】
音声認識処理部８は、いわゆる音声認識エンジンである。一般的には、音声認識処理部８は、マイクロフォン４から取り込まれた音声に基づき、文字列データを生成する。ただし、本実施形態では、対話録音処理が目的であるので、音声認識処理部８は、マイクロフォン４から取り込まれた音声データを対話録音処理部２に引き渡す機能を実行する。
【００２７】
音声合成処理部９は、文字列データから音声データを生成し、音声出力インターフェース７を通じてスピーカ６から音声が発するように制御する。本実施形態では、対話録音タグ処理部２からの指示にしたがい、音声合成処理部９は、合成した音声データをスピーカ６から発するとともに、対話録音タグ処理部２に提供する。
【００２８】
音声録音処理部１０は、対話録音タグ処理部２の指示にしたがい、合成発話による音声データおよびユーザ発話による音声データを対話録音ファイル１１、合成発話録音ファイル１２、およびユーザ発話録音ファイル１３に格納する。
【００２９】
その場合、対話録音ファイル１１には、合成発話とユーザ発話とが結合された音声データで格納される。このとき、対話録音ファイル１１には、所定の範囲の対話内容が格納される。所定の範囲とは、例えば、ＶｏｉｃｅＸＭＬドキュメント格納部３内のＶｏｉｃｅＸＭＬデータが予め用意していた合成発話（ユーザへの問いかけ）と、その問いかけに対するユーザの回答の組合せである。また、合成発話終了後、所定の限界時間までのユーザ発話を含む対話である。また、合成発話終了後、ユーザ発話が開始して、所定の空白時間（無音状態）が生じるまでの対話内容である。この場合、合成発話とユーザ発話との複数の組（例えば、複数回の問い合わせとそれに対する応答）を結合して格納してもよい。
【００３０】
一方、合成発話録音ファイル１２とユーザ発話録音ファイル１３には、それぞれ、合成発話とユーザ発話とが分離して格納される。本実施形態では、合成発話録音ファイル１２には、一連の合成発話に相当する音声データが格納される。一連の合成発話とは、合成発話の開始後、その合成発話が途切れるまでの発話内容である。また、ユーザ発話録音ファイル１３には、一連のユーザ発話に相当する音声データが格納される。一連のユーザ発話とは、ユーザ発話の開始後、そのユーザ発話が途切れるまでの発話内容である。ただし、所定の限界時間を超えた場合には、ユーザ発話が途切れたものとして処理しても構わない。
【００３１】
対話録音管理ファイル１４には、対話録音タグ処理部２によって、合成発話録音ファイル１２とユーザ発話録音ファイル１３とを組み合わせて対話内容を構成する組合せ情報が
格納される。対話録音管理ファイル１４自体がＶｏｉｃｅＸＭＬ形式で記述されるため、ＶｏｉｃｅＸＭＬインタープリタ１が対話録音管理ファイル１４を処理することにより、対話が再生されることになる。
【００３２】
ＶｏｉｃｅＸＭＬデータに対話録音の実行を指示するタグ（以下、対話録音タグという）が含まれていると、ＶｏｉｃｅＸＭＬインタープリタ１は、対話録音タグ処理部２に対話の記録を指示する。
【００３３】
すると、対話録音タグ処理部２は、音声認識処理部８に指示して、マイクロフォン４から取り込まれたユーザ発話による音声データの通知を指示する。また、対話録音タグ処理部２は、音声合成処理部９に、合成された音声データの通知を指示する。そして、対話録音タグ処理部２は、通知された音声データを音声録音処理部１０に引き渡し、それぞれのファイルに格納させる。また、対話録音タグ処理部２は、合成発話とユーザ発話を組み合わせるための対話録音管理ファイル１４のデータを生成する。
【００３４】
以上のＶｏｉｃｅＸＭＬインタープリタ１、対話録音タグ処理部２，音声認識処理部８、音声合成処理部９、音声録音処理部１０は、ＣＰＵ上で実行されるコンピュータプログラムである。また、ＶｏｉｃｅＸＭＬドキュメント格納部３，対話録音ファイル１１、合成発話録音ファイル１２、ユーザ発話録音ファイル１３、および対話録音管理ファイル１４は、それぞれハードディスク上のデータファイルである。
【００３５】
＜データ例＞
図４に、対話録音タグを含むＶｏｉｃｅＸＭＬデータの記述例を示す。このＶｏｉｃｅＸＭＬデータ中の＜ｖｏｉｃｅｌｏｇ＞が対話録音タグを示している。また、＜／ｖｏｉｃｅｌｏｇ＞が対話録音タグによる処理の終了を示している。
【００３６】
ＶｏｉｃｅＸＭＬインタープリタ１は、ＶｏｉｃｅＸＭＬデータ中に、＜ｖｏｉｃｅｌｏｇ＞を検出すると、対話録音タグ処理部２を実行する。対話録音タグ処理部２が実行されると、音声認識処理部８および音声合成処理部９と連携し、発話内容をそれぞれのデータファイルに格納する。
【００３７】
例えば、ＶｏｉｃｅＸＭＬインタープリタ１は、”＜ｐｒｏｍｐｔ＞プレゼントご希望の商品名を発話してください。＜／ｐｒｏｍｐｔ＞”というタグおよびテキスト文字を検出すると、音声合成処理部９に指示して、”プレゼントご希望の商品名を発話してください。”という文字列に相当する音声を合成させ、スピーカ６から出力させる。
【００３８】
また、ＶｏｉｃｅＸＭＬインタープリタ１は、この合成発話終了後、ユーザの音声を発するの所定時間待ち、音声認識処理部８にユーザ発話の音声データを取り込ませる。音声データは、ユーザ発話が途切れるまでの間（無音時間が発生し、所定期間継続するまで）、または、所定時間分取り込まれる。
【００３９】
このとき、対話録音タグ処理部２は、合成発話およびユーザ発話の音声データを取り込み、保存する。そして、ＶｏｉｃｅＸＭＬインタープリタ１は、＜／ｖｏｉｃｅｌｏｇ＞を検出すると、対話録音タグ処理部２に対話録音の終了を指示する。対話録音タグ処理部２は、所定の処理を実行後、プログラムを終了する。
【００４０】
なお、図４の例では、ＶｏｉｃｅＸＭＬデータ内に、＜ｖｏｉｃｅｌｏｇ＞および＜／ｖｏｉｃｅｌｏｇ＞が１対含まれる例を示したが、これらのタグがＶｏｉｃｅＸＭＬデータ内に複数個含まれてよい。
【００４１】
また、ＶｏｉｃｅＸＭＬにおいて＜ｆｏｒｍ＞は、一般に対話の開始を示す。図４の例では、＜ｖｏｉｃｅｌｏｇ＞および＜／ｖｏｉｃｅｌｏｇ＞が、＜ｆｏｒｍ＞から＜／ｆｏｒｍ＞に至る対話処理が実行される範囲の外側に定義されている。この場合には、上記対話処理のすべてが対話録音の対象となる。
【００４２】
しかし、このような構成に代えて、＜ｆｏｒｍ＞から＜／ｆｏｒｍ＞に至る対話処理の範囲の内部に、＜ｖｏｉｃｅｌｏｇ＞および＜／ｖｏｉｃｅｌｏｇ＞が含まれるようにしてもよい。その場合には、対話処理の一部を対話録音の内容とすることができる。
【００４３】
図５に、対話録音ファイル１１に含まれる対話内容の例を示す。この例では、図４に示したＶｏｉｃｅＸＭＬデータによって構成される一連の対話（合成発話による３回の問いかけと、ユーザ発話による２回の回答）が音声データとして格納される。ここで、各文頭のＣ：は、発話者がコンピュータであることを示し、Ｈ：は、発話者が人（ｈｕｍａｎ）であることを示している。
【００４４】
図６に、合成発話録音ファイル１２およびユーザ発話録音ファイル１３の例を示す。図６は、図５と同一の発話内容のうち一連の合成発話、ユーザ発話をそれぞれ異なるファイルに格納する例を示している。
【００４５】
例えば、’テレビ’というユーザ発話がデータファイルＤ１（ファイル名：２００５０１０７１２０１０９０３０＿ｈ．ｗａｖ）に格納されている。また、’はい’というユーザ発話がデータファイルＤ２（ファイル名：２００５０１０７１２０１３５００１＿ｈ．ｗａｖ）に格納されている。
【００４６】
また、’プレゼントご希望の商品名を発話してください。’という合成発話がデータファイルＤ３（ファイル名：２００５０１０７１２０１０１００１＿ｃ．ｗａｖ）に格納される。さらに、’ご希望の商品名は  “テレビ”  ですね。’という合成発話がデータファイルＤ４（ファイル名：２００５０１０７１２０１１５０４５＿ｃ．ｗａｖ）に格納される。
【００４７】
このように、合成発話録音ファイル１２およびユーザ発話録音ファイル１３には、それぞれ、一連（発話開始後、無音状態が発声するまで）の合成発話、ユーザ発話が格納される。
【００４８】
図７に、対話録音管理ファイル１４の例を示す。この対話録音管理ファイル１４は、図５に示す対話内容を図６に示す合成発話ファイル（Ｄ３−Ｄ５）およびユーザ発話ファイル（Ｄ１、Ｄ２）に格納したときに、それぞれの発話内容を連結して対話を構成する情報を含む。
【００４９】
本実施形態では、対話録音管理ファイル１４には、対話の発話内容に相当する音声データファイルの名称が明示される。
【００５０】
例えば、図７において、’＜ｐｒｏｍｐｔ＞
＜ａｕｄｉｏ  ｓｒｃ＝”２００５０１０７１２０１０１００１＿ｃ．ｗａｖ”／＞
＜／ｐｒｏｍｐｔ＞’は、ファイル名が”２００５０１０７１２０１０１００１＿ｃ．ｗａｖ”のファイルに音声データが格納されていることを示している。この音声データのファイル名は、タグ＜ｐｒｏｍｐｔ＞のｓｒｃパラメータとして記述されている。このため、ＶｏｉｃｅＸＭＬインタープリタ１が、対話録音管理ファイル１４を処理すると、
タグ＜ｐｒｏｍｐｔ＞により、音声データが再生されることになる。他の行、例えば、’＜ｐｒｏｍｐｔ＞＜ａｕｄｉｏ  ｓｒｃ＝”２００５０１０７１２０１０９０３０＿ｈ．
ｗａｖ”／＞＜／ｐｒｏｍｐｔ＞’についても同様である。したがって、対話録音管理ファイル１４と、合成発話録音ファイル１２およびユーザ発話録音ファイル１３との組合せにより、図５に示した対話録音ファイル１１と同様の対話が再生される。
【００５１】
＜処理フロー＞
図８および図９に、本情報処理装置（ＶｏｉｃｅＸＭＬインタープリタ１）の処理を示す。図８は、図５に示したように合成発話とユーザ発話とを同一の音声データファイルに結合した形式で対話録音する処理例である。
【００５２】
この処理では、まず、情報処理装置のＶｏｉｃｅＸＭＬインタープリタ１は、ＶｏｉｃｅＸＭＬファイルを解析し、実行オブジェクトツリーを作成する（Ｓ１）。実行オブジェクトツリーとは、ＶｏｉｃｅＸＭＬファイル内のタグの階層構造をツリー構造で定義したデータである。ＶｏｉｃｅＸＭＬインタープリタ１は、実行オブジェクトツリーにしたがって処理を実行する（Ｓ２）。この処理は、ＦＩＡ（Ｆｏｒｍ  Ｉｎｔｅｒｐｒｅｔｅｔｉｏｎ  Ａｌｇｏｒｉｔｈｍ）と呼ばれる。この処理の中で、ＶｏｉｃｅＸＭＬインタープリタ１は、対話録音タグ’＜ｖｏｉｃｅｌｏｇ＞’が出現したか否かを判定する（Ｓ３）。対話録音タグ’＜ｖｏｉｃｅｌｏｇ＞’が出現するまでは、ＶｏｉｃｅＸＭＬインタープリタ１は、通常のＦＩＡ処理を繰り返す（Ｓ２）。
【００５３】
一方、対話録音タグ’＜ｖｏｉｃｅｌｏｇ＞’が出現すると、ＶｏｉｃｅＸＭＬインタープリタ１は、対話録音タグ処理部２に処理を開始させる。このとき、対話録音タグ処理部２は、音声認識処理部８に、ユーザ発話を検出した場合に、入力された音声データを通知するように依頼する。また、対話録音タグ処理部２は、音声合成処理部９に、合成発話を合成した場合に、その合成された音声データを通知するように依頼する（Ｓ４）。
【００５４】
そして、ＶｏｉｃｅＸＭＬインタープリタ１は、ＶｏｉｃｅＸＭＬファイルの実行を継続する（Ｓ５）。この処理の中で、ユーザ発話された音声データが音声認識処理部８から対話録音タグ処理部２に通知された場合、または音声合成処理部９から音声合成データが通知された場合、対話録音タグ処理部２は音声録音処理部１０に対して通知データの蓄積（追加）を依頼する（Ｓ５）。
【００５５】
そして、ＶｏｉｃｅＸＭＬインタープリタ１は、対話録音タグのスコープを出たか否かを判定する（Ｓ６）。この判定は、対話録音の終了を示す’＜／ｖｏｉｃｅｌｏｇ＞’を検出したか否かの判定である。このようにして、スコープを出るまで、本情報処理装置は、Ｓ５の処理を繰り返す。
【００５６】
そして、対話録音タグのスコープを出た場合、ＶｏｉｃｅＸＭＬインタープリタ１は、対話録音タグ処理部２に処理を停止させる。このとき、対話録音タグ処理部２は、音声認識処理部８に、音声データの通知を停止するように依頼する。また、対話録音タグ処理部２は、音声合成処理部９に、音声データの通知を停止するように依頼する。そして、対話録音タグ処理部２は、対話録音処理部１０に、蓄積した音声データを対話録音ファイル１１に出力するように依頼する（Ｓ７）。その後、ＶｏｉｃｅＸＭＬインタープリタ１は、制御をＳ２に戻し、次のタグの処理を実行する。
【００５７】
図９は、図６，図７に示したように、一連の合成発話とユーザ発話とをそれぞれ異なる音声データファイルに格納し、対話録音管理ファイル１４で結合する処理例である。以上の点を除き、図９の処理は、図８の処理と同様である。そこで、同一の処理については、図８と同一の符号を付してその説明を省略する。なお、図８の処理と、図９の処理とは、例えば、ユーザ設定にしたがって情報処理装置にて切り替えて実行するようにすればよい。
【００５８】
図９に示すように、対話録音タグ’＜ｖｏｉｃｅｌｏｇ＞’が出現し、対話録音タグ処理部２による処理が開始したのち（Ｓ４の後）、ユーザ発話の音声データが音声認識処理部８から対話録音タグ処理部２に通知された場合、対話録音タグ処理部２は音声録音処理部１０に対して通知データのファイル出力を依頼する。また、音声合成データが音声合成処理部９から対話録音タグ処理部２に通知された場合、対話録音タグ処理部２は音声録音処理部１０に対して通知データのファイル出力を依頼する。対話録音タグ処理部２は上記各出力ファイル名を対話録音管理ファイル１４への出力データとして時系列に蓄積する（Ｓ５Ａ）。
【００５９】
そして、対話録音タグのスコープを出た場合、ＶｏｉｃｅＸＭＬインタープリタ１は、対話録音タグ処理部２に処理を停止させる。このとき、対話録音タグ処理部２は、音声認識処理部８に、音声データの通知を停止するように依頼する。また、対話録音タグ処理部２は、音声合成処理部９に、音声データの通知を停止するように依頼する。そして、対話録音タグ処理部２は、時系列に蓄積した出力ファイル名を基に、ＶｏｉｃｅＸＭＬデータ（図７参照）を対話録音管理ファイル１４に出力する。
【００６０】
以上述べたように、本実施形態の情報処理装置によれば、対話録音タグにより、情報処理装置が発話する合成発話の内容とその合成発話に対するユーザの応答であるユーザ発話の内容を組み合わせた対話内容を録画することができる。この場合に、ユーザは、合成発話に応答すればよいため、録音されることを意識して、発話の開始時点、終了時点等に気を配ることなく、情報処理装置の発話に自然に応答することで対話内容をシステムに伝達できる。
【００６１】
また、本情報処理装置によれば、対話内容は、１つの対話録音ファイル１１に格納してもよいし、一連の発話毎に合成発話とユーザ発話を区切って、異なる合成発話ファイル１２およびユーザ発話ファイル１３に格納し、対話録音管理ファイル１４で管理してもよい。
【００６２】
また、本情報処理装置によれば、合成発話と複数のユーザによるユーザ発話の対話部分（＜ｆｏｒｍ＞から＜／ｆｏｒｍ＞に至るスコープ）を対話録音タグのスコープに入れることにより、１つの対話録音タグの設定で複数ユーザの発話内容を記録することができる。
【００６３】
＜変形例＞
上記第１実施形態では、合成発話とユーザ発話とが組み合わせられて、対話録音ファイル１１に格納され、または対話録音管理ファイル１４によって管理された。この場合、対話録音タグに付与されるパラメータ（処理の属性）にしたがって、合成発話とユーザ発話のいずれか一方だけを録音できるようにしてもよい。また、その両方を録音するか、いずれか一方だけを録音するかを属性にしたがって切り替えるようにしてもよい。
【００６４】
図１０に、そのような対話録音タグに付加される属性処理の例を示す。この処理では、図８および９に示したＶｏｉｃｅＸＭＬファイルを解析し、実行オブジェクトツリーを作成する処理は省略されている。以下、最初のＦＩＡによる処理（図８および図９のＳ２）実行後の処理について説明する。
【００６５】
ＶｏｉｃｅＸＭＬインタープリタ１は、対話録音タグが出現したか否かを判定する（Ｓ３）。対話録音タグが出現するまでは、ＶｏｉｃｅＸＭＬインタープリタ１は、通常のＦＩＡ処理を繰り返す（Ｓ２）。
【００６６】
一方、対話録音タグが出現すると、ＶｏｉｃｅＸＭＬインタープリタ１は、タグに付された属性をチェックする。まず、属性の指定がない場合（Ｓ１４でＹＥＳの場合）、ＶｏｉｃｅＸＭＬインタープリタ１は、図８および図９の場合と同様、ＦＩＡの処理とともに、ユーザ発話および合成発話の両方を処理する（Ｓ１５）。
【００６７】
また、属性の指定が”ｂｏｔｈ”であった場合も（Ｓ１６でＹＥＳの場合）、ＶｏｉｃｅＸＭＬインタープリタ１は、ＦＩＡの処理とともに、ユーザ発話および合成発話の両方を処理する（Ｓ１５）。
【００６８】
また、属性の指定が”ｈｕｍａｎ”であった場合（Ｓ１７でＹＥＳの場合）、ＶｏｉｃｅＸＭＬインタープリタ１は、ＦＩＡの処理とともに、ユーザ発話だけを処理する（Ｓ１８）。この場合、合成発話は録音されないことになる。
【００６９】
また、属性の指定が”ｃｏｍｐｕｔｅｒ”であった場合（Ｓ１９でＹＥＳの場合）、ＶｏｉｃｅＸＭＬインタープリタ１は、ＦＩＡの処理とともに、合成発話だけを処理する（Ｓ２０）。この場合、ユーザ発話は録音されないことになる。
【００７０】
また、以上の属性以外の属性が指定されていた場合、ＶｏｉｃｅＸＭＬインタープリタ１は、エラー処理を実行する（Ｓ２１）。
【００７１】
このような処理を繰り返して、ＶｏｉｃｅＸＭＬインタープリタ１は、スコープを出たか否かを判定する（Ｓ２２）。スコープを出ていない場合、ＦＩＡおよび属性にしたがった処理を繰り返す（Ｓ２３）。一方、スコープを出た場合には、対話録音処理を終了する。
【００７２】
以上述べたように、図１０の処理によれば、合成発話、ユーザ発話のいずれか、あるいは、その両方を録音する処理をタグの属性にしたがって切り替えることができる。
【００７３】
＜コンピュータ読み取り可能な記録媒体＞
コンピュータその他の機械、装置（以下、コンピュータ等）に上記いずれかの機能を実現させるプログラムをコンピュータ等が読み取り可能な記録媒体に記録することができる。そして、コンピュータ等に、この記録媒体のプログラムを読み込ませて実行させることにより、その機能を提供させることができる。
【００７４】
ここで、コンピュータ等が読み取り可能な記録媒体とは、データやプログラム等の情報を電気的、磁気的、光学的、機械的、または化学的作用によって蓄積し、コンピュータ等から読み取ることができる記録媒体をいう。このような記録媒体のうちコンピュータ等から取り外し可能なものとしては、例えばフレキシブルディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＣＤ−Ｒ／Ｗ、ＤＶＤ、ＤＡＴ、８ｍｍテープ、メモリカード等がある。
【００７５】
また、コンピュータ等に固定された記録媒体としてハードディスクやＲＯＭ（リードオンリーメモリ）等がある。
【００７６】
＜その他＞
さらに、本実施の形態は以下の発明を開示する。また、以下の各発明（以下付記と呼ぶ）のいずれかに含まれる構成要素を他の付記の構成要素と組み合わせてもよい。
（付記１）
所定の機能の実行を指示するためのタグ情報を含むマークアップ言語情報の処理装置であって、
音声取得部を接続可能なインターフェースと、
音声出力部を接続可能なインターフェースと、
前記音声取得部を通じて音声を音声データとして取得する音声取得制御部と、
前記音声出力部を通じて音声を出力する音声出力制御部と、
音声データを記憶する音声データ記憶部と、
録音の開始を示す録音タグを認識する録音タグ認識部と、
録音の終了を示す録音終了タグを認識する録音終了タグ認識部と、
前記録音タグが認識された後、録音終了タグが認識されるまでの間、前記音声取得制御部によって取得された音声データを前記音声データ記憶部に記憶させるとともに、前記音声出力制御部によって出力された音声を音声データとして前記音声データ記憶部に記憶させる音声データ記憶制御部と、を備えるマークアップ言語情報の処理装置。（１）
（付記２）
前記音声データ記憶制御部は、前記取得された音声データと前記出力された音声の音声データとを、取得された時点および出力された時点の時系列順で結合して１つの音声データとして記憶する付記１に記載のマークアップ言語情報の処理装置。
（付記３）
前記音声データ記憶制御部は、前記取得された音声データおよび前記出力された音声の音声データをそれぞれの取得された時点および出力された時点に対応するデータデータファイルに保存するデータファイル保存部と、
取得された時点に対応するデータファイルおよび出力された時点に対応するデータファイルについての時系列順の関係を順序記憶ファイルに記録する順序記録部と、を有する付記１に記載のマークアップ言語情報の処理装置。
（付記４）
音声データを記憶するときの属性情報を認識する属性認識部をさらに備え、
前記音声データ記憶制御部は、前記属性情報にしたがい、前記取得された音声データ、前記出力された音声の音声データ、またはその両方を記憶させる付記１から３のいずれかに記載のマークアップ言語情報の処理装置。
（付記５）  
前記音声取得部を通じて音声を音声データとして取得する音声取得部と、
前記音声出力部を通じて音声を出力する音声出力部と、
音声データを記憶する音声データ記憶部と、を備えるコンピュータが、所定の機能の実行を指示するためのタグ情報を含むマークアップ言語情報を処理する情報処理方法であって、
録音の開始を示す録音タグを認識する録音タグ認識ステップと、
録音の終了を示す録音終了タグを認識する録音終了タグ認識ステップと、
前記録音タグが認識された後、録音終了タグが認識されるまでの間、前記音声取得制御部によって取得された音声データを前記音声データ記憶部に記憶させるとともに、前記音声出力制御部によって出力された音声を音声データとして前記音声データ記憶部に記憶させる音声データ記憶制御ステップと、を実行する情報処理方法。（２）
（付記６）
前記音声データ記憶制御ステップでは、前記取得された音声データと前記出力された音声の音声データとが、取得された時点および出力された時点の時系列順で結合されて１つの音声データとして記憶される付記５に記載の情報処理方法。
（付記７）
前記音声データ記憶制御ステップは、前記取得された音声データおよび前記出力された音声の音声データをそれぞれの取得された時点および出力された時点に対応するデータデータファイルに保存するデータファイル保存ステップと、
取得された時点に対応するデータファイルおよび出力された時点に対応するデータファイルについての時系列順の関係を順序記憶ファイルに記録する順序記録ステップと、を有する付記５に記載の情報処理方法。
（付記８）
音声データを記憶するときの属性情報を認識する属性認識ステップをさらに備え、
前記音声データ記憶制御ステップでは、前記属性情報にしたがい、前記取得された音声データ、前記出力された音声の音声データ、またはその両方が記憶される付記５から７のいずれかに記載の情報処理方法。
（付記９）  
前記音声取得部を通じて音声を音声データとして取得する音声取得部と、
前記音声出力部を通じて音声を出力する音声出力部と、
音声データを記憶する音声データ記憶部と、を備えるコンピュータに、所定の機能の実行を指示するためのタグ情報を含むマークアップ言語情報を処理させるコンピュータ実行可能なプログラムであって、
録音の開始を示す録音タグを認識する録音タグ認識ステップと、
録音の終了を示す録音終了タグを認識する録音終了タグ認識ステップと、
前記録音タグが認識された後、録音終了タグが認識されるまでの間、前記音声取得制御部によって取得された音声データを前記音声データ記憶部に記憶させるとともに、前記音声出力制御部によって出力された音声を音声データとして前記音声データ記憶部に記憶させる音声データ記憶制御ステップと、を有するコンピュータ実行可能なプログラム。（３）
（付記１０）
前記音声データ記憶制御ステップでは、前記取得された音声データと前記出力された音声の音声データとが、取得された時点および出力された時点の時系列順で結合されて１つの音声データとして記憶される付記９に記載のコンピュータ実行可能なプログラム。（４）
（付記１１）
前記音声データ記憶制御ステップは、前記取得された音声データおよび前記出力された音声の音声データをそれぞれの取得された時点および出力された時点に対応するデータデータファイルに保存するデータファイル保存ステップと、
取得された時点に対応するデータファイルおよび出力された時点に対応するデータファイルについての時系列順の関係を順序記憶ファイルに記録する順序記録ステップと、を有する付記９に記載のコンピュータ実行可能なプログラム。（５）
（付記１２）
音声データを記憶するときの属性情報を認識する属性認識ステップをさらに備え、
前記音声データ記憶制御ステップでは、前記属性情報にしたがい、前記取得された音声データ、前記出力された音声の音声データ、またはその両方が記憶される付記９から１１のいずれかに記載のコンピュータ実行可能なプログラム。
【図面の簡単な説明】
【００７７】
【図１】従来のＶｏｉｃｅＸＭＬデータの例
【図２】従来のＶｏｉｃｅＸＭＬデータによる対話の例
【図３】本発明の一実施形態に係る情報処理装置のシステム構成図
【図４】対話録音タグを含むＶｏｉｃｅＸＭＬデータの例
【図５】対話録音ファイルのデータ例
【図６】合成発話録音ファイルとユーザ発話録音ファイルのデータ例
【図７】対話録音管理ファイルのデータ例
【図８】対話録音ファイルに対話を出力する処理例
【図９】合成発話録音ファイル、ユーザ発話録音ファイルおよび対話録音管理ファイルにデータを出力する処理例
【図１０】属性の処理例
【符号の説明】
【００７８】
１  ＶｏｉｃｅＸＭＬインタープリタ
２  対話録音タグ処理部
３  ＶｏｉｃｅＸＭＬドキュメント格納部
４  マイクロフォン
５  音声入力インターフェース
６  スピーカ
７  音声出力インターフェース
８  音声認識処理部
９  音声合成処理部
１０  音声録音処理部
１１  対話録音ファイル
１２  合成発話録音ファイル
１３  ユーザ発話録音ファイル
１４  対話録音管理ファイル
【図１】
2007249653.tif 000003
【図２】
2007249653.tif 000004
【図３】
2007249653.tif 000005
【図４】
2007249653.tif 000006
【図５】
2007249653.tif 000007
【図６】
2007249653.tif 000008
【図７】
2007249653.tif 000009
【図８】
2007249653.tif 000010
【図９】
2007249653.tif 000011
【図１０】
2007249653.tif 000012