(57)【要約】【課題】音声のみによる自動応答システムは、ガイダンスを最後まで聞かないと操作ができないため、処理時間がかかる。選択肢が多数の場合は、最初の選択肢を忘れるなどするため、質問回数を増やして選択肢を低減するなどしているが、これにより更に処理の時間がかかる。処理時間の増加はユーザの負担となり、誤動作も多くなる。【解決手段】テレビ電話端末を用いて音声や画像などを併用することでガイダンスなどにおける話者の理解度を高める。ガイダンスを最後まで聞かなくても一覧して次の操作が行える上、選択肢を多くすることができ、１回の処理が完了する時間を短縮でき通信コストを下げることができる。【選択図】    図１
2004356896.tif 000002
【特許請求の範囲】
【請求項１】
音声通信の機能と画像通信の機能を備えたテレビ電話と送受信を行う仮想テレビ電話端末部と、
前記テレビ電話から受信したＤＴＭＦ信号により該テレビ電話に応答する音声および／または映像の制御を行うシナリオ実行部とを具備することを特徴とするする自動応答装置。
【請求項２】
前記仮想テレビ電話端末部は、
前記テレビ電話と接続する通信部と、
前記シナリオ実行部からの映像が入力される映像入力部と、
前記シナリオ実行部からの音声が入力される音声入力部と、
前記シナリオ実行部へＤＴＭＦ信号を出力するＤＴＭＦ信号出力部とから構成されることを特徴とする請求項１に記載の自動応答装置。
【請求項３】
前記シナリオ実行部は、前記テレビ電話に応答する前記音声および／または映像を格納するリソース格納部と、
前記音声および／または映像を制御する内容を記述したシナリオと、
前記音声のデータを合成して前記仮想テレビ電話端末に送信する音声生成部と、
前記映像のデータを合成して前記仮想テレビ電話端末に送信する映像生成部と、
外部システム、外部装置、外部ソフトウェアの少なくともいずれか１つとデータ通信を行う外部インターフェイス部と、
前記リソース格納部、前記シナリオ、前記外部インターフェイス、前記映像生成部および前記音声生成部の制御を行う制御部とを具備することを特徴とする請求項１に記載の自動応答装置。
【請求項４】
前記リソース格納部の前記映像は、予め所定のフォーマットで圧縮されて格納されることを特徴とする請求項３に記載の自動応答装置。
【請求項５】
前記映像生成部は、複数の前記映像を即時に重畳させて配置することを特徴とする請求項３に記載の自動応答装置。
【請求項６】
前記映像生成部は、前記映像にテキストデータを即時に動的に合成することを特徴とする請求項３に記載の自動応答装置。
【請求項７】
前記テレビ電話からの音声を認識する音声認識部を具備し、該音声により前記テレビ電話に応答する音声および／または映像を制御することを特徴とする請求項１に記載の自動応答装置。
【請求項８】
前記テレビ電話からの映像を認識するする映像認識部を具備し、該映像により前記テレビ電話に応答する音声および／または映像を制御することを特徴とする請求項１に記載の自動応答装置。
【請求項９】
音声通信の機能と画像通信の機能を備えたテレビ電話と、
該テレビ電話と接続し、仮想テレビ電話端末部とシナリオ実行部とを有する自動応答装置とを具備し、
仮想テレビ電話端末部で前記テレビ電話からのＤＴＭＦ信号を受信し、前記シナリオ実行部で音声および／または映像の制御を行い、前記テレビ電話に応答を行うことを特徴とする自動応答システム。
【請求項１０】
前記仮想テレビ電話端末部は、前記テレビ電話と接続する通信部と、映像入力部と、音声入力部と、ＤＴＭＦ信号出力部とを具備し、
前記ＤＴＭＦ信号を前記シナリオ実行部へ出力することにより前記映像入力部には前記シナリオ実行部からの映像が入力され、前記音声入力部には前記シナリオ実行部からの音声が入力されることを特徴とする請求項９に記載の自動応答システム。
【請求項１１】
前記シナリオ実行部は、リソース格納部と、シナリオと、音声生成部と、映像生成部と、外部インターフェイス部と、制御部とを具備し、前記ＤＴＭＦ信号により前記音声および／または映像を制御する内容を記述したシナリオを実行し、前記リソース格納部から前記テレビ電話に応答する前記音声および／または映像を取得し、前記音声生成部により前記音声のデータを合成して前記仮想テレビ電話端末に送信し、前記映像生成部により前記映像のデータを合成して前記仮想テレビ電話端末に送信し、前記テレビ電話に応答することを特徴とする請求項９に記載の自動応答システム。
【請求項１２】
前記テレビ電話からの音声を認識する音声認識部を具備し、該音声により前記シナリオを実行することを特徴とする請求項１１に記載の自動応答システム。
【請求項１３】
前記テレビ電話からの映像を認識する映像認識部を具備し、前記映像により前記シナリオを実行することを特徴とする請求項１１に記載の自動応答システム。
【請求項１４】
前記リソース格納部の前記映像は、予め所定のフォーマットで圧縮されて格納されることを特徴とする請求項１１に記載の自動応答システム。
【請求項１５】
前記映像生成部は、複数の前記映像を即時に重畳させて配置することを特徴とする請求項１１に記載の自動応答システム。
【請求項１６】
前記映像生成部は、前記映像にテキストデータを即時に動的に合成することを特徴とする請求項１１に記載の自動応答システム。
【請求項１７】
前記テレビ電話および前記自動応答装置は、公衆電話回線、専用電話回線、ＩＰネットワークのいずれかにより接続することを特徴とする請求項９に記載の自動応答システム。
【請求項１８】
前記テレビ電話はテレビ機能付き携帯電話であり、ゲートウェイ装置および前記電話回線を介して前記自動応答装置と接続することを特徴とする請求項９に記載の自動応答システム。
【請求項１９】
音声通信の機能と画像通信の機能を備えたテレビ電話と、該テレビ電話と接続し、仮想テレビ電話端末部とシナリオ実行部とを有する自動応答装置と、前記自動応答装置に接続する外部装置を具備し、
前記テレビ電話からＤＴＭＦ信号を受信し、前記シナリオ実行部で音声および／または映像を制御し、前記テレビ電話に応答することで銀行業務を行うテレフォンバンキングシステム。
【請求項２０】
前記仮想テレビ電話端末部は、前記テレビ電話と接続する通信部と、映像入力部と、音声入力部と、ＤＴＭＦ信号出力部とを具備し、
前記ＤＴＭＦ信号を前記シナリオ実行部へ出力することにより前記映像入力部には前記シナリオ実行部からの映像が入力され、前記音声入力部には前記シナリオ実行部からの音声が入力されることを特徴とする請求項１９に記載のテレフォンバンキングシステム。
【請求項２１】
前記シナリオ実行部は、リソース格納部と、シナリオと、音声生成部と、映像生成部と、外部インターフェイス部と、制御部とを具備し、
前記ＤＴＭＦ信号により前記音声および／または映像を制御する内容を記述したシナリオを実行し、前記テレビ電話に応答する音声および／またはデータをリソース格納部から取得し、前記音声生成部により前記音声のデータを合成して前記仮想テレビ電話端末に送信し、前記映像生成部により前記映像のデータを合成して前記仮想テレビ電話端末に送信し、前記外部インターフェイスにより接続する前記外部装置あるいは外部システム、外部ソフトウェアのいずれかとデータ通信を行い、前記テレビ電話に応答することを特徴とする請求項１９に記載のテレフォンバンキングシステム。
【請求項２２】
前記シナリオ実行部は、前記テレビ電話からの音声を認識する音声認識部を具備し、前記音声により前記シナリオを実行することを特徴とする請求項２１に記載のテレフォンバンキングシステム。
【請求項２３】
前記シナリオ実行部は、前記テレビ電話からの映像を認識する映像認識部を具備し、前記映像を認識して前記シナリオを実行することを特徴とする請求項２１に記載のテレフォンバンキングシステム。
【請求項２４】
前記リソース格納部の前記映像は、所定のフォーマットで圧縮されて格納されることを特徴とする請求項２１に記載のテレフォンバンキングシステム。
【請求項２５】
前記映像生成部は、前記リソース格納部に保持される複数の前記映像を即時に重畳させて配置することを特徴とする請求項２１に記載のテレフォンバンキングシステム。
【請求項２６】
前記映像生成部は、前記リソース格納部に保持される前記映像にテキストデータを即時に動的に合成することを特徴とする請求項２１に記載のテレフォンバンキングシステム。
【請求項２７】
前記テレビ電話および前記自動応答装置は、公衆電話回線、専用電話回線、ＩＰネットワークのいずれかにより接続することを特徴とする請求項１９に記載のテレフォンバンキングシステム。
【請求項２８】
前記テレビ電話はテレビ機能付き携帯電話であり、ゲートウェイ装置および前記電話回線を介して前記自動応答装置と接続することを特徴とする請求項１９に記載のテレフォンバンキングシステム。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、自動応答装置、自動応答システムおよびテレフォンバンキングシステムにかかり、特に、テレビ電話に接続して自動応答を行う自動応答装置、自動応答システムおよびテレフォンバンキングシステムに関する。
【０００２】
【従来の技術】
電話を使った自動応答システム（ＩＶＲ：Ｉｎｔｅｒａｃｔｉｖｅ  Ｖｏｉｃｅ  Ｒｅｓｐｏｎｓｅの略）は様々な業界や業務で導入されている。従来の自動応答システムは音声ガイダンスを発し、端末からのプッシュボタンによって操作を行うシステムであり、シナリオと呼ばれる一種のプログラムによって動作し、プッシュ信号を音声認識することによってユーザからの指示内容を受け付ける。このようなしくみは銀行のテレフォンバンキングやチケットの予約システムなどをはじめさまざまな業種に利用されてきた。
【０００３】
図６を用いて、従来の電話音声自動応答システムの動作の一例を説明する。電話回線３に接続した不図示の電話と、音声応答装置４との間で着信した電話の呼もしくは発信した電話の呼が確立すると、音声応答装置４は、予め用意してある定型メッセージの発声を指示し、これにより、音声ガイダンスが話者に伝えられる。この音声ガイダンスに従って話者がプッシュボタンまたは発声により指示すると、この話者による音声指示を音声認識部７が受けとる。一般に、音声認識部７はプッシュボタンの認識や話者の発声の認識などの音声認識を行うことができる。音声認識部７は話者の指示内容を解析し、音声応答装置４は、定型メッセージで応答する（例えば、特許文献１参照。）。
【０００４】
【特許文献１】
特開平９−３３０３５７号公報（第２頁、第２図）
【０００５】
【発明が解決しようとする課題】
しかし、従来の音声のみによる自動応答システムは、その応答に時間がかかり、利便性が良くない問題がある。例えば、音声のみのガイダンスであるため、特に操作に不慣れなユーザの場合には誤操作が多くなったり、操作になれたユーザであってもガイダンスを最後まできかないと次の操作に進めずに時間がかかってしまう。また、選択肢の番号をプッシュボタンを押すことによって操作する場合、選択肢が多数あると、ガイダンスを聞いているうちに、最初に発せられた選択肢の内容を忘れてしまう。このような場合の選択肢は、最大でも３つまでが望ましいとされており、選択肢の数を減らすことによって、質問回数が増えていき、さらに時間がかかってしまう。
【０００６】
このように、１回のジョブの時間がかかることによって、ユーザに負担を与えるだけでなく、通信コストが増える。また、音声のみであるため、聞き逃しや聞き間違いによって、誤操作が起こりやすいという欠点がある。操作が予想以上長時間におよぶために、ジョブの途中で操作を中断するユーザが増えるという問題もあった。
【０００７】
【課題を解決するための手段】
本発明は、上記の課題に鑑みてなされ、第１に、音声通信の機能と画像通信の機能を備えたテレビ電話と送受信を行う仮想テレビ電話端末部と、前記テレビ電話から受信したＤＴＭＦ信号により該テレビ電話に応答する音声および／または映像の制御を行うシナリオ実行部とを具備することにより解決するものである。
【０００８】
また、前記仮想テレビ電話端末部は、前記テレビ電話と接続する通信部と、前記シナリオ実行部からの映像が入力される映像入力部と、前記シナリオ実行部からの音声が入力される音声入力部と、前記シナリオ実行部へＤＴＭＦ信号を出力するＤＴＭＦ信号出力部とから構成されることを特徴とするものである。
【０００９】
また、前記シナリオ実行部は、前記テレビ電話に応答する前記音声および／または映像を格納するリソース格納部と、前記音声および／または映像を制御する内容を記述したシナリオと、前記音声のデータを合成して前記仮想テレビ電話端末に送信する音声生成部と、前記映像のデータを合成して前記仮想テレビ電話端末に送信する映像生成部と、外部システム、外部装置、外部ソフトウェアの少なくともいずれか１つとデータ通信を行う外部インターフェイス部と、前記リソース格納部、前記シナリオ、前記外部インターフェイス、前記映像生成部および前記音声生成部の制御を行う制御部とを具備することを特徴とするものである。
【００１０】
また、前記リソース格納部の前記映像は、予め所定のフォーマットで圧縮されて格納されることを特徴とするものである。
【００１１】
また、前記映像生成部は、複数の前記映像を即時に重畳させて配置することを特徴とするものである。
【００１２】
また、前記映像生成部は、前記映像にテキストデータを即時に動的に合成することを特徴とするものである。
【００１３】
また、前記テレビ電話からの音声を認識する音声認識部を具備し、該音声により前記テレビ電話に応答する音声および／または映像を制御することを特徴とするものである。
【００１４】
また、前記テレビ電話からの映像を認識するする映像認識部を具備し、該映像により前記テレビ電話に応答する音声および／または映像を制御することを特徴とするものである。
【００１５】
第２に、音声通信の機能と画像通信の機能を備えたテレビ電話と、該テレビ電話と接続し、仮想テレビ電話端末部とシナリオ実行部とを有する自動応答装置とを具備し、仮想テレビ電話端末部で前記テレビ電話からのＤＴＭＦ信号を受信し、前記シナリオ実行部で音声および／または映像の制御を行い、前記テレビ電話に応答を行うことをにより解決するものである。
【００１６】
また、前記仮想テレビ電話端末部は、前記テレビ電話と接続する通信部と、映像入力部と、音声入力部と、ＤＴＭＦ信号出力部とを具備し、前記ＤＴＭＦ信号を前記シナリオ実行部へ出力することにより前記映像入力部には前記シナリオ実行部からの映像が入力され、前記音声入力部には前記シナリオ実行部からの音声が入力されることを特徴とするものである。
【００１７】
また、前記シナリオ実行部は、リソース格納部と、シナリオと、音声生成部と、映像生成部と、外部インターフェイス部と、制御部とを具備し、前記ＤＴＭＦ信号により前記シナリオを実行し、前記リソース格納部から前記テレビ電話に応答する前記音声および／または映像を取得し、前記音声生成部により前記音声のデータを合成して前記仮想テレビ電話端末に送信し、前記映像生成部により前記映像のデータを合成して前記仮想テレビ電話端末に送信し、前記テレビ電話に応答することを特徴とするものである。
【００１８】
また、前記テレビ電話からの音声を認識する音声認識部を具備し、該音声により前記シナリオを実行することを特徴とするものである。
【００１９】
また、前記テレビ電話からの映像を認識する映像認識部を具備し、前記映像により前記シナリオを実行することを特徴とするものである。
【００２０】
また、前記リソース格納部の前記映像は、予め所定のフォーマットで圧縮されて格納されることを特徴とするものである。
【００２１】
また、前記映像生成部は、複数の前記映像を即時に重畳させて配置することを特徴とするものである。
【００２２】
また、前記映像生成部は、前記映像にテキストデータを即時に動的に合成することを特徴とするものである。
【００２３】
また、前記テレビ電話および前記自動応答装置は、公衆電話回線、専用電話回線、ＩＰネットワークのいずれかにより接続することを特徴とするものである。
【００２４】
また、前記テレビ電話はテレビ機能付き携帯電話であり、ゲートウェイ装置および前記電話回線を介して前記自動応答装置と接続することを特徴とするものである。
【００２５】
第３に、音声通信の機能と画像通信の機能を備えたテレビ電話と、該テレビ電話と接続し、仮想テレビ電話端末部とシナリオ実行部とを有する自動応答装置と、前記自動応答装置に接続する外部装置を具備し、前記テレビ電話からＤＴＭＦ信号を受信し、前記シナリオ実行部に保持されるシナリオに従って音声および／または映像を制御し、前記テレビ電話に応答することで銀行業務を行うことにより解決するものである。
【００２６】
また、前記記仮想テレビ電話端末部は、前記テレビ電話と接続する通信部と、映像入力部と、音声入力部と、ＤＴＭＦ信号出力部とを具備し、前記ＤＴＭＦ信号を前記シナリオ実行部へ出力することにより前記映像入力部には前記シナリオ実行部からの映像が入力され、前記音声入力部には前記シナリオ実行部からの音声が入力されることを特徴とするものである。
【００２７】
また、前記シナリオ実行部は、リソース格納部と、シナリオと、音声生成部と、映像生成部と、外部インターフェイス部と、制御部とを具備し、前記ＤＴＭＦ信号により前記音声および／または映像を制御する内容を記述したシナリオを実行し、前記テレビ電話に応答する音声および／またはデータをリソース格納部から取得し、前記音声生成部により前記音声のデータを合成して前記仮想テレビ電話端末に送信し、前記映像生成部により前記映像のデータを合成して前記仮想テレビ電話端末に送信し、前記外部インターフェイスにより接続する前記外部装置あるいは外部システム、外部ソフトウェアのいずれかとデータ通信を行い、前記テレビ電話に応答することを特徴とするものである。
【００２８】
また、前記シナリオ実行部は、前記テレビ電話からの音声を認識する音声認識部を具備し、前記音声により前記シナリオを実行することを特徴とするものである。
【００２９】
また、前記シナリオ実行部は、前記テレビ電話からの映像を認識する映像認識部を具備し、前記映像を認識して前記シナリオを実行することを特徴とするものである。
【００３０】
また、前記リソース格納部の前記映像は、所定のフォーマットで圧縮されて格納されることを特徴とするものである。
【００３１】
また、前記映像生成部は、前記リソース格納部に保持される複数の前記映像を即時に重畳させて配置することを特徴とするものである。
【００３２】
また、前記映像生成部は、前記リソース格納部に保持される前記映像にテキストデータを即時に動的に合成することを特徴とするものである。
【００３３】
また、前記テレビ電話および前記自動応答装置は、公衆電話回線、専用電話回線、ＩＰネットワークのいずれかにより接続することを特徴とするものである。
【００３４】
また、前記テレビ電話はテレビ機能付き携帯電話であり、ゲートウェイ装置および前記電話回線を介して前記自動応答装置と接続することを特徴とするものである。
【００３５】
【発明の実施の形態】
図１から図５を用いて、本発明の実施形態を詳細に説明する。
【００３６】
図１には、自動応答装置１０の概要図を示す。本発明の自動応答装置１０は、仮想テレビ電話端末部１１と、シナリオ実行部１２とから構成される。
【００３７】
仮想テレビ電話端末部１１は、自動応答装置１０内にテレビ電話プロトコルを実装するための手段であり、通信部１３、映像入力部１４、ＤＴＭＦ出力部１５、音声入力部１６とからなる。通信部１３は、音声通信の機能と画像通信の機能を備えたテレビ電話２８と接続し、送受信を行う。映像入力部１４は、テレビ電話２８に応答するため、シナリオ実行部１２のシナリオ２１に従ってリソース格納部２４から呼び出された映像が入力される。音声入力部１６は、同様にテレビ電話２８に応答するため、シナリオ実行部１２のシナリオ２１に従ってリソース格納部２４から呼び出された音声が入力される。ＤＴＭＦ出力部１５は、テレビ電話端末２８からのＤＴＭＦ信号を、シナリオ実行部１２の制御部２２へ出力する。
【００３８】
また、シナリオ実行部１２は、映像生成部１９、音声生成部２０、シナリオ２１、制御部２２、外部インターフェイス部２３、リソース格納部２４とからなる。シナリオ２１は、テレビ電話２８から発せられるＤＴＭＦ信号によって制御する音声および／または映像の処理内容を記述したものである。
【００３９】
リソース格納部２４には、応答用の音声や映像がデータとして格納される。ここで、映像とは、静止画および動画をいい、応答する音声と連動した選択肢やメニュー、操作方法等のガイダンスを視覚的に表示する画像データである。
【００４０】
また、指定されたフォーマットに映像のデータを圧縮するエンコード機能は保持せず、加工が容易なエンコード済みのデータを用意しておくおことで多重化（同時アクセス）に対応する。
【００４１】
リソース格納部２４の映像のデータはシナリオ２１を作成する例えばＧＵＩツールにおいて、予め所定のフォーマットに圧縮されて格納される。外部インターフェイス部２３は、自動応答装置１０に接続する外部装置、外部システム、外部ソフトウェア等２７がある場合に、これらとデータ通信を行う。
【００４２】
映像生成部１９は、音声の応答ガイダンスに合わせてその内容を視覚的に表示するためにリソース格納部２４の映像データの合成・生成を即時に行う。例えば「リソース格納部２４に保持される複数の映像データを重ねて配置する」、とのシナリオを解釈して、複数の映像をリアルタイムで合成し、映像を仮想テレビ電話端末部１１の映像入力部１４へ送信する。また、長文の応答メッセージを表示するような場合に、「背景となる映像上にテキストデータをテロップ形式で表示する」、などのシナリオを解釈し、映像にテキストデータをリアルタイムで動的に表示するよう合成し、映像を映像入力部１４へ送信する。
【００４３】
音声生成部２０は、例えばユーザが選択した操作を復唱するような場合に、「予め格納されている定型の音声とユーザの選択肢を組み合わせて応答する」などのシナリオを解釈してリソース格納部２４の音声データの合成・生成をリアルタイムで行い、合成した音声を仮想テレビ電話端末部１１の音声入力部１６へ送信する。
【００４４】
本実施形態の自動応答装置では、音声入力部１６および／または映像入力部１４に入力された音声データおよび／または映像データは、通信部１３からテレビ電話端末２８に送信され、音声ガイダンスだけでなく、それに合わせた映像ガイダンスも表示できる。また、応答に合わせて、複数の映像を即時に重ね合わせて表示したり、テキストデータを映像の上に動的あるいは静的に即時に表示することもできる。これにより、現実の会話に近い応答が可能となり、誤動作の防止や、応答時間の短縮が実現できる。
【００４５】
ここで、図２の如く、本実施形態の自動応答装置に音声や映像の認識機能を付加しても良い。すなわち、仮想テレビ電話端末部１１に、音声出力部１８および映像出力部１７を設け、シナリオ実行部１２に音声認識部２６および映像認識部２５を設ける。なお、音声または映像のどちらか一方の認識機能でもよい。
【００４６】
音声出力部１８は、テレビ電話端末２８からの音声（指示）を音声認識部２６に出力し、音声認識部２６では音声を解読して、シナリオが実行できる形式に変換する。
【００４７】
映像出力部１７は、、テレビ電話端末２８からの映像（指示）を映像認識部２５に出力し、映像認識部２５では映像を解読して、シナリオが実行できる形式に変換する。
【００４８】
他の構成は図１に示す自動応答装置と同様であるので説明は省略するが、ＤＴＭＦ信号に加えて、音声および／または映像でガイダンスに対して応答することができ、それを認識してシナリオを実行させることができる。すなわち、予め用意された選択肢での応答だけでなく、汎用性の広い応答をすることが可能となる。
【００４９】
次に、図２および図３を用いて、本発明の自動応答システムについて説明する。なお、本実施形態のシステム構成図は図２の如く、テレビ電話端末２８と自動応答装置１０を回線により接続し、必要に応じて外部装置、または外部ソフトウェア、外部システム等２７に接続したものである。また、この自動応答システムにおいて認識機能を必要としなければ、自動応答装置１０は図１に示す構造であっても良い。図３は、本実施形態の自動応答システムのフロー図である。
【００５０】
まず、テレビ電話端末２８から指定された処理を行うための電話番号を発信する（ステップＳ１）。自動応答装置１０で電話の呼び出しを着信すると仮想テレビ電話端末部１１が応答し（ステップＳ２）、テレビ電話端末２８が発信するＤＴＭＦ信号を制御部２２に送信する（ステップＳ３）。これによりシナリオ２１が起動され（ステップＳ４）、シナリオ２１に記述された最初の応答ガイダンスとなる音声および／または映像をリソース格納部２４から読み出す（ステップＳ５）。読み出された音声および／または映像は、音声生成部１８および映像生成部１７で即時に合成され（ステップＳ６）、音声入力部１６、映像入力部１４に送信される（ステップＳ７）。通信部１３は最初の応答ガイダンスとなる音声、映像をテレビ電話端末２８に送信する（ステップＳ８）。
【００５１】
ユーザはテレビ電話端末２８に表示され、音声ガイダンスに合わせた映像を認識し、そのガイダンスに応じてプッシュボタンでＤＴＭＦ信号を送信して応答する。あるいは、音声、映像を送信して、ガイダンスに応答する。
【００５２】
テレビ電話端末２８から音声の応答があった場合（ステップＳ１０）には、音声出力部１８から音声認識部２６に音声が送られ、シナリオが解読できる形式に変換後、制御部２２へ送られ（ステップＳ１１）、それに応じたシナリオが実行される（ステップＳ４）。
【００５３】
テレビ電話端末２８から映像の応答があった場合（ステップＳ１２）には、映像出力部１７から映像認識部２５に映像が送られ、シナリオが解読できる形式に変換後、制御部２２へ送られ（ステップＳ１３）、それに応じたシナリオが実行される（ステップＳ４）。
【００５４】
尚、音声・映像のデータ生成（ステップＳ６）において、映像生成部２０では現在表示中のガイダンス上にユーザの応答をテキストデータで即時に重ねて表示するような合成を行うことができる。また、テレビ電話端末２８の表示部に表示できる文字数は制限があるので、長文のテキストの場合には、映像上にテロップ形式で表示するような合成も可能であり、ユーザが改ページ処理をする必要が無くなる。また、音声や映像でその応答を復唱してもよい。
【００５５】
更に、入力待ちモードになっている場合には、テレビ電話端末２８のプッシュボタンによりＤＴＭＦ信号を発生させると、シナリオに従って、処理を継続させることができる。
【００５６】
図４には、本実施形態の自動応答システムの接続例を示す。一例として、テレビ電話端末２８は、ＩＰネットワーク上の電話プロトコル（例えばＨ．３２３）を用いてインターネット３１を介して自動応答装置１０と接続したり（図４（Ａ））、更に外部システムのホストコンピュータ２７とＬＡＮにより接続してもよい（図４（Ｂ））。
【００５７】
またＩＳＤＮにおけるテレビ電話プロトコル（例えばＨ．３２０）等を用いてＩＳＤＮ網３２を介して自動応答装置１０と接続したり（図４（Ｃ））、モバイル環境におけるテレビ電話プロトコル（例えばＨ．３２４）や、３Ｇ携帯電話（ＷＣＤＭＡ）におけるテレビ電話の標準プロトコル（例えば３Ｇ−３２４Ｍ）を用いて３Ｇ携帯電話網３３とインターネット３１を介して接続しても良い（図４（Ｄ））。Ｈ．３２４や、３Ｇ−３２４Ｍ等のプロトコルを利用する場合には、モバイル環境や３Ｇ携帯電話網３３とインターネット３１上の電話プロトコルとを変換するゲートウェイ装置３４を更に設ける。
【００５８】
ここで、電話プロトコルは仮想テレビ電話端末部１１に実装されるので、接続する回線により、電話プロトコルの実装部は適宜選択する。
【００５９】
この自動応答システムは、電話で銀行の照会および取引業務を行うテレフォンバンキングシステム、チケット予約システム等の予約業務、あるいは、動画を利用して家電製品やパソコン等の操作説明を行うユーザサポート業務等、さまざまな業種に利用することができる。
【００６０】
また、初期画面でＷＥＢ上のコンテンツを選択できるような構成にしておくことも可能である。これにより、１つの電話番号に対して１つの業務だけでなく、様々な業務を選択して実行することができる。
【００６１】
図５は、上記の自動応答システムを、テレフォンバンキングシステムに適用した場合の、各処理における画面遷移の一例を示す。
【００６２】
上述の如く、本実施形態は、テレフォンバンキングの取引、照会業務等を行うシステムに用いると好適である。ここで、システム構成図は図２とほぼ同様であるが、自動応答装置は、外部インターフェイスにより銀行のホストコンピュータ２７とＬＡＮ接続しているとする。それ以外の構成要素は前述と同様であるので説明は省略する。また、図３の処理フロー図とあわせ、図５を説明する。
【００６３】
まず、テレビ電話端末２８からテレフォンバンキングシステムの電話番号を発信し、自動応答装置１０で電話の呼び出しを着信すると仮想テレビ電話端末部１１が応答し、テレビ電話端末２８が発信するＤＴＭＦ信号を制御部２２に送信する（図３：ステップＳ１〜Ｓ３）。これによりテレフォンバンキングシステムのシナリオ２１が起動され、シナリオ２１に記述された最初の応答ガイダンスとなる音声および／または映像をリソース格納部２４から読み出す（図３：ステップＳ４〜Ｓ５）。例えばこのとき、処理の開始と初期メニューを伝える映像と、それに合わせた音声のファイルを選択する。
【００６４】
読み出された音声および／または映像は、音声生成部１８および映像生成部１７で合成され、音声入力部１６、映像入力部１４に送信される。通信部１３は最初の応答ガイダンスとなる音声、映像をテレビ電話端末２８に送信する（図３：ステップＳ６〜Ｓ８）。
【００６５】
このとき、ユーザのテレビ電話端末に表示される映像と音声が、図５（Ａ）に示すものである。銀行業務の初期画面であるので、図の如く例えば「振込」、「振為」、「残高照会」等のメニューが表示される。
【００６６】
ユーザはテレビ電話端末２８に表示され、音声ガイダンスに合わせた映像を認識し、そのガイダンスに応じてプッシュボタンでＤＴＭＦ信号を送信して応答する（図３：ステップ２）。例えば振り込みであれば、「１」を選択し、ＤＴＭＦ信号信号が制御部に送信され、「振り込み」を選択した場合のシナリオが実行される（図３：ステップＳ４）。
【００６７】
また、音声認識機能付きの場合は「振り込み」と音声入力しても良いし、映像認識機能付きの場合は、「振り込み」と発声している映像を入力しても良い。音声であれば、音声出力部１８から音声認識部２６に音声が送られ、シナリオが解読できる形式に変換後、制御部２２へ送られ（図３：ステップＳ１０〜Ｓ１１）、「振り込み」を選択した場合のシナリオが実行される（図３：ステップＳ４）。映像の応答があった場合には、映像出力部１７から映像認識部２５に映像が送られ、シナリオが解読できる形式に変換後、制御部２２へ送られ（図３：ステップＳ１２〜Ｓ１３）、「振り込み」を選択した場合のシナリオが実行される（図３：ステップＳ４）。
【００６８】
メニューが選択された場合には、その選択を確認する応答をするとよい。例えば、図５（Ｂ）の如く、振り込みで良いかを視覚的に確認しまた復唱するような映像、音声のデータを即時に合成し（図３：ステップＳ５〜Ｓ６）、ユーザに応答する（図３：ステップＳ８）。
【００６９】
このように、ユーザからの指示と、自動応答装置の応答とを繰り返し、図５（Ｃ）の如く「振込先の金融機関の選択」や、図５（Ｄ）のごとく「振込先金融機関の頭文字の選択」等のガイダンスを、音声や映像を合成して表示する。例えば図５（Ｄ）のように、選択肢が多くなっても、音声と映像の両方でガイダンスすることにより、音声を最後まで聞かなくても操作ができる。また、聞き逃し、聞き違い等を防げるので、誤操作を低減することができる。更に、このとき、テレビ電話端末の表示部で表示できる文字数を超えるような場合には、テキストデータをテロップ形式で繰り返し表示させるようにデータを作成してもよい。
【００７０】
その後、「振り込み」であれば振り込み人の情報や、振込金額の入力を促す音声、映像をテレビ電話端末に応答する。ユーザから入力されるこれらの情報（ユーザ情報）は、プッシュボタンの１つを選択肢として押下する様な場合と異なり、誤動作防止のための入力確認の重要度は大きい。また、ユーザ情報は予測できないデータであり、リソース格納部に予め保持することは不可能である。本実施形態では、映像生成部や音声生成部において、入力されたユーザ情報とリソース格納部に保持される定型メッセージを、即時に重ねて配置するようなデータや、音声を即時に合成したデータを作成することができる。例えば、図５（Ｅ）の如く、定型メッセージとして「振込金額は」「円です。」を表示させ、ユーザ情報である金額「２，１００」をテキストとして即時に重ねて表示する。音声も「振込金額は・・・円ですね。正しい場合は１を間違っている場合は０を押してください。」というような定型メッセージに「２１００」という音声を合成したデータを作成し、応答する。
【００７１】
このように、映像や音声の合成が即時に行えるため、現実の会話に近い応答が可能となり、誤動作の防止や、応答時間の短縮が実現でき、操作性を大幅に向上したテレフォンバンキングシステムを提供できる。
【００７２】
【発明の効果】
本発明によれば、以下の様々な効果が得られる。
【００７３】
第１に、映像（動画）および／または音声によるガイダンスでエンドユーザの理解度が大幅に向上し、誤操作が減る。
【００７４】
第２に、画面上にガイダンスの内容を表示することによって、ガイダンスを最後まで聞かなくても一覧して次の操作を判断できる。
【００７５】
第３に、視覚的に確認できるため選択肢を多くすることができ、１回のジョブが完了する時間を短縮でき、通信コストを下げることができる。
【００７６】
第４に、リソース格納部に保持される定型のメッセージ以外の、ユーザから入力される予測しにくい情報を、定型メッセージと即時に重ねて表示するよう映像を合成したり、音声合成して応答できる。これにより、常に入力情報をユーザに確認させることができ、また現実の会話に近い応答が可能となるので誤操作を防止でき、業務の信頼度を向上させることができる。
【００７７】
第５に、テレビ電話端末としてテレビ電話機能付き携帯電話を用いることにより、時間的、場所的な拘束がなくなり、利便性が向上する。
【００７８】
第６に、音声のみ、映像のみでは不便であるような状況下でも音声と映像でガイダンスすることにより、誤操作を防止できる。
【図面の簡単な説明】
【図１】本発明の自動応答装置を説明する構成図である。
【図２】本発明の自動応答装置を説明する構成図である。
【図３】本発明の自動応答システムを説明するフロー図である。
【図４】本発明の自動応答システムを説明する概要図である。
【図５】本発明のテレフォンバンキングシステムを説明する画面遷移図である。
【図６】従来の自動応答システムを説明する概要図である。
【符号の説明】
３      電話回線
４      音声応答装置
７      音声認識部
１０    自動応答装置
１１    仮想テレビ電話端末部
１２    シナリオ実行部
１３    通信部
１４    映像入力部
１５    ＤＴＭＦ出力部
１６    音声入力部
１７    映像出力部
１８    音声出力部
１９    映像生成部
２０    音声生成部
２１    シナリオ
２２    制御部
２３    外部インターフェイス部
２４    リソース格納部
２５    映像認識部
２６    音声認識部
２８    テレビ電話
３１    インターネット
３２    ＩＳＤＮ網
３３    ３Ｇ携帯電話網
３４    ゲートウェイ装置
【図１】
2004356896.tif 000003
【図２】
2004356896.tif 000004
【図３】
2004356896.tif 000005
【図４】
2004356896.tif 000006
【図５】
2004356896.tif 000007
【図６】
2004356896.tif 000008