(57)【特許請求の範囲】
【請求項１】
一つ又は複数の端末と、該端末にネットワークを介して接続される一つ又は複数のセンタ装置とから構成され、前記端末を使用するユーザに対して仮想空間におけるエージェントを介して情報を提供する情報提供システムであって、
情報提供者を撮影する撮像手段と、
前記撮影された画像から特徴点を抽出する手段と、
少なくとも前記抽出された特徴点についての情報に基づいて、前記情報提供者の動作に対応して動作する前記エージェントの画像を生成する非定型画像生成手段と、
予め設定された動作を行うエージェントの画像を生成する定型画像生成手段と、
前記ユーザが質問情報を入力するための質問入力手段と、
前記入力手段によって入力された質問情報が予め想定された質問情報か否かを判定する質問判定手段と、
前記質問判定手段によって予め想定された質問情報であると判定された場合には、端末又はセンタ装置に設けられた定型情報記憶手段に記憶された情報を、前記定型画像生成手段によって生成されたエージェントの画像を介して出力する定型情報出力手段と、
前記質問判定手段によって予め想定された質問情報ではないと判定された場合には、前記質問情報に対する回答を、前記非定型画像生成手段によって生成されたエージェントの画像を介して出力する非定型情報出力手段と、
画像を表示する表示手段と、
を備え、
前記定型情報出力手段による出力、及び、前記非定型情報出力手段による出力を、同一のエージェントを介して行うことを特徴とする情報提供システム。
【請求項２】
音声情報を合成する音声情報合成手段をさらに備え、
前記定型情報出力手段による出力、及び、前記非定型情報出力手段による出力を、同一のエージェント及び同一の音声により行うことを特徴とする請求項１記載の情報提供システム。
【請求項３】
一つ又は複数の端末と、該端末にネットワークを介して接続される一つ又は複数のセンタ装置とから構成され、
情報提供者を撮影する撮像手段と、
前記撮影された画像から特徴点を抽出する手段と、
少なくとも前記抽出された特徴点についての情報に基づいて、前記情報提供者の動作に対応して動作する前記エージェントの画像を生成する非定型画像生成手段と、
予め設定された動作を行うエージェントの画像を生成する定型画像生成手段と、
を含む情報提供システムにおける、仮想空間におけるエージェントを介してユーザに情報を提供する方法であって、
前記ユーザに質問情報を入力させるステップと、
入力された質問情報が予め想定された質問情報か否かを判定するステップと、
入力された質問情報が予め想定された質問情報であると判定された場合には、定型情報記憶手段に記憶された情報を、前記定型画像生成手段によって生成されたエージェントの画像を介して出力する定型情報出力ステップと、
入力された質問情報が予め想定された質問情報ではないと判定された場合には、前記質問情報に対する回答を、前記非定型画像生成手段によって生成されたエージェントの画像を介して出力する非定型情報出力ステップと、
を有し、
前記定型情報出力ステップでの出力、及び、前記非定型情報出力ステップでの出力は、同一のエージェントを介して行われることを特徴とする、エージェントを介して情報を提供する方法。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、仮想空間におけるエージェントを介して情報を提供するシステム及び方法に関する。
【０００２】
【従来の技術】
従来、ユーザに定型の情報を提供するシステムとして、店頭や公共施設等に設置された端末又はパーソナルコンピュータのディスプレイに表示されたキャラクタ等のエージェントが情報を提供するシステムがあった（第１の従来技術）。このようなシステムにおいて、記憶装置に格納されたツリー状の階層構造をなす情報が、ユーザの操作に応じて順次読み出されてディスプレイ上に表示されるように構成されている。
【０００３】
一方、ユーザの細かい要求に応じて情報を提供するシステムとしては、コールセンタやヘルプデスクに接続し、音声やテレビ電話画像により担当者が個別的に詳細な説明を行うシステムがあった（第２の従来技術）。
【０００４】
【発明が解決しようとする課題】
しかしながら、上述した第１の従来技術においては、準備された情報が階層構造をなすので、ユーザが所望の情報に迅速にアクセスできない。また、詳細な情報まで提供しようとするとデータ量が増大するとともにシステムが複雑になり、コストが上昇する。
【０００５】
また、第２の従来技術においては、コールセンタ接続後は、実在の人間が音声又は実写画像で対応するため、エージェントとして用いたキャラクタ等との連続性が保てず、ユーザがとまどったり、構えたりする。また、テレビ会議方式のコールセンタシステムでは、コールセンタ側において、別途撮影室を準備する必要があるとともに応対をする者も身なりを正す必要があり、コストがかかる。
【０００６】
本発明はかかる従来技術の課題を解決するためになされたものであって、その目的とするところは、ユーザの働き掛けに対して、予めプログラムされた定型の対応を行うエージェントと設定されていない非定型の対応を行うエージェントとの連続性を確保し、また、種々の知識や能力を有する情報提供者が同一のエージェントを介して対応することによりエージェントの多能力化を図ることにある。
【０００７】
【課題を解決するための手段】
上記目的を達成するために、本発明は、一つ又は複数の端末と、該端末にネットワークを介して接続される一つ又は複数のセンタ装置とから構成され、前記端末を使用するユーザに対して仮想空間におけるエージェントを介して情報を提供する情報提供システムであって、情報提供者を撮影する撮像手段と、前記撮影された画像から特徴点を抽出する手段と、少なくとも前記抽出された特徴点についての情報に基づいて、前記情報提供者の動作に対応して動作する前記エージェントの画像を生成する非定型画像生成手段と、予め設定された動作を行うエージェントの画像を生成する定型画像生成手段と、前記ユーザが質問情報を入力するための質問入力手段と、前記入力手段によって入力された質問情報が予め想定された質問情報か否かを判定する質問判定手段と、前記質問判定手段によって予め想定された質問情報であると判定された場合には、端末又はセンタ装置に設けられた定型情報記憶手段に記憶された情報を、前記定型画像生成手段によって生成されたエージェントの画像を介して出力する定型情報出力手段と、前記質問判定手段によって予め想定された質問情報ではないと判定された場合には、前記質問情報に対する回答を、前記非定型画像生成手段によって生成されたエージェントの画像を介して出力する非定型情報出力手段と、画像を表示する表示手段と、を備え、前記定型情報出力手段による出力、及び、前記非定型情報出力手段による出力を、同一のエージェントを介して行う。
【０００８】
このようにすれば、システムにおいて想定されている定型の対応を行う場合のほかに、情報提供者が非定型の対応を行う場合にも、情報提供者の動作に対応して動作するエージェントの画像を介して対応すればエージェントの連続性が確保できるとともに、種々の知識や能力を有する情報提供者が同一のエージェントを介して対応することによりエージェントの多能力化を図ることができる。
【０００９】
また、音声情報を合成する音声情報合成手段をさらに備え、前記定型情報出力手段による出力、及び、前記非定型情報出力手段による出力を、同一のエージェント及び同一の音声により行うことを特徴とする。
【００１２】
また、本発明は、一つ又は複数の端末と、該端末にネットワークを介して接続される一つ又は複数のセンタ装置とから構成され、情報提供者を撮影する撮像手段と、前記撮影された画像から特徴点を抽出する手段と、少なくとも前記抽出された特徴点についての情報に基づいて、前記情報提供者の動作に対応して動作する前記エージェントの画像を生成する非定型画像生成手段と、予め設定された動作を行うエージェントの画像を生成する定型画像生成手段と、を含む情報提供システムにおける、仮想空間におけるエージェントを介してユーザに情報を提供する方法であって、前記ユーザに質問情報を入力させるステップと、入力された質問情報が予め想定された質問情報か否かを判定するステップと、入力された質問情報が予め想定された質問情報であると判定された場合には、定型情報記憶手段に記憶された情報を、前記定型画像生成手段によって生成されたエージェントの画像を介して出力する定型情報出力ステップと、入力された質問情報が予め想定された質問情報ではないと判定された場合には、前記質問情報に対する回答を、前記非定型画像生成手段によって生成されたエージェントの画像を介して出力する非定型情報出力ステップと、を有し、前記定型情報出力ステップでの出力、及び、前記非定型情報出力ステップでの出力は、同一のエージェントを介して行われることを特徴とする、エージェントを介して情報を提供する方法である。
【００１３】
【発明の実施の形態】
以下、図示の実施の形態に基づいて本発明を説明する。
【００１４】
図１は本発明の実施形態に係る情報提供システムであるコールセンタの構成を示すブロック図である。コールセンタシステムは、店舗や公共施設に設置された端末あるいは自己のパーソナルコンピュータ等を通じてユーザが種々の情報の提供等のサービスを受けることができ、ユーザが端末等の使用中に疑問や不明点等が生じたときはコールセンタに接続することにより担当者が個別に質問等ができるシステムである。
【００１５】
コールセンタのセンタ装置１は、主として、ＣＰＵ３，プログラム及びデータを記憶するメモリ４，操作者が入力を行う入力部５，カメラ６によって撮影された画像情報を記憶するＶＲＡＭ７，ＣＰＵ３の指令に基づいてディスプレイ８を制御する画像制御回路９，ＣＰＵ３の指令に基づいてマイク１０及びスピーカ１１を制御する音声制御回路１２，ネットワークに接続されＣＰＵ３の指令に基づいて外部装置との通信を行う通信インターフェース部１３，音声情報を合成する音声情報合成回路１４を備える。これらは互いにバスによって接続される。ここで、メモリは、プログラムやデータを格納したＲＯＭ（Read Only Memory），ＲＯＭから読み出されたプログラムが展開され、あるいはデータが一時的に格納し作業領域として機能するＲＡＭ（Randum Access Memory），その他ＨＤＤ（Hard Disc Drive）やＣＤ−ＲＯＭ等の大容量記憶装置等から構成される。
【００１６】
端末２は、主として、同様にＣＰＵ１５，メモリ１６，入力部１７，ディスプレイ１８及び画像制御回路１９，マイク２０及びスピーカ２１並びに音声制御回路２２，通信インターフェース部２３を備える。端末としては、店舗，公共施設あるいは街頭等に設置されたいわゆるキオスク端末でもよいし、パーソナルコンピュータ等でもよい。これらの端末は、インターネットやＬＡＮ（Local Area Network）等のネットワークによって前記センタ装置に接続される。
【００１７】
図１には、一つのセンタ装置と一つの端末のみ記載されているが、センタ装置及び端末のいずれも複数設けられていてもよいのは当然である。図１では省略しているが、複数のセンタ装置からシステムを構成する場合には、端末からの接続を管理するサーバを別途設ける。
【００１８】
本システムでは、センタ装置１側の情報提供者が応答する場合には、端末２のディスプレイ１８に表示され情報提供を行うエージェントであるアバタ−が、カメラによって撮影された情報提供者の表情や口の動きあるいは頭の動きと同様の動きをリアルタイムで行う。このような技術はＷＯ９９／５３４４３に開示されている。本システムは、この技術を具体的に適用したものである。カメラで撮影された情報提供者の生の画像の情報からは特徴点が抽出され、情報提供者の動きに伴う特徴点の動きが追跡され解析される。このような画像情報に対する処理結果を端末に送信し、３次元のコンピュータモデル（バーチャルヘッド）であるアバタ−の画像情報と合成することにより、アバタ−を情報提供者の動きに対応させてリアルタイムで動かすことが可能となった。図２が、カメラで撮影される人の顔の実画像３０から抽出された特徴点Ａとアバタ−４０上の対応する点Ａ´とを関連させて示したものであり、実画像３０の特徴点Ａの変化量をアバタ−４０上の点Ａ´の変化として作用させる。このように実画像３０上の複数の特徴点とアバタ−４０上の複数の点とを関連付けることにより、実写の顔の変化をアニメーションの変化に置換することができる。このように撮影された実画像に対応させて端末のディスプレイ上でアバタ−を動作させることにより、センタ装置と端末との間での画像の伝送情報量が少なくて済み、通信コストを下げることができる。また、動画像の応答性を良くすることもできる。画像データに対する演算等の詳細な処理についての説明は上述の公報に委ねる。
【００１９】
図３は、本システムにおける情報提供処理手順を示すフローチャートである。
【００２０】
まず、端末２にユーザがログインする（ステップ１）。
【００２１】
次に、ユーザが端末２から質問情報を入力する（ステップ２）。このとき、端末２では、入力された質問情報が定型か否か、すなわち、想定されていたものか否かを判定する（ステップ３）。ここで、質問が定型のものであれば、定型の回答が準備されているので、これを取得する（ステップ４）。この場合、定型の回答情報がセンタ１側にある場合にはセンタ１側にアクセスして、これを取得する。このようにして取得した情報をディスプレイ及びスピーカを通じてユーザに提供する。このときディスプレイ１８上に表示されたエージェントは所定の動作を行う。定型の情報の提供の後に、終了か否かを判定し（ステップ６）、終了であれば、処理を終了し、終了でなければステップ３に戻る。
【００２２】
一方、質問情報が定型でなければ、端末２はセンタ装置１側に接続要求を送信する（ステップ７）。接続要求を受信したセンタ装置１は接続処理を行い（ステップ９）、端末２に対してエージェントの切替要求を送信する（ステップ１０）。端末２では、エージェントの切替指示を受信すると（ステップ１１）、これに従って、エージェントを切り替える（ステップ１２）とともに質問情報をセンタ装置に送信する（ステップ１３）。センタ装置１は質問情報を受信し（ステップ１４）、情報提供者が質問に対応した回答を音声等により入力する（ステップ１５）。このとき、情報提供者の動作はカメラによって撮影され、処理された画像情報が回答情報とともに端末２に送信される（ステップ１６）。端末２では、回答情報と処理された画像情報を受信し（ステップ１７）、ディスプレイ１８上のエージェントが情報提供者の動作と同様の動作を行うとともに回答情報を音声によってスピーカ２１から出力することによりユーザに提供し（ステップ１８）、ステップ６に進む。このとき音声情報合成回路１４により情報提供者がマイクを通じて入力した音声を定型情報の提供時に出力されている合成音声となるように変換し、端末２に送信してもよい。
【００２３】
図４は他の情報提供処理を示すフローチャートである。
【００２４】
ここでは、ユーザがログインした状態では（ステップ２１）、ディスプレイ１８上のエージェントが所定の動作で情報を提供する。ここで、ユーザがディスプレイ１８上に表示された選択肢を選択する等により定型情報の提供を要求する場合には（ステップ２２）、定型の情報を取得し、これを所定の動作を行うエージェントを介して音声，画像等により提供する（ステップ２３）。定型情報の要求がない場合には、センタ接続要求があるか否かを判定する（ステップ２４）。すなわち、端末に設けられたヘルプボタン等を押すことによりセンタ１側との接続が要求されたか否かを判定する。このとき、センタ１側との接続要求があれば、これをセンタ側に送信する（ステップ２５）。センタ装置１がこの接続要求を受信すると（ステップ２６）、接続処理を行い（ステップ２７）、端末２側にエージェントの切替要求を送信する（ステップ２８）。端末２側がエージェントの切替指示を受信すると（ステップ２９）、これに従ってディスプレイ１８上に表示すべきエージェントを切り替える（ステップ３０）。
【００２５】
次に、端末２でユーザの質問の入力を受け付け（ステップ３１）、受け付けた質問をセンタ装置１に送信する（ステップ３２）。質問を受信したセンタ装置１では（ステップ３３）、情報提供者が質問に対応した回答を音声等により入力する（ステップ３４）。このとき、情報提供者の動作はカメラ６によって撮影され、処理された画像情報が回答情報とともに端末に送信される（ステップ３５）。端末では、回答情報と処理された画像情報を受信し（ステップ３６）、ディスプレイ１８上のエージェントが情報提供者の動作と同様の動作を行うとともに回答情報を音声によってスピーカ２１から出力することによりユーザに提供し（ステップ３７）、終了か否かを判定する（ステップ３８）。
【００２６】
このようにすれば、ユーザが想定されていない質問を行ったり、端末の操作中に疑問や不明な事項が生じてセンタ側に接続しようとすると、センタ装置側の情報提供者がこれに回答してくれる。センタ装置に接続されて情報提供者が回答する場合でも、端末のディスプレイに表示されているエージェントは、定型の質問に想定された回答を返す場合と同じエージェントであるので、連続性が確保しながら詳細なサービスを提供することができる。また、センタ装置から情報を提供する者は顔の特徴を提供するだけでよいので、同一人が対応する必要がなく、他の人がサービスを引き継いでも良い。また、種々の異なる専門分野の知識を有する複数の人が情報提供を行うことにより、同一のエージェントを介して幅広いサービスを提供できる。また、センタ装置側の情報提供者は、顔の特徴をトラッキングされるのみなので、整理整頓された撮影室や制服等を用意する必要もなく、コストの増大を抑制することもできる。
【００２７】
上述の実施形態は、コールセンタであるが、ユーザに対してディスプレイ上のエージェントを介して情報を提供するようなシステムであればこれに限られない。例えば、ディスプレイ上のエージェントが教師となってユーザに対して教育サービスを提供する教育システムにも応用することができる。同一のキャラクタの仮想的な教師が継続的にさまざまな科目を教えることができるので、学習者の信頼感や興味も向上し、教育効率の向上を図ることができる。
【００２８】
【発明の効果】
以上、説明したように、本発明によれば、ユーザの働き掛けに対して、予めプログラムされた定型の対応を行うエージェントと設定されていない定型外の対応を行うエージェントとの連続性を確保し、また、種々の知識や能力を有する情報提供者が同一のエージェントを介して対応することによりエージェントの多能力化を図ることができる。
【図面の簡単な説明】
【図１】図１は本発明の実施形態に係るコールセンタシステムの構成を示すブロック図である。
【図２】図２は実画像の特徴点とアバタ−の点との対応関係を示す図である。
【図３】図３は本発明の実施形態に係るコールセンタシステムにおける情報提供手順を示すフローチャートである。
【図４】図４は本発明の実施形態に係るコールセンタシステムにおける他の情報提供手順を示すフローチャートである。
【符号の説明】
１    センタ装置
２    端末
３，１５  ＣＰＵ
４，１６  メモリ
５，１７  入力部
７    ＶＲＡＭ
８，１８  ディスプレイ
９，１９  画像制御回路
１０，２０  マイク
１１，２１  スピーカ
１２，２２  音声制御回路
１３，２３  通信制御回路
１４    音声情報合成回路
【図１】
0003760761.tif 000002
【図２】
0003760761.tif 000003
【図３】
0003760761.tif 000004
【図４】
0003760761.tif 000005