(57)【要約】【課題】多数の機能を持った家電機器や情報機器に対しても、ユーザの発声する命令を複雑なものにすることなく、直感的な命令により機器の操作を行うことができる対話型操作支援システムを提供する。【解決手段】画面上に複数のキャラクタを配置し、家電機器や情報機器がもつある１機能と、個々のキャラクタとを対応付けてユーザに提示する。ユーザは表示されているキャラクタを見て、機器の中に存在する仮想的なエージェントの名前をよびかけることによって家電機器や情報機器の操作を始める事が出来る。また、キャラクタの名称という直感的な命令により、機器が有する多数の機能の中からユーザが所望する機能を選択することができ、ユーザが発声する命令が複雑化するのを抑えることが可能となる。【選択図】図７
2005056170.tif 000002
【特許請求の範囲】
【請求項１】
複数の機能を有する複合機器に対するユーザ操作を支援する対話型操作支援システムであって、
表示手段と、
キャラクタ画像を生成して、前記表示手段を介してユーザにキャラクタを提示するキャラクタ制御手段と
音声出力手段と、
前記キャラクタが話す言葉を音声合成して、前記音声出力手段を介して外部出力する出力音声制御手段と、
音声入力手段と、
前記音声入力手段を介して入力されたユーザの声を音声認識する入力音声認識手段と、
前記複合機器が有する複数の機能毎に個々に対応付けされたキャラクタの名称を記憶する名称記憶手段と、
前記入力音声認識手段により取得したユーザの言葉に、前記名称記憶手段で保持しているキャラクタの名称が含まれるかどうかを判定し、含まれる場合は機器の有する複数の機能の中からキャラクタの名称に対応する機能を選択する機能選択手段と、
前記入力音声認識手段により取得したユーザの言葉により、前記機能選択手段を介して機器の機能を選択させ、選択された機能に基づいてキャラクタの言葉と動作を決定する中央制御手段と
を具備することを特徴とする対話型操作支援システム。
【請求項２】
前記キャラクタ制御手段は、複数体のキャラクタ画像を生成し、前記表示手段に複数体のキャラクタ画像が同時に出現することを特徴とする、請求項１に記載の対話型操作支援システム。
【請求項３】
前記入力音声認識手段により取得したユーザの言葉に、前記名称記憶手段が保持しているキャラクタの名称が含まれる場合、前記中央制御手段が、前記キャラクタの名称に対応するキャラクタの動作を変更するように前記キャラクタ制御手段に指令を出すことを特徴とする、請求項１または請求項２に記載の対話型操作支援システム。
【請求項４】
前記中央制御手段が、キャラクタの話す言葉として、キャラクタの名称に対応する機能に関する説明を設定することで、キャラクタによるヘルプ機能を実現することを特徴とする、請求項１から３の何れかに記載の対話型操作支援システム。
【請求項５】
さらに前記名称記憶手段が保持しているキャラクタの名称と機能グループとの対応を変更するための名称変更手段を備え、ユーザの好みに合わせてキャラクタの名称を変更できるようにしたことを特徴とする、請求項１から４の何れかに記載の対話型操作支援システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、複数の機能を有する各種家電機器や情報機器に対するユーザの操作を支援する、キャラクタエージェントを用いた対話型操作支援システムに関するものである。
【背景技術】
【０００２】
従来、テレビ受像機などの各種家電機器や携帯電話などの各種情報機器に用いられるインタフェースとしては、リモコンやタッチパネルなどを介して画面に表示された操作メニューを選択する方法や、アイコンと呼ばれる絵文字を指定する方法が主流である。
【０００３】
一方、近年の情報処理技術の向上に伴い、各種家電機器の機能は高機能化の一途をたどっている。たとえばテレビの例では、それまでのアナログ放送からデジタル放送に変化することによって、多チャンネル放送の受信が可能となったり、データ放送の受信や、双方向通信によるユーザ参加型放送の受信が可能となったりといったような例がある。
【０００４】
このような高機能を有する機器を操作するとき、前述のリモコンやタッチパネルなどのいわゆる手先操作によるインタフェースでは、画面に表示する操作メニューの数を増加させるか、あるいは一度に表示する操作メニューの数を少なく限定するかわりに機能階層を深くするなどの対応がとられてきた。しかしながら、操作メニューの数が増加した場合、ユーザは提示された数多くのメニュー項目の中から希望する機能を探し出す必要があり、操作が煩雑になるという問題が生じる。また、機能階層を深くすれば同時に提示される選択肢の数は減るものの、目的の機能に到達するまでに深い機能階層をたどらなければならず、やはり操作が煩雑になるという問題が生じる。
【０００５】
そこで、最近ではキャラクタをディスプレイに表示させ、ユーザがディスプレイ上のキャラクタと会話を行う形式で機器の操作を行う対話型操作支援システムが提案されている。このシステムによれば、ユーザの発した音声を機器側が認識し、その認識結果に基づいてユーザの要求を解析することで機器の操作が可能となることから、ユーザは多数の操作メニューの中から所望する選択肢を探す手間や深い機能階層をたどる手間が不要となり、機器操作時の負荷を軽減することが出来る。
【０００６】
たとえば、特許文献１によれば、自然言語に近い命令体系を備え、また、応答時間を要する処理をユーザが命令した場合に、機器の進行状況をユーザにフィードバックすることでユーザの不安を生じさせないようにした対話型操作支援システムである。これによれば、ディスプレイ上に出現したアシスタントとの対話に基づいて、ユーザが不安を感じることなく機器を容易に操作することが可能となる。
【特許文献１】特開２００２−４１２７６号公報
【発明の開示】
【発明が解決しようとする課題】
【０００７】
一方で、機器のネットワーク化が進み、各種機器はそれまでの単独の機能を有する専用機としてだけでなく、多様な機能を持った複合機としての側面をもち始めている。たとえば携帯電話は、常に携行しておりいつでも使えるという便利さから、単なる電話としての機能以外にも、メール送受信機能や写真撮影機能、さらには外出先から自宅にあるビデオ録画装置に録画予約の指示を出す機能など、多種多様な機能を有するにいたっている。また家庭内においては、家庭内の情報を集約するホームサーバの研究がなされており、これによれば、空調装置の操作から施錠状態の確認、冷蔵庫に保存されている食品の確認など家庭内のあらゆる機器の操作を、１台の端末から操作できるようになることが想定されている。
【０００８】
このように多数の機能を持った機器を操作するためには、音声コマンドであってもまず機能を特定するための命令を発声する必要がある。たとえば、スケジュール管理機能とテレビ番組案内機能といった機能を持った情報端末を操作する際、「明日の８時は？」といった命令だけではそれがスケジュール管理機能に対する命令なのかテレビ番組案内機能に対する命令なのかを識別することができず、機能名称を付加した命令（「明日の８時のスケジュールは？」や「明日の８時のテレビ番組は？」など）をユーザに発声させる必要がある。
【０００９】
しかしながら、ユーザに発声させる命令長を長くすると、ユーザが発声すべき内容が煩雑となり、さらにはユーザが命令を忘れてしまう可能性が高く「まず何を話し始めたらよいか分からない」といった状況が発生することが予想される。
【００１０】
本発明の目的は、多数の機能を持った情報機器に対するユーザ操作を対話的に操作することができ、複雑な操作の機器に対してもユーザの発声する命令を複雑なものにすることなく、直感的な命令により機器の操作を行うことができる対話型操作支援システムを提供することにある。
【課題を解決するための手段】
【００１１】
かかる目的を達成するために、本発明の請求項１にかかる対話型操作支援システムは、表示手段と、キャラクタ画像を生成して、表示手段を介してユーザにキャラクタを提示するキャラクタ制御手段と、音声出力手段と、キャラクタが話す言葉を音声合成して、音声出力手段を介して外部出力する出力音声制御手段と、音声入力手段と、音声入力手段を介して入力されたユーザの声を音声認識する入力音声認識手段と、複合機器が有する機能グループ別に個々に対応付けされたキャラクタの名称を記憶する名称記憶手段と、入力音声認識手段により取得したユーザの言葉に、名称記憶手段で保持しているキャラクタの名称を含むかどうかを判定し、含む場合は機器の有する複数の機能の中からキャラクタの名称に対応する機能を選択する機能選択手段と、入力音声認識手段により取得したユーザの言葉により、機能選択手段を介して機器の機能を選択させ、選択された機能に基づいてキャラクタの言葉と動作を決定する中央制御手段とを具備することを特徴とする対話型操作支援システムである。
【００１２】
また、請求項２にかかる対話型操作支援システムは、キャラクタ制御手段が、複数体のキャラクタ画像を生成し、表示手段に複数体のキャラクタ画像が同時に出現することを特徴とする対話型操作支援システムである。
【００１３】
また、請求項３にかかる対話型操作支援システムは、入力音声認識手段により取得したユーザの言葉に、名称記憶手段が保持しているキャラクタの名称が含まれる場合、中央制御手段が、キャラクタの名称に対応するキャラクタの動作を変更するようにキャラクタ制御手段に指令を出すことを特徴とする対話型操作支援システムである。
【００１４】
また、請求項４にかかる対話型操作支援システムは、中央制御手段が、キャラクタの話す言葉として、キャラクタの名称に対応する機能に関する説明を設定することで、キャラクタによるヘルプ機能を実現することを特徴とする対話型操作支援システムである。
【００１５】
また、請求項５にかかる対話型操作支援システムは、さらに名称記憶手段が保持しているキャラクタの名称と機能グループとの対応を変更するための名称変更手段を備え、ユーザの好みに合わせてキャラクタの名称を変更できるようにしたことを特徴とする対話型操作支援システムである。
【発明の効果】
【００１６】
本発明の対話型操作支援システムは、以上の説明の構成により、多数の機能を持った情報機器に対するユーザ操作を対話的に操作することができ、複雑な操作の機器に対してもユーザの発声する命令を複雑なものにすることなく、直感的な命令により機器の操作を行うことが可能となる。
【発明を実施するための最良の形態】
【００１７】
以下、本発明の実施例を図面に基づいて説明する。
【００１８】
（実施の形態１）
図１は本発明の実施例にかかる対話型操作支援システムのハードウェア全体構成を示す図である。該システムは、たとえばスケジュール管理機能とテレビ番組案内機能、メール送受信機能を搭載した情報機器として構成され、対話型操作支援システムは、ディスプレイに表示されたキャラクタと対話を行うことにより、スケジュール管理機能・テレビ番組案内機能・メール送受信機能の各機能を提供することが出来るようにしたものである。以下、図１を参照しながら各部について説明する。
【００１９】
中央制御部１０は、各種制御プログラムや制御データに従って対話型操作支援システム１の各部を制御する中央演算装置である。
【００２０】
記憶装置５０は、磁気ディスクや光ディスクなど大量のデータが記憶可能なもので、この記憶装置５０の中には、本発明にかかる対話型操作支援システムを実行するための制御プログラムや制御データが格納されている。制御プログラムの具体例としては、対話型操作支援システム１全体を包括的に制御するオペレーティングシステムＯＳのプログラムや、音声データを文字データに変換する音声認識プログラム、文字データを音声データに変換する音声合成プログラム、キャラクタの表情表現や動作を制御するキャラクタアニメーション制御プログラム、キャラクタの発声する内容や発声の抑揚を制御するキャラクタ音声制御プログラム、ディスプレイを介してキャラクタを画面出力する画面出力制御プログラム、スピーカを介してキャラクタ音声を出力する音声出力制御プログラム、対話型操作支援システムが提供する複数の機能の中からユーザが所望する機能に切り替える機能選択プログラム、などがある。また、制御データの具体例としては、キャラクタ画像を生成するためのキャラクタ画像データ、キャラクタの表情および動作のアニメーションを生成するためのキャラクタアニメーションデータ、キャラクタの話す内容を定義した発話内容データ、ユーザが音声により入力すべき操作コマンドを定義した操作コマンドデータ、などがある。
【００２１】
さらに、図１に示すような対話型操作支援システム１のように、スケジュール管理機能とテレビ番組案内機能とメール送受信機能を搭載した情報機器として構成される場合は、記憶装置５０に格納される制御プログラムの例として、ユーザのスケジュールデータを保持してディスプレイを介してユーザにスケジュールデータを提示するためのスケジュール管理制御プログラム、インターネットなどの広域ネットワーク６０を介して番組表配信サーバ７０からテレビ番組表データを取得するための番組表データ取得プログラム、広域ネットワーク６０により接続されたメールサーバ８０を介してメールの送受信を行うメール送受信プログラムなどが含まれる。また、制御データの例として、カレンダーの日付データやユーザのスケジュールデータ、番組表配信サーバ７０から取得した番組表データ、ユーザが過去に送受信したメール文章やメールのあて先を記録したアドレス帳などからなるメールデータ、などが含まれる。
【００２２】
ディスプレイ４０はプラズマディスプレイや液晶ディスプレイなど、キャラクタ画像をユーザに提示することのできるものである。図１に示す対話型操作支援システム１の例では、ディスプレイ４０が表示する内容の例として、キャラクタ画像のほかに、テレビ番組表やユーザのスケジュール一覧、メールの文章などが表示される。
【００２３】
さらに、本発明にかかる対話型操作支援システム１の記憶装置５０には、図２に示すように、キャラクタの名称と操作支援システムが提供する機能とを１対１に対応付けたキャラクタ名称データを保持している。キャラクタ名称データの例としては図２に示すように、ＩＤ番号０番のテレビ番組案内機能に対応するキャラクタ名称として名称ＩＤ番号０番の「奈々子」がわりあてられており、ＩＤ番号１番のスケジュール管理機能に対応するキャラクタ名称として名称ＩＤ番号１番の「隆史」がわりあてられており、ＩＤ番号２番のメール送受信機能に対応するキャラクタ名称として名称ＩＤ番号２番の「拓也」がわりあてられている、といった具合である。
【００２４】
図３は、本発明の実施例の対話型操作支援システム１のシステム構成を示す機能ブロック図である。
【００２５】
図３に示されるように対話型操作支援システム１は、表示手段１０１と、キャラクタ制御手段１０２と、音声出力手段１０３と、出力音声制御手段１０４と、音声入力手段１０５と、入力音声認識手段１０６と、名称記憶手段１０７と、機能選択手段１０８と、中央制御手段１０９と、名称変更手段１１０と、からなる。図３の例では、さらに、テレビ番組案内手段２０１と、スケジュール管理手段２０２と、メール送受信手段２０３とを具備することによって、スケジュール管理機能、テレビ番組案内機能、メール送受信機能の各機能を対話型操作支援システムが提供できるようにしたものであり、これら各機能は他の機能（例えばビデオ録画機能など）を実現するための手段であってもかまわない。
【００２６】
表示手段１０１は、ユーザが対話的な操作を行う際にユーザとの対話の相手になるキャラクタを表示する。また、テレビ番組案内手段２０１がテレビ番組表一覧を表示する場合や、スケジュール管理手段２０２がスケジュール一覧を表示する場合など、対話型操作支援システム１が提供する各機能がユーザに情報を提示する場合も表示手段１０１により表示する。具体的には、ディスプレイ装置４０がこの表示手段１０１に該当する。
【００２７】
キャラクタ制御手段１０２は、あらかじめ保持しているキャラクタ画像データとキャラクタアニメーションデータとからキャラクタ画像を生成して、表示手段１０１を介してユーザにキャラクタを提示する。キャラクタ制御手段１０２は、中央制御手段１０９の指示により、単体のキャラクタ画像制御だけでなく、複数のキャラクタ画像を同時に生成したり、複数のキャラクタ画像を同時に表示しているときに特定のキャラクタだけの動作を変更したりといった複数キャラクタ画像制御も行う。具体的には、記憶装置５０が記憶しているキャラクタ画像データ、キャラクタアニメーションデータと中央制御部１０による演算処理により、キャラクタ制御手段１０２が構成される。さらに具体的には、キャラクタ画像データとはキャラクタの３次元形状を記述したものであり、キャラクタを構成する頂点座標や色などのデータなどが保持されている。
【００２８】
またキャラクタアニメーションデータは、時間軸に対してキャラクタを構成する頂点座標がどのように変化するかを記述したものであり、キャラクタの顔表情変化（喜んでいる顔、悲しんでいる顔など）や口形状の変化（「あ」を発声しているときの口形状、「い」を発声しているときの口形状など）、さらにキャラクタの動作（手を上げる、歩くなど）を頂点座標の変化として保持している。これらキャラクタ画像データ、キャラクタアニメーションデータは、複数キャラクタ分だけ記憶されており、中央制御手段１０９が、描画したいキャラクタと、そのキャラクタに適用したいアニメーションを指定することで、キャラクタ制御手段１０２がアニメーション付のキャラクタ画像を生成する。
【００２９】
音声出力手段１０３は、キャラクタが発声する言葉を音声としてユーザに提示する。具体的には、スピーカ２０が相当する。
【００３０】
出力音声制御手段１０４は、キャラクタの話す内容を定義した発話内容データを、音声出力手段１０３を介して音声としてユーザに提示するための音声データを生成する。出力音声制御手段１０４は、中央制御手段１０９の指示により、話す速度を変更したり、話の抑揚を変更したりといったように、単調な音声データの生成だけでなく変化を付けた音声データを生成も行う。具体的には、記憶装置５０が記憶しているキャラクタ発話内容データと中央制御部１０による演算処理により出力音声制御手段１０４が構成される。さらに具体的には、キャラクタの話す内容はテキスト形式で複数記憶されており、中央制御手段１０９によって選択されたキャラクタの発話内容を、既存の音声合成手法を用いて音声データを生成する。
【００３１】
音声入力手段１０５は、ユーザの話す声を音声入力信号として対話型操作支援システムに取得するものである。具体的には、マイク３０が相当する。
【００３２】
入力音声認識手段１０６は、音声入力手段１０５を介して取得した音声入力信号をテキスト形式に変換して、ユーザが発話した内容の解析処理をおこなう。具体的には、記憶装置５０が記憶している音声認識プログラムと中央制御部１０による演算処理により、入力音声認識手段１０が構成される。より具体的には、音声認識プログラムは、いわゆる音素解析（音と文字との関係を明らかにする）だけでなく、既存の自然言語解析手法としてよく知られるような、形態素解析（単語や品詞の語形変化や並び方を明らかにする）や構文解析（語や文節からなるまとまり同士の関係を明らかにする）を行う手法を用いてもよい。
【００３３】
名称記憶手段１０７は、対話型操作支援システム１によって提供される複数の機能に対し各々対応付けされたキャラクタの名称を記憶する。具体的には、記憶装置５０が記憶するキャラクタ名称が相当し、その内容は図２に示すように、ＩＤ番号０番のテレビ番組案内機能に対応するキャラクタ名称として名称ＩＤ番号０番の「奈々子」がわりあてられており、ＩＤ番号１番のスケジュール管理機能に対応するキャラクタ名称として名称ＩＤ番号１番の「隆史」がわりあてられており、ＩＤ番号２番のメール送受信機能に対応するキャラクタ名称として名称ＩＤ番号２番の「拓也」がわりあてられている、といった具合である。
【００３４】
機能選択手段１０８は、ユーザが発話した内容の中に名称記憶手段１０７が記憶しているキャラクタの名称が含まれるかどうかを判定し、もし含まれている場合は、対話型操作支援システム１によって提供される複数の機能の中から、キャラクタ名称に対応する機能を選択する。具体的には、記憶装置５０が記憶している機能選択プログラムと中央制御部１０による演算処理により、機能選択手段１０８が構成される。
【００３５】
中央制御手段１０９は、入力音声認識手段１０６により取得したユーザの発話内容から機能選択手段１０８に対し機能選択を指示し、対話型操作支援システム１が提供する機能のうち選択された機能を起動する。また、あらかじめ保持している機器の操作コマンドをもとに、ユーザの発話内容に対応する機器の操作コマンドを抽出する。また、操作コマンドの内容に従ってキャラクタの動作を決定し、キャラクタ制御手段１０２に対しキャラクタ動作を変更させるような指示を出す。また、操作コマンドの内容に従ってキャラクタの発話内容を決定し、出力音声制御手段１０４に対し、出力する音声データを作成するような指示を出す。
【００３６】
図１２は、この実施例の動作の全体の流れを示したフローチャートである。
【００３７】
まず、ユーザが発話した内容は、音声入力手段１０５を介して音声入力信号としてシステムに入力された後、入力音声認識手段１０６がテキスト形式の発話内容に変換する（Ｓ１０）。次に、中央制御手段１０９は機能選択手段１０８に対し、対話型操作支援システム１が提供する複数の機能の中からユーザの発話内容に相当する機能を選択するよう指示を出すが、このとき機能選択手段１０８はまず、ユーザの発話内容の中に名称記憶手段１０７が記憶しているキャラクタ名称と一致する名称が含まれるかどうかを判定し（Ｓ２０）、もし含まれている場合は（Ｓ２０でＹＥＳ）、そのときの名称に対応する機能を選択するために、その機能ＩＤを記憶する（Ｓ３０）。次に、中央制御手段１０９は、あらかじめ中央制御手段１０９が保持している操作コマンド一覧を参照して、ユーザが発話した内容の中に、現在選択中の機能に対する操作コマンドが含まれているかどうかを判定する（Ｓ４０）。
【００３８】
図１３に、中央制御手段１０９が保持している操作コマンド一覧の例を示す。
【００３９】
この例では、機能ＩＤ番号０番〜２番の機能（テレビ番組案内機能、スケジュール管理機能、メール送受信機能）それぞれについて有効な操作コマンドの一覧を示している。具体的にはテレビ番組案内機能は操作コマンドとして「明日の９時は？」「一覧見せて」「おすすめは？」などの音声コマンドを受け付けることを示しており、メール送受信機能は操作コマンドとして「メールみせて」「メール出したい」などの音声コマンドを受け付けることを示している。なお、ここでは説明を容易にするために複数の文節からなるような比較的長い操作コマンドを例として列挙したが、実際には自然言語解析するために必要となる形態素毎の情報などを保持しておき、それらの組合せにより有効な操作コマンドが構成されるようにしておく。中央制御手段１０９は、この操作コマンド一覧を参照して、発話内容の中に現在選択されている機能ＩＤが受け付ける操作コマンドが含まれるかどうかを判定する。もし操作コマンドが含まれているなら（Ｓ４０でＹＥＳ）、現在選択中の機能に対しその操作コマンドを実行するよう指示を出す（Ｓ５０）。具体的には、現在テレビ番組案内機能が選択されている場合は、テレビ番組案内手段２０１に対して、ユーザが発話した操作コマンド（一覧みせて、など）を実行するよう指示を出す。
【００４０】
次に中央制御手段１０９は、あらかじめ保持しているキャラクタのアニメーションデータと発話内容データから、ユーザが発話した操作コマンドに対応したアニメーションと発話内容を選択し、キャラクタ制御手段１０２および出力音声制御手段１０４に対して、キャラクタ画像の生成および音声データの生成を指示することで、キャラクタ画像および音声がユーザに提示される（Ｓ６０）。
【００４１】
本発明の実施例にかかる対話型操作支援システム１の実際の動作例を説明するために、図を用いて具体例を挙げながら説明する。
【００４２】
図４は、対話型操作支援システム１を起動した直後や、機器が動作を行っていないアイドル状態にあるときに、表示手段１０１によってユーザに提示される画面例を示した図である。
【００４３】
この図ではキャラクタが３体表示されているが、これは本発明の実施例にかかる対話型操作支援システム１がテレビ番組案内機能、スケジュール管理機能、メール送受信機能の３つの機能を提供するものであることに起因しており、対話型操作支援システムの提供する機能の数の増減によって、ユーザに提示されるキャラクタが増減してもよい。また、この図においては３体のキャラクタが表示されている大きさはほぼ同じであるが、特定の１キャラクタのみを大きく表示することで、ユーザが最初に話しかけるキャラクタを誘導してもよい。また、キャラクタ制御手段１０２が、あらかじめキャラクタのアニメーション動作を保持しておき、そのアニメーション動作に基づいてキャラクタ画像を変更することで、表示される各キャラクタが静止しているのではなく適度な動作を行っているようにしてもよい。
【００４４】
図５は、ユーザがキャラクタの名称を知りたいという意思で「名前は？」と発話したときに、表示手段１０１によってユーザに提示される画面例、および、音声出力手段１０３によってユーザに提示される音声例を示した図である。
【００４５】
この図では、ユーザが「名前は？」と発言すると、表示手段１０１に提示されている複数のキャラクタがそれぞれ自己紹介を行うように、キャラクタの名前とそれに対応する機能の名称を話している図を示している。
【００４６】
このような応答は次のような処理によって実現されている。まず、ユーザが発話した内容は、音声入力手段１０５を介して音声入力信号としてシステムに入力される。入力音声認識手段１０６は、音声入力信号を解析することで、ユーザの発話内容が「名前は」であることを取得する（Ｓ１０）。次に、中央制御手段１０９は機能選択手段１０８に対し、対話型操作支援システム１が提供する複数の機能の中からユーザの発話内容に相当する機能を選択するよう指示を出すが、このとき機能選択手段１０８は「名前は」に一致するキャラクタ名称が存在しないことから何も処理を行わない（Ｓ２０でＮＯ）。次に、中央制御手段１０９はあらかじめ中央制御手段が保持している音声コマンド一覧により、「名前は」という発話が「キャラクタの自己紹介」に相当するコマンドであることを判断する（Ｓ４０でＹＥＳ）。次に、中央制御手段１０９は名称記憶手段１０７に保持されているキャラクタ名称を参照し、各キャラクタの名称とその機能名称を取得して（Ｓ５０）、出力音声制御手段１０４に対して、キャラクタ名称とその機能名称を音声出力させると同時に、キャラクタ制御手段１０２に対して、各キャラクタが話しているようにみせるためのアニメーションを設定するように指示を出す。出力音声制御手段１０４およびキャラクタ制御手段１０２がそれぞれキャラクタの音声と画像データを生成し、音声出力手段１０３および表示手段１０１を介してユーザに提示される（Ｓ６０）。
【００４７】
図６は、ユーザがあるキャラクタの名称を発話したときに、表示手段１０１によってユーザに提示される画面例、および、音声出力手段１０３によってユーザに提示される音声例を示した図である。
【００４８】
この図では、ユーザがキャラクタの名称である「奈々子」と発言したときに、「奈々子」と名づけられているキャラクタがユーザの呼びかけに反応し、該キャラクタに該当する機能が「テレビ番組案内機能」であることをユーザに提示している図を示している。このような応答は次のような処理によって実現されている。
【００４９】
まず、ユーザが発話した内容は、音声入力手段１０５を介して音声入力信号としてシステムに入力される。入力音声認識手段１０６は、音声入力信号を解析することで、ユーザの発話内容が「奈々子」であることを取得する（Ｓ１０）。次に、中央制御手段１０９は機能選択手段１０８に対し、対話型操作支援システム１が提供する複数の機能の中からユーザの発話内容に相当する機能を選択するよう指示を出すが、このとき機能選択手段１０８は名称記憶手段１０７が記憶しているキャラクタ名称の中に「奈々子」と一致する名称があるかどうか探索し、「奈々子」と一致する機能が「テレビ番組案内機能」であることを取得する（Ｓ２０でＹＥＳ）。次に機能選択手段１０８は、テレビ番組案内機能に切り替えるため、機能ＩＤ「０」を記憶しておく（Ｓ３０）。次に、中央制御手段１０９は、あらかじめ中央制御手段１０９が保持している操作コマンド一覧を参照して、ユーザが発話した内容の中に機能ＩＤ０番の機能に対する操作コマンドが含まれているかどうかを判定するが、ユーザの発話内容が名称のみであるという操作コマンドであると判断する（Ｓ４０でＹＥＳ）。次に中央制御手段１０９は、名称のみという操作コマンドからキャラクタの自己紹介として機能案内を行う必要があると判断し（Ｓ５０）、出力音声制御手段１０４に対して、「テレビ番組案内機能」担当であることを音声出力させると同時に、キャラクタ制御手段１０２に対して、キャラクタが話しているようにみせるためのアニメーションを設定するように指示を出す。出力音声制御手段１０４およびキャラクタ制御手段１０２がそれぞれキャラクタの音声と画像データを生成し、音声出力手段１０３および表示手段１０１を介してユーザに提示される（Ｓ６０）。
【００５０】
図７は、ユーザがキャラクタ名称と機器の操作コマンドを続けて発話したときに、表示手段１０１によってユーザに提示される画面例、および、音声出力手段１０３によってユーザに提示される音声例を示した図である。
【００５１】
この図では、「奈々子」、「隆史」という異なるキャラクタ名称それぞれに続けて、同じ操作コマンド「明日の９時は？」をユーザが発話した場合に、テレビ番組案内機能を担当する「奈々子」は、明日の９時からのテレビ番組をユーザに提示し、スケジュール管理機能を担当する「隆史」は、明日９時のユーザのスケジュールをユーザに提示する、といったように、同じ操作コマンドを与えたときでも、キャラクタ毎に異なる反応をユーザに提示する様子を示した図である。
【００５２】
このような応答は次のような処理によって実現されている。まず、ユーザが発話した「奈々子、明日の９時は？」という音声は、音声入力手段１０５を介して音声入力信号としてシステムに入力される。入力音声認識手段１０６は、音声入力信号を解析してユーザの発話内容が「奈々子、明日の９時は？」であることを取得する（Ｓ１０）。次に、中央制御手段１０９は機能選択手段１０８に対しユーザの発話内容に従って機能を選択するよう指示を出す。次に機能選択手段１０８は、ユーザの発話内容に名称記憶手段１０７が記憶している名称と一致する「奈々子」が含まれることを検知し（Ｓ２０でＹＥＳ）、「奈々子」に一致する機能である「テレビ番組案内機能」を選択するために、機能ＩＤ０番を記憶する（Ｓ３０）。次に、中央制御手段１０９は、あらかじめ中央制御手段１０９が保持している操作コマンド一覧を参照して、ユーザが発話した内容の中に機能ＩＤ０番の機能に対する操作コマンドが含まれているかどうかを判断し、「明日の９時は？」という一致するコマンドであることを判断する（Ｓ４０でＹＥＳ）。次に中央制御手段１０９は、機能ＩＤ０番に対応するテレビ番組案内手段２０１に対して「明日の９時は？」という操作コマンドを発行する。テレビ番組案内手段２０１は、「明日の９時は？」に対応した操作コマンドとして、明日の９時の番組表データを取得する（Ｓ５０）。次に中央制御手段１０９は、出力音声制御手段１０４に対して、明日９時からの番組表データを音声出力させると同時に、キャラクタ制御手段１０２に対して、キャラクタが話しているようにみせるためのアニメーションを設定するように指示を出す。出力音声制御手段１０４およびキャラクタ制御手段１０２がそれぞれキャラクタの音声と画像データを生成し、音声出力手段１０３および表示手段１０１を介してユーザに提示される（Ｓ６０）。
【００５３】
一方、ユーザが「隆史、明日の９時は？」と発生した場合は、機能選択手段１０８が「隆史」に相当する「スケジュール管理機能」を選択する（Ｓ３０）ため、次に中央制御手段１０９はスケジュール管理手段２０２に対し「明日の９時は？」という操作コマンドを発行する。スケジュール管理手段２０２は、「明日の９時は？」に対応した操作コマンドとして、明日９時のユーザスケジュールを取得する（Ｓ５０）。次に中央制御手段１０９は、出力音声制御手段１０４に対して、明日９時からのユーザスケジュールを音声出力させると同時に、キャラクタ制御手段１０２に対して、キャラクタが話しているようにみせるためのアニメーションを設定するように指示を出す。出力音声制御手段１０４およびキャラクタ制御手段１０２がそれぞれキャラクタの音声と画像データを生成し、音声出力手段１０３および表示手段１０１を介してユーザに提示される（Ｓ６０）。このようにして、同じ操作コマンド「明日の９時は」に対して、キャラクタ毎に異なる反応をユーザに提示することができる。
【００５４】
図８は、ユーザがキャラクタ名称に続けて、そのキャラクタが担当していない機能名称を追加する操作コマンドを発話したときに、表示手段１０１によってユーザに提示される画面例、および、音声出力手段１０３によってユーザに提示される音声例を示した図である。
【００５５】
この図では、テレビ番組案内機能を担当している「奈々子」というキャラクタ名称に続けて、「メールもお願い」と操作コマンドを発話することで、今後「奈々子」と発話すると、テレビ番組案内とメール送受信機能の２機能が選択される様子を示した図である。
【００５６】
このような応答は次のような処理によって実現されている。まず、ユーザが発話した内容は、音声入力手段１０５を介して音声入力信号としてシステムに入力される。入力音声認識手段１０６は、音声入力信号を解析することで、ユーザの発話内容が「奈々子、メールもお願い」であることを取得する（Ｓ１０）。次に、中央制御手段１０９は機能選択手段１０８に対しユーザの発話内容に従って機能を選択するよう指示を出す。次に機能選択手段１０８は、ユーザの発話内容に名称記憶手段１０７が記憶している名称と一致する「奈々子」が含まれることを検知し（Ｓ２０でＹＥＳ）、「奈々子」に一致する機能である「テレビ番組案内機能」を選択するために機能ＩＤ０番を記憶する（Ｓ３０）。次に中央制御手段１０９は「メールもお願い」がテレビ番組案内機能の操作コマンドではなく、メール送受信機能を現在選択されているキャラクタに追加する操作コマンドであることを検知して（Ｓ４０でＹＥＳ）、名称記憶手段１０７が記憶している名称一覧に対して、メール送受信機能に対応するキャラクタ名称を「奈々子」に変更する（Ｓ５０）。次に、中央制御手段１０９は出力音声制御手段１０４に対して、「奈々子」が担当している機能が「テレビ番組案内機能」と「メール送受信機能」であることを音声出力させると同時に、キャラクタ制御手段１０２に対して、キャラクタが話しているようにみせるためのアニメーションを設定するように指示を出す。出力音声制御手段１０４およびキャラクタ制御手段１０２がそれぞれキャラクタの音声と画像データを生成し、音声出力手段１０３および表示手段１０１を介してユーザに提示される（Ｓ６０）。
【００５７】
図９は、ユーザがキャラクタ名称に続けて、そのキャラクタ名称を変更する操作コマンドを発話したときに、表示手段１０１によってユーザに提示される画面例、および、音声出力手段１０３によってユーザに提示される音声例を示した図である。この図では、「奈々子」というキャラクタ名称に続けて、「を紀香に変更」と操作コマンドを発話することで、今後「紀香」と発話することで、テレビ番組案内機能が選択される様子を示した図である。このような応答は次のような処理によって実現されている。入力音声認識手段１０６は、音声入力信号を解析することで、ユーザの発話内容が「奈々子を紀香に変更」であることを取得する（Ｓ１０）。次に、中央制御手段１０９は機能選択手段１０８に対しユーザの発話内容に従って機能を選択するよう指示を出す。次に機能選択手段１０８は、ユーザの発話内容に名称記憶手段１０７が記憶している名称と一致する「奈々子」が含まれることを検知し（Ｓ２０でＹＥＳ）、「奈々子」に一致する機能である「テレビ番組案内機能」を選択するために機能ＩＤ０番を記憶する（Ｓ３０）。次に中央制御手段１０９は「を紀香に変更」がテレビ番組案内機能の操作コマンドではなく、キャラクタの名称を変更する操作コマンドであることを検知して（Ｓ４０でＹＥＳ）、名称記憶手段１０７が記憶している名称一覧に対して、「奈々子」の名称を「紀香」に変更する（Ｓ５０）。次に、中央制御手段１０９は出力音声制御手段１０４に対して、それまで「奈々子」と呼ばれていたキャラクタの名称が「紀香」に変更され、「紀香」の担当する機能は「テレビ番組案内機能」であることを音声出力させると同時に、キャラクタ制御手段１０２に対して、キャラクタが話しているようにみせるためのアニメーションを設定するように指示を出す。出力音声制御手段１０４およびキャラクタ制御手段１０２がそれぞれキャラクタの音声と画像データを生成し、音声出力手段１０３および表示手段１０１を介してユーザに提示される（Ｓ６０）。
【産業上の利用可能性】
【００５８】
本発明に係わる対話型操作支援システムは、多数の機能を持った情報機器に対するユーザ操作を対話的に操作することができ、複雑な操作の機器に対してもユーザの発声する命令を複雑なものにすることなく、直感的な命令により機器の操作を行うことが可能となる効果を有し、複数の機能を有する各種家電機器や情報機器に対するユーザの操作を支援する、キャラクタエージェントを用いた対話型操作支援システムとして有用である。
【図面の簡単な説明】
【００５９】
【図１】本発明の実施例にかかる対話型操作支援システムのハードウェア全体構成を示す図
【図２】キャラクタ名称データの一例を示す図
【図３】本発明の実施例にかかる対話型操作支援システムのシステム構成を示すブロック図
【図４】対話型操作支援システムがアイドル状態にあるときの画面表示例を示した図
【図５】キャラクタに対して名称を提示するよう指示を出したときの画面表示例を示した図
【図６】ユーザがキャラクタの名称を発声したときの画面表示例を示した図
【図７】複数のキャラクタを介してテレビ番組案内機能とスケジュール管理機能とを操作したときの画面表示例を示した図
【図８】キャラクタ名称と機能との対応付けを変更するような操作をしたときの画面表示例を示した図
【図９】図８に示す操作により図２に示すキャラクタ名称データが変更された例を示す図
【図１０】キャラクタ名称を変更するような操作をしたときの画面表示例を示した図
【図１１】図１０に示す操作により図２に示すキャラクタ名称データが変更された例を示す図
【図１２】操作支援システムの動作の全体の流れを示したフローチャート
【図１３】機能別操作コマンド一覧の例を示した図
【符号の説明】
【００６０】
１    対話型操作支援システム
１０    中央制御部
２０    スピーカ
３０    マイク
４０    ディスプレイ
５０    記憶装置
６０    ネットワーク
７０    番組表配信サーバ
８０    メールサーバ
１０１    表示手段
１０２    キャラクタ制御手段
１０３    音声出力手段
１０４    出力音声制御手段
１０５    音声入力手段
１０６    入力音声認識手段
１０７    名称記憶手段
１０８    機能選択手段
１０９    中央制御手段
１１０    名称変更手段
２０１    テレビ番組案内手段
２０２    スケジュール管理手段
２０３    メール送受信手段
【図１】
2005056170.tif 000003
【図２】
2005056170.tif 000004
【図３】
2005056170.tif 000005
【図４】
2005056170.tif 000006
【図５】
2005056170.tif 000007
【図６】
2005056170.tif 000008
【図７】
2005056170.tif 000009
【図８】
2005056170.tif 000010
【図９】
2005056170.tif 000011
【図１０】
2005056170.tif 000012
【図１１】
2005056170.tif 000013
【図１２】
2005056170.tif 000014
【図１３】
2005056170.tif 000015