(57)【要約】      （修正有）【課題】ユーザが音声対話装置が付着した玩具（人形）と有線通信や無線通信で対話をやり取りできる方法を提供する。【解決手段】有無線通信ネットワークを用いた音声対話方法は、（ａ）音声対話装置３０の音声入力部３１でユーザによって入力される音声を受信する段階と、（ｂ）音声対話装置３０の有無線通信部３５で音声入力部３１を介して入力された音声を受信して携帯用端末５０に伝送する段階と、（ｃ）有無線通信部３５で携帯用端末５０から伝送される応答音声を受信する段階と、（ｄ）音声対話装置３０の音声出力部３２で有無線通信部３５から音声を受信して出力する段階とを含む。【選択図】図１
2014204429.tif 000002
【特許請求の範囲】
【請求項１】
（ａ）タッチ、アイコンタクト、またはユーザの音声が入力される場合、音声対話装置の音声入力部でユーザによって入力される音声を受信する段階と、
（ｂ）前記音声対話装置の有無線通信部で前記音声入力部を介して入力された音声を受信して携帯用端末に伝送する段階と、
（ｃ）前記有無線通信部で前記携帯用端末から伝送される応答音声を受信する段階と、
（ｄ）前記音声対話装置の音声出力部で前記有無線通信部から音声を受信して出力する段階と、
を含むことを特徴とする、有無線通信ネットワークを用いた音声対話方法。
【請求項２】
前記段階（ａ）は、
（ａ１）前記音声対話装置のタッチ認識部または映像出力部でユーザのタッチを認識する段階と、
（ａ２）前記音声対話装置の音声入力部で、前記タッチ認識部または前記映像出力部でユーザのタッチが認識されたり、ユーザのタッチが行われている間、ユーザの音声が入力されたりする場合、ユーザによって入力される音声を受信する段階と、
（ａ３）前記タッチ認識部または前記映像出力部でユーザのタッチが認識されることなく、前記音声対話装置の音声入力部で音声が入力される場合、ユーザの音声であるか否かを判断し、音声を受信する段階と、
を含むことを特徴とする、請求項１に記載の有無線通信ネットワークを用いた音声対話方法。
【請求項３】
前記段階（ａ）は、
（ａ１）前記音声対話装置の映像入力部でユーザのアイコンタクト（ｅｙｅ  ｃｏｎｔａｃｔ）を認識する段階と、
（ａ２）前記音声対話装置の音声入力部で、前記映像入力部を介してユーザのアイコンタクトが認識されたり、ユーザのアイコンタクトが行われている間、ユーザの音声が入力されたりする場合、ユーザによって入力される音声を受信する段階と、
（ａ３）前記映像入力部でユーザのアイコンタクトが認識されることなく、前記音声対話装置の音声入力部で音声が入力される場合、ユーザの音声であるか否かを判断し、音声を受信する段階と、
を含むことを特徴とする、請求項１に記載の有無線通信ネットワークを用いた音声対話方法。
【請求項４】
前記段階（ｄ）において、前記音声対話装置の音声出力部では、前記有無線通信部から音声を受信して出力している間、前記音声に対して決定された感情に基づいて、前記音声対話装置の発光部が特定色に発光して表示されることを特徴とする、請求項１に記載の有無線通信ネットワークを用いた音声対話方法。
【請求項５】
前記発光部の発光色および表示周期は、前記携帯用端末で、前記音声に対して決定された感情に基づいて決定された色および表示周期によって表示されることを特徴とする、請求項４に記載の有無線通信ネットワークを用いた音声対話方法。
【請求項６】
前記感情は、前記音声をテキストに変換した後、自然語テキストから認識されたことを特徴とする、請求項５に記載の有無線通信ネットワークを用いた音声対話方法。
【請求項７】
前記段階（ｄ）において、前記音声対話装置の映像出力部では、前記有無線通信部から音声を受信して出力している間、前記音声に対して決定された感情に基づく顔表情映像を出力することを特徴とする、請求項１に記載の有無線通信ネットワークを用いた音声対話方法。
【請求項８】
前記段階（ｄ）において、前記音声対話装置の映像出力部では、前記有無線通信部から音声を受信して出力している間、前記音声に対して決定された感情に基づく顔文字を出力することを特徴とする、請求項１に記載の有無線通信ネットワークを用いた音声対話方法。
【請求項９】
タッチ、アイコンタクト、またはユーザの音声が入力される場合、ユーザによって入力される音声を受信する音声入力部と、
前記音声入力部を介して入力された音声を受信して携帯用端末に伝送し、前記携帯用端末から伝送される音声を受信する有無線通信部と、
前記有無線通信部から音声を受信して出力する音声出力部と、
を含むことを特徴とする、有無線通信ネットワークを用いた音声対話装置。
【請求項１０】
ユーザのタッチを認識するタッチ認識部をさらに含み、
前記タッチ認識部でユーザのタッチが認識されたり、ユーザのタッチが行われている間、ユーザの音声が入力されたりする場合、ユーザによって音声が入力されることを特徴とする、請求項９に記載の有無線通信ネットワークを用いた音声対話装置。
【請求項１１】
ユーザの映像が入力される映像入力部をさらに含み、
前記映像入力部でユーザのアイコンタクト（ｅｙｅ  ｃｏｎｔａｃｔ）が認識されたり、ユーザのアイコンタクトが行われている間、ユーザによって音声が入力されたりすることを特徴とする、請求項９に記載の有無線通信ネットワークを用いた音声対話装置。
【請求項１２】
前記音声出力部で前記有無線通信部から音声を受信して出力している間、前記音声に対して決定された感情に基づいて、特定色に発光して表示される発光部をさらに含むことを特徴とする、請求項９に記載の有無線通信ネットワークを用いた音声対話装置。
【請求項１３】
前記発光部の発光色および表示周期は、前記携帯用端末で、前記音声に対して決定された感情に基づいて決定された色および表示周期によって表示されることを特徴とする、請求項１２に記載の有無線通信ネットワークを用いた音声対話装置。
【請求項１４】
前記感情は、前記音声をテキストに変換した後、自然語テキストから認識されたことを特徴とする、請求項１３に記載の有無線通信ネットワークを用いた音声対話装置。
【請求項１５】
映像を出力する映像出力部をさらに含み、
前記音声出力部で前記有無線通信部から音声を受信して出力している間、前記映像出力部は、前記音声に対して決定された感情に基づく顔表情映像を出力することを特徴とする、請求項９に記載の有無線通信ネットワークを用いた音声対話装置。
【請求項１６】
映像を出力する映像出力部をさらに含み、
前記音声出力部で前記有無線通信部から音声を受信して出力している間、前記映像出力部は、前記音声に対して決定された感情に基づく顔文字を出力することを特徴とする、請求項９に記載の有無線通信ネットワークを用いた音声対話装置。
【発明の詳細な説明】
【技術分野】
【０００１】
有無線通信ネットワークを用いた音声対話方法および装置が提供される。
【背景技術】
【０００２】
質疑応答システム（ｑｕｅｓｔｉｏｎ  ａｎｄ  ａｎｓｗｅｒｉｎｇ  ｓｙｓｔｅｍ）は、ユーザが所望する知識を得るためにシステムに質問をし、システムは、ユーザの質問を分析して質問に対する回答を出力するのが一般的である。現在まで多様な方法で質疑応答システムが実現されてきている。しかし、質問と回答がテキスト形態で格納され表現される質疑応答システムはその使用に不便な点があった。
【０００３】
特許文献１は、着脱型スイッチ装置（ａｔｔａｃｈａｂｌｅ  ａｎｄ  ｒｅｍｏｖａｂｌｅ  ｓｗｉｔｃｈ  ａｐｐａｒａｔｕｓ）を開示する。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】韓国公開特許第２００９−００３４２０３号
【発明の概要】
【発明が解決しようとする課題】
【０００５】
本発明にかかる一実施形態は、ユーザが音声対話装置が付着した玩具（人形）と有線通信や無線通信で対話をやり取りできるようにするためのものである。
【課題を解決するための手段】
【０００６】
本発明の一実施形態にかかる有無線通信ネットワークを用いた音声対話方法は、（ａ）タッチ、アイコンタクト、またはユーザの音声が入力される場合、音声対話装置の音声入力部でユーザによって入力される音声を受信する段階と、（ｂ）音声対話装置の有無線通信部で音声入力部を介して入力された音声を受信して携帯用端末に伝送する段階と、（ｃ）有無線通信部で携帯用端末から伝送される応答音声を受信する段階と、（ｄ）音声対話装置の音声出力部で有無線通信部から音声を受信して出力する段階と、を含む。
【０００７】
段階（ａ）は、（ａ１）音声対話装置のタッチ認識部または映像出力部でユーザのタッチを認識する段階と、（ａ２）音声対話装置の音声入力部で、タッチ認識部または映像出力部でユーザのタッチが認識されたり、ユーザのタッチが行われている間、ユーザの音声が入力されたりする場合、ユーザによって入力される音声を受信する段階と、（ａ３）タッチ認識部または映像出力部でユーザのタッチが認識されることなく、音声対話装置の音声入力部で音声が入力される場合、ユーザの音声であるか否かを判断し、音声を受信する段階と、を含むことができる。
【０００８】
段階（ａ）は、（ａ１）音声対話装置の映像入力部でユーザのアイコンタクト（ｅｙｅ  ｃｏｎｔａｃｔ）を認識する段階と、（ａ２）音声対話装置の音声入力部で、映像入力部を介してユーザのアイコンタクトが認識されたり、ユーザのアイコンタクトが行われている間、ユーザの音声が入力されたりする場合、ユーザによって入力される音声を受信する段階と、（ａ３）映像入力部でユーザのアイコンタクトが認識されることなく、音声対話装置の音声入力部で音声が入力される場合、ユーザの音声であるか否かを判断し、音声を受信する段階と、を含むことができる。
【０００９】
段階（ｄ）において、音声対話装置の音声出力部では、有無線通信部から音声を受信して出力している間、音声に対して決定された感情に基づいて、音声対話装置の発光部が特定色に発光して表示されるとよい。
【００１０】
発光部の発光色および表示周期は、携帯用端末で、音声に対して決定された感情に基づいて決定された色および表示周期によって表示されるとよい。
【００１１】
感情は、音声をテキストに変換した後、自然語テキストから認識されたものであるとよい。
【００１２】
段階（ｄ）において、音声対話装置の映像出力部では、有無線通信部から音声を受信して出力している間、音声に対して決定された感情に基づく顔表情映像を出力することができる。
【００１３】
段階（ｄ）において、音声対話装置の映像出力部では、有無線通信部から音声を受信して出力している間、音声に対して決定された感情に基づく顔文字を出力することができる。
【００１４】
本発明の一実施形態にかかる有無線通信ネットワークを用いた音声対話装置は、タッチ、アイコンタクト、またはユーザの音声が入力される場合、ユーザによって入力される音声を受信する音声入力部と、音声入力部を介して入力された音声を受信して携帯用端末に伝送し、携帯用端末から伝送される音声を受信する有無線通信部と、有無線通信部から音声を受信して出力する音声出力部とを含む。
【００１５】
音声対話装置は、ユーザのタッチを認識するタッチ認識部をさらに含むことができ、タッチ認識部でユーザのタッチが認識されたり、ユーザのタッチが行われている間、ユーザの音声が入力されたりする場合、ユーザによって音声が入力されるとよい。
【００１６】
音声対話装置は、ユーザの映像が入力される映像入力部をさらに含むことができ、映像入力部でユーザのアイコンタクト（ｅｙｅ  ｃｏｎｔａｃｔ）が認識されたり、ユーザのアイコンタクトが行われている間、ユーザによって音声が入力されたりするとよい。
【００１７】
音声出力部で前記有無線通信部から音声を受信して出力している間、音声に対して決定された感情に基づいて、特定色に発光して表示される発光部をさらに含むことができる。
【００１８】
音声対話装置は、映像を出力する映像出力部をさらに含むことができる。
【００１９】
音声出力部で有無線通信部から音声を受信して出力している間、映像出力部は、音声に対して決定された感情に基づく顔表情映像を出力することができる。
【００２０】
音声出力部で有無線通信部から音声を受信して出力している間、映像出力部は、音声に対して決定された感情に基づく顔文字を出力することができる。
【発明の効果】
【００２１】
本発明の一実施形態によれば、ユーザが音声対話装置の付着した玩具（人形）と有線通信や無線通信で対話をやり取りすることにより、ユーザの質疑による回答が迅速かつ明確に伝達可能になる。
【図面の簡単な説明】
【００２２】
【図１】本発明の一実施形態にかかる音声対話システムの構成を示す図である。
【図２】本発明の一実施形態にかかる音声対話システムにおいて音声対話装置と携帯用端末との間のメッセージ送受信フローチャートである。
【図３】本発明の一実施形態にかかる音声対話システムにおいて音声対話装置と携帯用端末との間のメッセージ送受信フローチャートである。
【図４】タッチでアプリに感情情報を伝達する場合の一例を示す図である。
【図５】本発明の一実施形態にかかる音声対話装置のボリューム制御の一例を示す図である。
【図６】ユーザの音声入力による対話玩具（人形）との対話の一例を示す図である。
【図７】携帯用端末アプリで音声対話を生成して対話する場合の一例を示す図である。
【図８】本発明の一実施形態にかかる音声対話装置の電源オンの一例を示す図である。
【図９】本発明の一実施形態にかかるペアリング機能の一例を示す図である。
【図１０】本発明の一実施形態にかかる音声対話装置のバッテリ放電警告の一例を示す図である。
【図１１】対話玩具（人形）の顔表情の種類の一例を示す図である。
【図１２】対話玩具（人形）の顔表情の種類の一例を示す図である。
【図１３】対話玩具（人形）の顔表情の種類の一例を示す図である。
【図１４】対話玩具（人形）の顔表情の種類の一例を示す図である。
【図１５】対話玩具（人形）の顔表情の種類の一例を示す図である。
【図１６】対話玩具（人形）の顔表情の種類の一例を示す図である。
【図１７】対話玩具（人形）の顔表情の種類の一例を示す図である。
【図１８】対話玩具（人形）の顔表情の種類の一例を示す図である。
【図１９】対話玩具（人形）の顔表情の種類の一例を示す図である。
【図２０】対話玩具（人形）の顔表情の種類の一例を示す図である。
【図２１】対話玩具（人形）の顔表情の種類の一例を示す図である。
【発明を実施するための形態】
【００２３】
添付した図面を参考にして、本発明の実施形態について、本発明の属する技術分野における通常の知識を有する者が容易に実施できるように詳細に説明する。本発明は、様々な異なる形態で実現可能であり、ここで説明する実施形態に限定されない。図面において、本発明を明確に説明するために説明上不必要な部分は省略し、明細書全体にわたって同一または類似の構成要素については同一の図面符号が使用される。また、広く知られている公知技術の場合、その具体的な説明は省略する。
【００２４】
明細書全体において、ある部分がある構成要素を「含む」とする時、これは、特に反対となる記載がない限り、他の構成要素を除くのではなく、他の構成要素をさらに包含できることを意味する。また、明細書に記載された「…部」、「…器」、「…モジュール」などの用語は、少なくとも１つの機能や動作を処理する単位を意味し、これは、ハードウェアやソフトウェアまたはハードウェアおよびソフトウェアの結合で実現可能である。
【００２５】
図１は、本発明の一実施形態にかかる音声対話システム（ｐｈｏｎｅｔｉｃ  ｃｏｎｖｅｒｓａｔｉｏｎ  ｓｙｓｔｅｍ）の構成を示す図である。
【００２６】
図１を参照すれば、音声対話システムは、ユーザ（ｕｓｅｒ）１０と、音声対話装置（ｐｈｏｎｅｔｉｃ  ｃｏｎｖｅｒｓａｔｉｏｎ  ｄｅｖｉｃｅ）３０と、携帯用端末（ｍｏｂｉｌｅ  ｔｅｒｍｉｎａｌ）５０とを含むことができる。
【００２７】
音声対話装置３０は、ユーザ１０との音声認識（ｖｏｉｃｅ  ｒｅｃｏｇｎｉｔｉｏｎ）質疑応答のために玩具（人形）に内蔵されたり、着脱可能な形態またはベルトにより固定されて玩具（人形）に固定可能な形態で使用されるとよい。音声対話装置３０は、音声入力部（ｖｏｉｃｅ  ｉｎｐｕｔ  ｕｎｉｔ）３１と、音声出力部（ｖｏｉｃｅ  ｏｕｔｐｕｔ  ｕｎｉｔ）３２と、タッチ認識部（ｔｏｕｃｈ  ｒｅｃｏｇｎｉｔｉｏｎ  ｕｎｉｔ）３３と、発光部（ｌｉｇｈｔ  ｅｍｉｔｔｉｎｇ  ｕｎｉｔ）３４と、有無線通信部（ｗｉｒｅｄ  ａｎｄ  ｗｉｒｅｌｅｓｓ  ｃｏｍｍｕｎｉｃａｔｉｏｎ  ｕｎｉｔ）３５とを含む。音声対話装置３０は、映像出力部（ｉｍａｇｅ  ｏｕｔｐｕｔ  ｕｎｉｔ）３６、映像入力部（ｉｍａｇｅ  ｉｎｐｕｔ  ｕｎｉｔ）３７などをさらに含むことができる。
【００２８】
ユーザ１０が音声を入力するためにタッチ認識部３３をタッチする場合、タッチ認識部３３が作動する。タッチ認識部３３が作動すると、ユーザ１０は音声を入力することができる。
【００２９】
ユーザ１０がタッチ認識部をタッチして音声を入力する場合は、グーグル音声認識器のように音声入力を受けるための特殊なユーザインタフェース（ｕｓｅｒ  ｉｎｔｅｒｆａｃｅ）を用いる時である。ニュアンス音声認識器（ｎｕａｎｃｅ  ｖｏｃａｌ  ｒｅｃｏｇｎｉｔｉｏｎ  ｄｅｖｉｃｅ）のように特別なユーザインタフェースなしにソースコード（ｓｏｕｒｃｅ  ｃｏｄｅ）上に音声が入力可能な場合には、タッチ認識部の作動なくても音声が入力できる。
【００３０】
タッチ認識部３３が作動してユーザ１０が音声を入力できる状態になると、音声入力部３１は、ユーザ１０によって入力される音声を受信して有無線通信部３５に伝達する。
【００３１】
また、タッチ認識部３３が作動しなくても、音声入力部３１は、自体で音声検出エンジン（ｖｏｉｃｅ  ｄｅｔｅｃｔｉｏｎ  ｅｎｇｉｎｅ）またはアルゴリズム（ａｌｇｏｒｉｔｈｍ）を用いることができ、この場合、入力される音が人の音声と判断されると、音声入力部３１は、音声を受信して有無線通信部３５に伝達することができる。
【００３２】
ユーザ１０が音声を入力するために素早く１回タッチしたり、約１〜２秒間タッチし続けたりした後、音声を入力する時、音声検出アルゴリズムによって音声入力完了が自動的に検出されてもよく、別途に構成された音声認識器（ｖｏｃａｌ  ｒｅｃｏｇｎｉｔｉｏｎ  ｄｅｖｉｃｅ）が音声入力完了の有無を判断し、音声入力完了を音声入力部３１に知らせてもよい。
【００３３】
また、素早く１回タッチしたり、約１〜２秒間タッチしたりし続けた後、予め設定された（ｐｒｅｄｅｔｅｒｍｉｎｅｄ）時間の間、例えば数秒間、音声を入力できるという規則が予め設定されるとよい。この場合、予め設定された時間内に入力される音声は、音声認識器に伝達されるとよい。
【００３４】
音声入力部３１は、ユーザ１０がタッチしている間にのみ音声入力を受けることができ、この場合、ユーザ１０がタッチすると、一時記憶装置に格納された音声が有無線通信部３５に伝達されるとよい。
【００３５】
有無線通信部３５は、音声入力部３１から入力された音声を受信すると、コーデックを用いて当該音声を圧縮し、有線通信または無線通信によって圧縮された音声を携帯用端末５０に伝送する。
【００３６】
有無線通信部３５は、携帯用端末５０の有無線通信部５１から伝送される圧縮された音声を受信してデコーディングした後、音声出力部３２に伝達する。
【００３７】
音声出力部３２は、デコーディングされた音声を出力し、これにより、ユーザは出力される音声を聞くことができる。例えば、音声出力部３２は、スピーカを含むことができる。
【００３８】
データの伝送容量および伝送速度が速い場合、有無線通信部３５は、音声入力部３１から入力された音声を圧縮なしに携帯用端末５０に有線通信または無線通信によって伝送することができ、携帯用端末５０の有無線通信部５１から伝送される音声もデコーディングなしに音声出力部３２に伝達可能になる。
【００３９】
タッチ認識部３３からユーザ１０のタッチが認識されてタッチ認識信号が発光部３４に伝達される場合、発光部３４は、予め設定された周期で予め設定された種類の光を表示することができる。また、携帯用端末５０から伝送された音声が音声出力部３２を介して出力される場合、発光部３４は、予め設定された周期で予め設定された種類の光を表示することができる。光の種類、光の表示周期などの発光条件に関する情報は、携帯用端末５０の感情判断部５３によって決定され、決定された発光条件に関する情報は、音声対話装置３０に伝送されるとよい。例えば、発光部３４は、ＬＥＤを含むことができる。
【００４０】
映像出力部３６は、映像を出力し、タッチスクリーンを含むことができる。出力される映像は、タッチボタンを含むことができる。タッチボタンは、音声認識の開始を知らせるボタン、ボリュームを調節するボタン、電源をオンオフするボタンなどであるとよい。例えば、ユーザ１０が出力される映像をタッチする時点が音声認識の開始点になるとよい。音声入力完了は、音声入力部３１の音声検出アルゴリズムによって自動的に検出されてもよく、別途に構成された音声認識器によって認識されてもよい。認識された音声は、有無線通信部３５を介して携帯用端末５０に伝送される。映像出力部３６は、ＬＣＤ、ＯＬＥＤなどのディスプレイを含むことができる。
【００４１】
また、映像出力部３６は、図１１ないし図２１に示されているように、ユーザ１０の質疑に対する回答から抽出された感情に応じて多様な顔表情を出力することができる。顔表情は、顔文字を含むことができる。映像出力部３６の顔表情と音声出力部３２の音声出力は、実際話しているように同時に出力できる。これにより、ユーザ１０は、音声対話装置３０の固定されている玩具（人形）の顔表情の変化を見て音声を聞きながら、リアリティを感じることができる。
【００４２】
映像入力部３７は、映像が入力され、カメラ、イメージセンサなどを含むことができる。映像入力部３７を介して入力される映像は、有無線通信部３５を介して携帯用端末５０に伝送される。携帯用端末５０は、ユーザ１０の瞳が映像入力部３７を向いているか否かを確認する。例えば、ユーザ１０の瞳が映像入力部３７を向く時点が音声認識の開始点になるとよい。音声入力完了は、音声入力部３１の音声検出アルゴリズムによって自動的に検出されてもよく、別途に構成された音声認識器によって認識されてもよく、認識された音声は、有無線通信部３５を介して携帯用端末５０に伝送される。ユーザのアイコンタクトなしに音声入力部３１に音声が入力される場合、入力される音声がユーザ１０の音声であるか否かを判断した後、ユーザ１０の音声と判断された時、音声を受信することができる。
【００４３】
映像入力部３７は、ユーザ１０のアイコンタクトが行われている間にのみ音声入力を受けることができ、この場合、ユーザ１０がそれ以上アイコンタクトをしなければ、一時記憶装置に格納された音声が有無線通信部３５に伝達されるとよい。
【００４４】
携帯用端末５０は、音声対話装置３０と有線や無線で通信するための端末であり、音声対話装置３０から有線や無線で伝送された質疑に対する応答を音声合成データとして生成したり、多様な顔表情を表現したりする。
【００４５】
例えば、携帯用端末５０は、パソコン（ＰＣ）、携帯用コンピュータ（ＰＤＡ）、ノートパソコン、タブレット、携帯電話（アイフォン、アンドロイドフォン、グーグルフォンなど）、双方向音声およびデータ通信が可能なメディアを通称し、有無線インターネットや有無線電話（移動）通信が可能な装備を含む多様な端末が使用されるとよい。
【００４６】
携帯用端末５０が音声対話装置３０と有線で通信する場合、携帯用端末５０は、玩具（人形）の顔部分に設けられた状態で音声対話装置３０と有線通信で接続され、音声対話装置３０から伝送されたユーザの質疑に対する回答を音声合成データとして生成し、音声対話装置３０に伝送する。この時、玩具（人形）の表情は、玩具（人形）の顔部分に設けられた携帯用端末５０によって、図１１ないし図２１に示されているように、前記ユーザの質疑に対する回答から抽出した感情に応じて多様に出力されるとよい。
【００４７】
図１１ないし図２１は、対話玩具（人形）の顔表情の種類の一例を示す図であり、図１１は、平穏な感情を示し、図１２は、心配や憂いを示し、図１３は、喜びの感情を示し、図１４は、疑いの感情を示し、図１５は、倦怠の感情を示し、図１６は、期待の感情を示し、図１７は、怒りの感情を示し、図１８は、タッチ動作に対する感情を示し、図１９は、眠る動作、図２０は、話す動作、図２１は、聞く動作を示す。
【００４８】
携帯用端末５０が音声対話装置３０と無線で通信する場合、携帯用端末５０は、玩具（人形）の顔部分に設けられていなくてもよく、音声対話装置３０と無線で通信可能な距離内に配置されてもよい。携帯用端末５０は、音声対話装置３０から無線通信で伝送されたユーザの質疑に対する回答を音声合成データとして生成し、音声対話装置３０に伝送する。
【００４９】
携帯用端末５０は、有無線通信部５１と、質疑応答部（ｑｕｅｓｔｉｏｎ  ａｎｄ  ａｎｓｗｅｒ  ｕｎｉｔ）５２と、感情判断部（ｅｍｏｔｉｏｎ  ｄｅｔｅｒｍｉｎａｔｉｏｎ  ｕｎｉｔ）５３と、音声合成部（ｖｏｉｃｅ  ｓｙｎｔｈｅｓｉｓ  ｕｎｉｔ）５４と、音声認識部（ｖｏｉｃｅ  ｒｅｃｏｇｎｉｔｉｏｎ  ｕｎｉｔ）５５とを含む。
【００５０】
有無線通信部５１は、音声対話装置３０の有無線通信部３５から有線通信または無線通信で伝送される圧縮された音声を受信してデコーディングし、デコーディングされた音声を音声認識のためのフォーマットに変更し、音声認識部５５に伝送する。
【００５１】
音声認識部５５は、有無線通信部５１から伝送された音声を認識し、音声認識結果の質問テキスト（ｔｅｘｔ）を質疑応答部５２に伝達する。
【００５２】
質疑応答部５２は、音声認識部５５から質問テキストを受信する時、質問テキストに対する回答テキストを生成し、音声合成部５４に伝達する。
【００５３】
音声合成部５４は、質疑応答部５２から回答テキストを受信する時、回答テキストを音声に合成して音声合成データを生成し、有無線通信部５１に伝達する。
【００５４】
感情判断部５３は、回答テキストに対する感情を抽出し、抽出された感情に対して、音声対話装置３０の発光部３４で特定光を表示するための光の種類、光の表示周期などの発光条件に関する情報を決定し、有無線通信部５１に伝達する。また、感情判断部５３は、抽出された感情に対して、図１１ないし図２１に示されているような多様な顔表情を決定し、有無線通信部５１に伝達する。有無線通信部５１に伝達された発光条件に関する情報、多様な顔表情を、音声対話装置３０の有無線通信部３５を介してそれぞれ発光部３４および映像出力部３６に伝送することができる。
【００５５】
例えば、回答テキストから感情を抽出するためには、回答テキストを自然語処理（形態素分析、構文分析、意味分析など）方式で分析することにより、回答テキスト中に含まれている感情が分類できる。
【００５６】
音声合成部５４から音声合成データが伝達される場合、有無線通信部５１は、音声合成された音声合成データを圧縮し、圧縮された音声合成データ、感情判断部５３から決定された光の種類、光の表示周期などの発光条件に関する情報、そして多様な顔表情を音声対話装置３０に伝送する。
【００５７】
データの伝送容量および伝送速度が速い場合、有無線通信部５１は、音声対話装置３０の有無線通信部３５から有線通信または無線通信で伝送される音声を受信してデコーディングなしに音声認識部５５に伝達することができる。この時、音声認識部５５は、有無線通信部５１から伝達された音声を認識し、音声認識結果の質問テキストを質疑応答部５２に伝達する。
【００５８】
図２は、本発明の一実施形態にかかる音声対話システムにおいて音声対話装置と携帯用端末との間のメッセージ送受信フローチャートである。
【００５９】
図２を参照すれば、音声対話装置３０は、ユーザが１回タッチしたか、またはユーザが音声対話装置３０の映像入力部３７とアイコンタクト（ｅｙｅ  ｃｏｎｔａｃｔ）したかを判断（Ｓ１）し、ユーザ１０が１回タッチしたかアイコンタクトした場合、タッチ時間またはアイコンタクトした時間が１秒であるかを判断（Ｓ２）する。
【００６０】
音声対話装置３０は、ユーザ１０が１秒間タッチしたり、１秒間音声対話装置３０の映像入力部３７とアイコンタクトしたりした場合、ユーザ１０の音声（質問）を受信（Ｓ３）し、音声圧縮後、携帯用端末５０に伝送（Ｓ４）する。
【００６１】
携帯用端末５０は、音声対話装置３０から圧縮されて伝送された音声をデコーディングして音声認識（Ｓ５）した後、質問に対する回答を生成（Ｓ６）し、回答に対する感情分析（Ｓ７）を行う。
【００６２】
携帯用端末５０は、回答テキストを音声合成した音声合成データおよび感情分析結果に関する情報を音声対話装置に伝送（Ｓ８）する。例えば、感情分析結果に関する情報は、音声対話装置３０の発光部３４で特定光を表示するための光の種類、光の表示周期などの発光条件に関する情報、感情判断部５３によって抽出された感情に対して、図１１ないし図２１に示されているような多様な顔表情であるとよい。
【００６３】
音声対話装置３０は、携帯用端末５０から伝送された音声をデコーディングして出力（Ｓ９）し、音声出力時、携帯用端末から伝送された感情分析結果の感情データに応じてＬＥＤ光を制御し顔表情を出力（Ｓ１０）する。
【００６４】
一方、音声対話装置３０でユーザ１０が１回タッチしたか、または音声対話装置３０の映像入力部３７とアイコンタクトしたかを判断するＳ１段階において、ユーザ１０が１回タッチしなかったり、音声対話装置３０の映像入力部３７と１回アイコンタクトしなかったりした場合には、タッチ／アイコンタクト回数および時間間隔を確認し、携帯用端末５０に伝送（Ｓ１１）する。
【００６５】
携帯用端末５０の質疑応答部５２では、音声対話装置３０から伝送されたタッチ回数および時間間隔に応じた回答を生成（Ｓ１２）し、携帯用端末５０で回答テキストを音声合成したデータを音声対話装置３０に伝送（Ｓ１３）する。
【００６６】
音声対話装置３０は、携帯用端末５０から伝送された音声合成データをデコーディングして出力（Ｓ１４）し、音声対話装置３０からの音声出力時、ＬＥＤ光制御および顔表情の出力（Ｓ１５）が行われる。
【００６７】
図３は、本発明の一実施形態にかかる音声対話システムにおいて音声対話装置と携帯用端末との間のメッセージ送受信フローチャートである。
【００６８】
図３を参照すれば、音声対話装置３０は、ユーザ１０が１回タッチしたか、または音声対話装置３０の映像入力部３７とアイコンタクトしたかを判断（Ｓ１）し、ユーザ１０が１回タッチしたり、音声対話装置３０の映像入力部３７とアイコンタクトしたりした場合、タッチ時間またはアイコンタクトした時間が１秒であるかを判断（Ｓ２）する。
【００６９】
音声対話装置３０は、ユーザ１０が１秒間タッチしたり、音声対話装置３０の映像入力部３７と１秒間アイコンタクトしたりした場合、ユーザ１０の音声（質問）を受信（Ｓ３）し、音声圧縮後、携帯用端末５０に伝送（Ｓ４）する。
【００７０】
携帯用端末５０は、音声対話装置３０から圧縮されて伝送された音声をデコーディングして音声認識（Ｓ５）した後、質問に対する回答を生成（Ｓ６）し、回答に対する感情分析（Ｓ７）を行う。
【００７１】
携帯用端末５０は、回答テキストを音声合成した音声合成データおよび感情分析結果に関する情報を音声対話装置３０に伝送（Ｓ８）する。例えば、感情分析結果に関する情報は、音声対話装置３０の発光部３４で特定光を表示するための光の種類、光の表示周期などの発光条件に関する情報、感情判断部５３によって抽出された感情に対して、図１１ないし図２１に示されているような多様な顔表情であるとよい。
【００７２】
音声対話装置３０は、携帯用端末５０から伝送された音声をデコーディングして出力（Ｓ９）し、音声出力時、携帯用端末から伝送された感情分析結果の感情データに応じてＬＥＤ光を制御し顔表情を出力（Ｓ１０）する。
【００７３】
一方、音声対話装置３０で、ユーザ１０が１回タッチしたか、または音声対話装置３０の映像入力部３７とアイコンタクトしたかを判断するＳ１段階において、ユーザ１０が１回タッチしなかったり、音声対話装置３０の映像入力部３７とアイコンタクトしなかったりした場合には、タッチ／アイコンタクト回数および時間間隔を確認し、携帯用端末５０に伝送（Ｓ１１）する。
【００７４】
携帯用端末５０の質疑応答部では、音声対話装置３０から伝送されたタッチ回数および時間間隔に応じた回答を生成（Ｓ１２）し、携帯用端末５０で回答テキストを音声合成したデータを音声対話装置３０に伝送（Ｓ１３）する。
【００７５】
音声対話装置３０は、携帯用端末５０から伝送された音声合成データをデコーディングして出力（Ｓ１４）し、音声対話装置３０からの音声出力時、ＬＥＤ光制御および顔表情の出力（Ｓ１５）が行われる。
【００７６】
次に、音声対話装置３０は、ユーザ１０が１回タッチしたり、音声対話装置３０の映像入力部３７と１回アイコンタクトしたりした場合、タッチ／アイコンタクト時間が１秒であるかを判断するＳ２段階において、タッチまたはアイコンタクト時間が１秒でない場合、タッチ時間が５秒であるか、または電源ボタンがタッチされたかを判断（Ｓ１６）する。
【００７７】
音声対話装置３０は、ユーザ１０が５秒間タッチしたり、電源ボタンをタッチしたりした場合、電源オン（Ｓ１７）にした後、電源オン（ＯＮ）情報を携帯用端末５０に伝送（Ｓ１８）する。
【００７８】
携帯用端末５０の質疑応答部５２は、音声対話装置３０の電源オン（ＯＮ）情報を受信すると、回答を生成（Ｓ１９）し、生成された回答テキストを音声合成したデータを音声対話装置３０に伝送（Ｓ２０）する。
【００７９】
音声対話装置３０は、携帯用端末５０から伝送された音声合成データをデコーディングして出力（Ｓ２１）し、音声対話装置３０からの音声出力時、ＬＥＤ光制御および顔表情の出力（Ｓ２２）が行われる。
【００８０】
一方、音声対話装置３０は、ユーザ１０のタッチ時間が５秒であるか、または電源ボタンがタッチされたかを判断するＳ１６段階において、タッチ時間が５秒でなかったり、電源ボタンがタッチされなかったりした場合、タッチ時間が１０秒であるかを判断（Ｓ２３）し、ユーザ１０が１０秒間タッチした場合、ペアリングモードで動作（Ｓ２４）する。ペアリングは、ブルートゥース、ＷＩＦＩなどの近距離無線通信で接続可能である。
【００８１】
音声対話装置３０がペアリングモードで動作すると、携帯用端末５０でペアリング接続を試み（Ｓ２５）、音声対話装置３０は、携帯用端末５０とペアリング接続後、ペアリング接続成功情報を携帯用端末５０に伝送（Ｓ２６）する。
【００８２】
携帯用端末５０の質疑応答部５２では、音声対話装置３０からペアリング接続成功情報を受信すると、回答を生成（Ｓ２７）し、生成された回答テキストを音声合成したデータを音声対話装置に伝送（Ｓ２８）する。
【００８３】
音声対話装置３０は、携帯用端末５０から伝送された音声合成データをデコーディングして出力（Ｓ２９）し、音声対話装置３０からの音声出力時、 ＬＥＤ光制御および顔表情の出力（Ｓ３０）が行われる。
【００８４】
図４は、タッチでアプリに感情情報を伝達する場合の一例を示す図である。
【００８５】
図４を参照すれば、ユーザ１０が音声対話装置３０のディップスイッチ、トグルスイッチ、待機電力タッチ方式のスイッチなどのボタン、タッチ認識部３３などを１回だけタッチしたり、音声対話装置３０の映像入力部３７と１回アイコンタクトしたりすると（Ｓ１）、音声対話装置３０の発光ダイオード（ＬＥＤ）が予め設定された色、例えば、赤色に１回点滅（Ｓ２）する。
【００８６】
音声対話装置３０は、１回タッチまたはアイコンタクト情報を携帯用端末（アプリ）５０に伝送（Ｓ３）し、応答対話が返信（Ｓ４）されて、音声および映像を出力（Ｓ５）する。ここで、音声対話装置３０が携帯用端末５０から返信される応答対話は音声合成データであって、例えば、「こんにちは？良い朝です。どんな話をしましょうか？」といった内容であるとよい。このような応答対話およびこれに関連する顔表情映像が音声対話装置３０の音声出力部３２および映像出力部３６に出力されている間、音声対話装置３０の発光ダイオード（ＬＥＤ）は、予め設定された色、例えば、黄色に発光して表示（Ｓ６）された後、出力が終わると、再び基本色の青色に発光して表示（Ｓ７）される。
【００８７】
ユーザ１０が音声対話装置３０のディップスイッチ、トグルスイッチ、待機電力タッチ方式のスイッチなどのボタン、タッチ認識部３３などを素早く連続２回以上タッチしたり、素早く連続２回以上瞬きをしたりすると（Ｓ８）、音声対話装置３０の発光ダイオード（ＬＥＤ）が予め設定された色、例えば、赤色に１回点滅（Ｓ９）する。
【００８８】
音声対話装置３０は、素早い連続２回以上のタッチまたは瞬き情報を携帯用端末（アプリ）５０に伝送（Ｓ１０）することで緊急状況であることを知らせ、応答対話が返信（Ｓ１１）されて、音声および映像を出力（Ｓ１２）する。ここで、音声対話装置３０が携帯用端末５０から返信される応答対話は音声合成データであって、例えば、「どうしました？何かあったんですか？」といった内容であるとよい。このような応答対話およびこれに関連する顔表情映像が音声対話装置３０の音声出力部３２および映像出力部３６に出力されている間、音声対話装置３０の発光ダイオード（ＬＥＤ）は、予め設定された色、例えば、黄色に発光して表示（Ｓ１３）された後、出力が終わると、再び基本色の青色に発光して表示（Ｓ１４）される。
【００８９】
図５は、本発明の音声対話装置のボリューム制御の一例を示す図である。
【００９０】
図５を参照すれば、ユーザ１０が音声対話装置３０のボリュームアップ／ダウンボタンを１回だけ押すと（Ｓ１）、音声対話装置３０の発光ダイオード（ＬＥＤ）が予め設定された色、例えば、赤色に１回点滅（Ｓ２）し、ボリュームアップ／ダウン機能が適用（Ｓ３）される。
【００９１】
音声対話装置３０は、ボリュームアップ／ダウンタッチ情報を携帯用端末（アプリ）５０に伝送（Ｓ４）し、応答対話が返信（Ｓ５）されて、音声および映像を出力（Ｓ６）する。ここで、音声対話装置３０が携帯用端末５０から返信される応答対話は音声合成データであって、例えば、「ボリュームを上げ／下げました」といった内容であるとよい。このような応答対話およびこれに関連する顔表情映像が音声対話装置３０の音声出力部３２および映像出力部３６に出力されている間、音声対話装置３０の発光ダイオード（ＬＥＤ）は、予め設定された色、例えば、黄色に発光して表示（Ｓ７）された後、出力が終わると、再び基本色の青色に発光して表示（Ｓ８）される。
【００９２】
図６は、ユーザの音声入力による対話玩具（人形）との対話の一例を示す図である。
【００９３】
図６を参照すれば、ユーザ１０が音声対話装置３０の中央タッチ部分を１秒間タッチしたり、映像入力部３７と１秒間アイコンタクトしたりした場合（Ｓ１）、音声対話装置３０の発光ダイオード（ＬＥＤ）が予め設定された色、例えば、青緑色に５秒間表示（Ｓ２）されて、音声対話装置３０が音声入力待機状態（５秒間）となる。
【００９４】
音声対話装置３０は、ユーザ１０の音声を受信する（Ｓ３）。この時、ユーザは、音声対話装置３０のマイクに音声を入力する。入力される音声は、例えば、「君は誰だ？」といった内容であるとよい。
【００９５】
音声対話装置３０は、タッチを作動しなくても、自体で音声検出エンジンを用いて入力される音が人の音声であるかを判断することもできる。音声検出エンジンには、多様な音声検出アルゴリズムが使用可能である。
【００９６】
音声対話装置３０は、入力されたユーザ１０の音声データを携帯用端末（アプリ）５０に伝送（Ｓ４）し、音声対話装置３０の発光ダイオード（ＬＥＤ）は、再び基本色の青色に発光して表示（Ｓ５）される。
【００９７】
音声対話装置３０は、携帯用端末（アプリ）５０から応答対話およびこれに関連する顔表情映像が返信（Ｓ６）されて、音声出力部３２および映像出力部３６に出力（Ｓ７）する。ここで、音声対話装置３０が端末５０から返信される応答対話は音声合成データであって、例えば、「私は対話玩具（人形）Ｙａｌｌｙです」といった内容であるとよい。このような応答対話およびこれに関連する顔表情映像が音声対話装置３０の音声出力部３２および映像出力部３６に出力されている間、音声対話装置３０の発光ダイオード（ＬＥＤ）は、予め設定された色、例えば、黄色に発光して表示（Ｓ８）された後、出力が終わると、再び基本色の青色に発光して表示（Ｓ９）される。
【００９８】
図７は、携帯用端末アプリで音声対話を生成して対話する場合の一例を示す図である。
【００９９】
図７を参照すれば、携帯用端末（アプリ）５０は、音声対話装置３０を介して音声が伝送されなくても、応答対話を生成して音声合成（ＴＴＳ）データに変換し、サウンドの形態で音声合成データを音声対話装置３０に伝送（Ｓ１）する。
【０１００】
音声対話装置３０は、携帯用端末（アプリ）５０から伝送される応答対話およびこれに関連する顔表情映像を受信して音声出力部３２および映像出力部３６に出力（Ｓ２）する。ここで、音声対話装置３０が携帯用端末５０から受信した応答対話は音声合成データであって、例えば、「今日は月曜日です」といった内容であるとよい。このような応答対話およびこれに関連する顔表情映像が音声対話装置３０の音声出力部３２および映像出力部３６に出力されている間、音声対話装置３０の発光ダイオード（ＬＥＤ）は、予め設定された色、例えば、黄色に発光して表示（Ｓ３）された後、出力が終わると、再び基本色の青色に発光して表示（Ｓ４）される。
【０１０１】
図８は、本発明の音声対話装置の電源オンの一例を示す図である。
【０１０２】
図８を参照すれば、ユーザ１０が音声対話装置３０の電源ボタン、タッチ認識部３３などを５秒間タッチすると（Ｓ１）、音声対話装置３０の発光ダイオード（ＬＥＤ）は、携帯用端末（アプリ）５０から音声合成データを受信する前まで基本色の青色に発光して表示（Ｓ２）される。
【０１０３】
音声対話装置３０は、携帯用端末（アプリ）５０とペアリングが自動接続されている場合、電源オン（ｏｎ）情報を携帯用端末（アプリ）５０に伝送（Ｓ３）し、携帯用端末（アプリ）５０から応答対話（応答データ）またはこれに関連する顔表情映像が返信（Ｓ４）されて、音声出力部３２および映像出力部３６に出力（Ｓ５）する。ここで、携帯用端末（アプリ）５０は、応答データを音声合成（ＴＴＳ）機能によって音声に変換し、この音声データ（Ｓｏｕｎｄ）を圧縮して無線で音声対話装置３０に伝送することにより、音声対話装置３０は、携帯用端末（アプリ）５０から伝送された圧縮された音声データをデコーディングして音声出力部３２に出力し、圧縮された顔表情映像もデコーディングして映像出力部３６に出力する。音声対話装置３０が携帯用端末（アプリ）５０から返信される応答対話は音声合成（ＴＴＳ）データであって、例えば、「こんにちは。お会いできてうれしいです」といった内容であるとよい。このような応答対話およびこれに関連する顔表情映像が音声対話装置３０の音声出力部３２および映像出力部３６に出力されている間、音声対話装置３０の発光ダイオード（ＬＥＤ）は、予め設定された色、例えば、黄色に発光して表示（Ｓ６）された後、出力が終わると、再び基本色の青色に発光して表示（Ｓ７）される。
【０１０４】
図９は、本発明のペアリング機能の一例を示す図である。
【０１０５】
図９を参照すれば、ユーザ１０が音声対話装置３０を１０秒間タッチすると（Ｓ１）、音声対話装置３０がペアリングモードで動作し、発光ダイオード（ＬＥＤ）が白色に発光して表示（Ｓ２）される。
【０１０６】
携帯用端末（アプリ）５０は、音声対話装置３０とのペアリング接続を試み（Ｓ３）、音声対話装置３０は、携帯用端末（アプリ）５０とのペアリング接続が行われると、発光ダイオード（ＬＥＤ）が青色と白色に点滅（Ｓ４）する。次に、ペアリング成功情報を携帯用端末（アプリ）５０に伝送（Ｓ５）する。
【０１０７】
携帯用端末（アプリ）５０は、音声対話装置３０に音声合成データを伝送（Ｓ６）し、音声対話装置３０は、携帯用端末（アプリ）５０から音声合成データとこれに関連する顔表情映像を受信して音声出力部３２および映像出力部３６に出力（Ｓ７）する。ここで、音声対話装置３０が携帯用端末（アプリ）５０から返信される応答対話は音声合成データであって、例えば、「ペアリング接続しました」といった内容であるとよい。このような応答対話およびこれに関連する顔表情映像が音声対話装置３０の音声出力部３２および映像出力部３６に出力されている間、音声対話装置３０の発光ダイオード（ＬＥＤ）は、予め設定された色、例えば、黄色に発光して表示（Ｓ８）された後、出力が終わると、再び基本色の青色に発光して表示（Ｓ９）される。
【０１０８】
図１０は、本発明の音声対話装置のバッテリ放電警告の一例を示す図である。
【０１０９】
図１０を参照すれば、音声対話装置３０でバッテリ残量が２０％以下であるかを確認し、バッテリ残量が２０％以下の場合、バッテリ放電警告を、発光ダイオード（ＬＥＤ）を赤色に点滅させて表示（Ｓ２）する。
【０１１０】
次に、音声対話装置３０は、バッテリ放電情報を携帯用端末（アプリ）５０に伝送（Ｓ３）する。
【０１１１】
携帯用端末（アプリ）５０は、音声対話装置３０に音声合成データを伝送（Ｓ４）し、音声対話装置３０は、携帯用端末（アプリ）５０から音声合成データおよびこれに関連する顔表情映像を受信して音声出力部３２および映像出力部３６に出力（Ｓ５）する。ここで、音声対話装置３０が携帯用端末（アプリ）５０から返信される応答対話は音声合成データであって、例えば、「バッテリが２０％残りました。充電して下さい」といった内容であるとよい。このような応答対話およびこれに関連する顔表情映像が音声対話装置３０の音声出力部３２および映像出力部３６に出力されている間、音声対話装置３０の発光ダイオード（ＬＥＤ）は、予め設定された色、例えば、黄色に発光して表示（Ｓ６）されて、バッテリが充電される前まで周期的に繰り返し発光ダイオード（ＬＥＤ）を赤色に点滅させて表示（Ｓ７）する。
【０１１２】
以上、本発明の好ましい実施形態について詳細に説明したが、本発明の権利範囲はこれに限定されるものではなく、以下の請求の範囲で定義している本発明の基本概念を利用した当業者の様々な変形および改良形態も本発明の権利範囲に属する。
【符号の説明】
【０１１３】
３０：音声対話装置
５０：携帯用端末
【図１】
2014204429.tif 000003
【図２】
2014204429.tif 000004
【図３】
2014204429.tif 000005
【図４】
2014204429.tif 000006
【図５】
2014204429.tif 000007
【図６】
2014204429.tif 000008
【図７】
2014204429.tif 000009
【図８】
2014204429.tif 000010
【図９】
2014204429.tif 000011
【図１０】
2014204429.tif 000012
【図１１】
2014204429.tif 000013
【図１２】
2014204429.tif 000014
【図１３】
2014204429.tif 000015
【図１４】
2014204429.tif 000016
【図１５】
2014204429.tif 000017
【図１６】
2014204429.tif 000018
【図１７】
2014204429.tif 000019
【図１８】
2014204429.tif 000020
【図１９】
2014204429.tif 000021
【図２０】
2014204429.tif 000022
【図２１】
2014204429.tif 000023