(57)【要約】【課題】  本発明の目的とするところは、ユーザ特性及び好みを考慮して多様な音声出力が可能な端末装置及び端末装置の制御方法を提供することにある。【解決手段】  端末装置が開示される。本端末装置は、ユーザ音声を収集するための音声収集部と、外部サーバに収集されたユーザ音声を伝送し、ユーザ音声に対応する応答情報を受信する通信部と、応答情報を音声信号に変換する音声変換部と、変換された音声信号を出力する音声出力部と、収集されたユーザ音声の周波数及び音色のうち少なくとも一方を分析し、応答情報を分析結果に対応する音声特性を有する音声信号に変換するように制御する制御部とを含む。【選択図】      図１
2014002383.tif 000002
【特許請求の範囲】
【請求項１】
ユーザ音声を収集するための音声収集部と、
外部サーバに前記収集されたユーザ音声を伝送し、前記ユーザ音声に対応する応答情報を受信する通信部と、
前記応答情報を音声信号に変換する音声変換部と、
前記変換された音声信号を出力する音声出力部と、
前記収集されたユーザ音声の周波数及び音色のうち少なくとも一方を分析し、前記応答情報を前記分析結果に対応する音声特性を有する音声信号に変換するように制御する制御部と
を含む端末装置。
【請求項２】
前記外部サーバは、
第１サーバ及び第２サーバを含み、
前記通信部は、
前記収集されたユーザ音声を前記第１サーバに伝送し、前記第１サーバから前記ユーザ音声に対応するテキスト情報を受信する第１通信部と、
前記受信されたテキスト情報を前記第２サーバに伝送し、前記テキスト情報に対応する応答情報を受信する第２通信部と
を含むことを特徴とする請求項１に記載の端末装置。
【請求項３】
前記制御部は、
前記ユーザ音声の周波数及び音色のうち少なくとも一方を分析し、ユーザの性別及び年齢のうち少なくとも一方を判断し、前記応答情報を前記判断結果に対応する出力周波数の音声信号に変換することを特徴とする請求項１に記載の端末装置。
【請求項４】
ユーザ音声の周波数及び音色のうち少なくとも一方に対応する性別及び年齢情報のうち少なくとも一方を含む第１情報、及び性別及び年齢情報のうち少なくとも一方に対応する出力周波数情報を含む第２情報を保存する保存部を更に含み、
前記制御部は、
前記ユーザ音声の周波数及び音色のうち少なくとも一方と前記第１情報とを比較し、前記ユーザの性別及び年齢のうち少なくとも一方を判断し、前記判断されたユーザの性別及び年齢のうち少なくとも一方と前記第２情報とを比較し、前記出力周波数を決定することを特徴とする請求項３に記載の端末装置。
【請求項５】
撮像部を更に含み、
前記制御部は、
前記撮像部によって撮像されたユーザイメージを分析して前記ユーザの性別及び年齢のうち少なくとも一方を判断することを特徴とする請求項３に記載の端末装置。
【請求項６】
予め分析されたユーザ音声の周波数及び音色のうち少なくとも一方及び対応する音声特性を保存する保存部を更に含み、
前記制御部は、
前記収集されたユーザ音声の周波数及び音色のうち少なくとも一方が、前記保存部に保存されたユーザ音声の周波数及び音色のうち少なくとも一方と同じである場合、前記受信された応答情報を前記保存部に保存された音声特性を有する音声信号に変換することを特徴とする請求項１に記載の端末装置。
【請求項７】
前記応答情報に係る応答メッセージをディスプレイするディスプレイ部を更に含み、
前記制御部は、
前記応答メッセージを前記分析結果に対応する形態でディスプレイするように制御することを特徴とする請求項１に記載の端末装置。
【請求項８】
前記制御部は、
前記応答メッセージを構成するオブジェクトの大きさ、色相、模様及び形状のうち、少なくとも一つを前記分析結果に対応する形態で出力するように制御することを特徴とする請求項７に記載の端末装置。
【請求項９】
ユーザ音声を収集するステップと、
外部サーバに前記収集されたユーザ音声を伝送し、前記ユーザ音声に対応する応答情報を受信するステップと、
前記収集されたユーザ音声の周波数及び音色のうち少なくとも一方を分析するステップと、
前記応答情報を前記分析結果に対応する音声特性を有する音声信号に変換するステップと、
前記変換された音声信号を出力するステップと
を含む端末装置の制御方法。
【請求項１０】
前記外部サーバは、
第１サーバ及び第２サーバを含み、
前記収集されたユーザ音声を伝送し、前記ユーザ音声に対応する応答情報を受信するステップは、
前記収集されたユーザ音声を前記第１サーバに伝送するステップと、
前記第１サーバから前記ユーザ音声に対応するテキスト情報を受信するステップと、
前記受信されたテキスト情報を前記第２サーバに伝送するステップと、
前記テキスト情報に対応する応答情報を受信するステップと
を含むことを特徴とする請求項９に記載の端末装置の制御方法。
【請求項１１】
前記分析するステップは、
前記ユーザ音声の周波数及び音色のうち少なくとも一方を分析し、ユーザの性別及び年齢のうち少なくとも一方を判断し、
前記変換するステップは、
前記応答情報を前記判断結果に対応する出力周波数の音声信号に変換することを特徴とする請求項９に記載の端末装置の制御方法。
【請求項１２】
ユーザ音声の周波数及び音色のうち少なくとも一方に対応する性別及び年齢情報のうち少なくとも一方を含む第１情報、及び性別及び年齢情報のうち少なくとも一方に対応する出力周波数情報を含む第２情報を保存するステップを更に含み、
前記分析するステップは、
前記ユーザ音声の周波数及び音色のうち少なくとも一方と前記第１情報とを比較し、前記ユーザの性別及び年齢のうち少なくとも一方を判断し、
前記変換するステップは、
前記判断されたユーザの性別及び年齢のうち少なくとも一方と前記第２情報とを比較し、前記出力周波数を決定することを特徴とする請求項１１に記載の端末装置の制御方法。
【請求項１３】
ユーザイメージを撮像するステップを更に含み、
前記分析するステップは、
前記撮像されたユーザイメージを分析して前記ユーザの性別及び年齢のうち少なくとも一方を判断することを特徴とする請求項１１に記載の端末装置の制御方法。
【請求項１４】
予め分析されたユーザ音声の周波数及び音色のうち少なくとも一方及び対応する音声特性を保存するステップを更に含み、
前記変換するステップは、
前記収集されたユーザ音声の周波数及び音色のうち少なくとも一方が、前記保存部に保存されたユーザ音声の周波数及び音色のうち少なくとも一方と同じである場合、前記受信された応答情報を前記保存部に保存された音声特性を有する音声信号に変換することを特徴とする請求項９に記載の端末装置の制御方法。
【請求項１５】
前記応答情報に係る応答メッセージを前記分析結果に対応する形態でディスプレイするステップを更に含むことを特徴とする請求項９に記載の端末装置の制御方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、端末装置及び端末装置の制御方法に関し、より詳細には、ユーザ音声に応じて制御される端末装置及び端末装置の制御方法に関する。
【背景技術】
【０００２】
電子技術の発達により、多様な端末装置が開発及び普及されている。特に、最近は、テレビをはじめとする多様な端末装置が一般家庭でも使用されている。これらの装置は、ユーザの要求に応じて、次第に多様な機能を備えるようになっている。特に、テレビの場合、最近は、インターネットと接続されてインターネットサービスまでサポートしている。なお、ユーザは、テレビを通じて多くのデジタル放送チャネルまで視聴できるようになった。
【０００３】
それにより、端末装置の多様な機能を効率的に使用するための多様な入力方法が要求されている。例えば、リモコンを利用した入力方法、マウスを利用した入力方法及びタッチパッドを利用した入力方法等がディスプレイ装置に適用されている。
【０００４】
なお、最近は、より便利かつ直観的な制御のために、ユーザ音声で端末装置を制御し、ユーザ音声に対応する音声を出力する対話型システムに係る制御方法も提供されている。しかし、出力される音声は一律に適用されるため、ユーザ特性及び好みを反映することができていない。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】米国特開第２００７−００７１１８０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
そこで、本発明は、上記問題に鑑みてなされたものであり、本発明の目的とするところは、ユーザ特性及び好みを考慮して多様な音声出力が可能な端末装置及び端末装置の制御方法を提供することにある。
【課題を解決するための手段】
【０００７】
以上のような目的を達成するための本発明の一実施形態に係る端末装置は、ユーザ音声を収集するための音声収集部と、外部サーバに前記収集されたユーザ音声を伝送し、前記ユーザ音声に対応する応答情報を受信する通信部と、前記応答情報を音声信号に変換する音声変換部と、前記変換された音声信号を出力する音声出力部と、前記収集されたユーザ音声の周波数及び音色のうち少なくとも一方を分析し、前記応答情報を前記分析結果に対応する音声特性を有する音声信号に変換するように制御する制御部とを含む。
【０００８】
ここで、前記外部サーバは、第１サーバ及び第２サーバを含み、前記通信部は、前記収集されたユーザ音声を前記第１サーバに伝送し、前記第１サーバから前記ユーザ音声に対応するテキスト情報を受信する第１通信部と、前記受信されたテキスト情報を前記第２サーバに伝送し、前記テキスト情報に対応する応答情報を受信する第２通信部とを含んでよい。
【０００９】
そして、前記制御部は、前記ユーザ音声の周波数及び音色のうち少なくとも一方を分析し、ユーザの性別及び年齢のうち少なくとも一方を判断し、前記応答情報を前記判断結果に対応する出力周波数の音声信号に変換してよい。
【００１０】
そして、ユーザ音声の周波数及び音色のうち少なくとも一方に対応する性別及び年齢情報のうち少なくとも一方を含む第１情報、及び性別及び年齢情報のうち少なくとも一方に対応する出力周波数情報を含む第２情報を保存する保存部を更に含んでよく、前記制御部は、前記ユーザ音声の周波数及び音色のうち少なくとも一方と前記第１情報とを比較し、前記ユーザの性別及び年齢のうち少なくとも一方を判断し、前記判断されたユーザの性別及び年齢のうち少なくとも一方と前記第２情報とを比較し、前記出力周波数を決定してよい。
【００１１】
一方、本発明の一実施形態に係る端末装置は、撮像部を更に含んでよく、前記制御部は、前記撮像部によって撮像されたユーザイメージを分析して前記ユーザの性別及び年齢のうち少なくとも一方を判断してよい。
【００１２】
そして、予め分析されたユーザ音声の周波数及び音色のうち少なくとも一方及び対応する音声特性を保存する保存部を更に含んでよく、前記制御部は、前記収集されたユーザ音声の周波数及び音色のうち少なくとも一方が、前記保存部に保存されたユーザ音声の周波数及び音色のうち少なくとも一方と同じである場合、前記受信された応答情報を前記保存部に保存された音声特性を有する音声信号に変換してよい。
【００１３】
なお、前記応答情報に係る応答メッセージをディスプレイするディスプレイ部を更に含んでよく、前記制御部は、前記応答メッセージを前記分析結果に対応する形態でディスプレイするように制御してよい。
【００１４】
そして、前記制御部は、前記応答メッセージを構成するオブジェクトの大きさ、色相、模様及び形状のうち、少なくとも一つを前記分析結果に対応する形態で出力するように制御してよい。
【００１５】
一方、本発明の一実施形態に係る端末装置の制御方法は、ユーザ音声を収集するステップと、外部サーバに前記収集されたユーザ音声を伝送し、前記ユーザ音声に対応する応答情報を受信するステップと、前記収集されたユーザ音声の周波数及び音色のうち少なくとも一方を分析するステップと、前記応答情報を前記分析結果に対応する音声特性を有する音声信号に変換するステップと、前記変換された音声信号を出力するステップとを含む。
【００１６】
ここで、前記外部サーバは、第１サーバ及び第２サーバを含み、前記収集されたユーザ音声を伝送し、前記ユーザ音声に対応する応答情報を受信するステップは、前記収集されたユーザ音声を前記第１サーバに伝送するステップと、前記第１サーバから前記ユーザ音声に対応するテキスト情報を受信するステップと、前記受信されたテキスト情報を前記第２サーバに伝送するステップと、前記テキスト情報に対応する応答情報を受信するステップとを含んでよい。
【００１７】
そして、前記分析するステップは、前記ユーザ音声の周波数及び音色のうち少なくとも一方を分析し、ユーザの性別及び年齢のうち少なくとも一方を判断し、前記変換するステップは、前記応答情報を前記判断結果に対応する出力周波数の音声信号に変換してよい。
【００１８】
一方、ユーザ音声の周波数及び音色のうち少なくとも一方に対応する性別及び年齢情報のうち少なくとも一方を含む第１情報、及び性別及び年齢情報のうち少なくとも一方に対応する出力周波数情報を含む第２情報を保存するステップを更に含んでよく、前記分析するステップは、前記ユーザ音声の周波数及び音色のうち少なくとも一方と前記第１情報とを比較し、前記ユーザの性別及び年齢のうち少なくとも一方を判断し、前記変換するステップは、前記判断されたユーザの性別及び年齢のうち少なくとも一方と前記第２情報とを比較し、前記出力周波数を決定してよい。
【００１９】
なお、ユーザイメージを撮像するステップを更に含んでよく、前記分析するステップは、前記撮像されたユーザイメージを分析して前記ユーザの性別及び年齢のうち少なくとも一方を判断してよい。
【００２０】
そして、予め分析されたユーザ音声の周波数及び音色のうち少なくとも一方及び対応する音声特性を保存するステップを更に含んでよく、前記変換するステップは、前記収集されたユーザ音声の周波数及び音色のうち少なくとも一方が、前記保存部に保存されたユーザ音声の周波数及び音色のうち少なくとも一方と同じである場合、前記受信された応答情報を前記保存部に保存された音声特性を有する音声信号に変換してよい。
【００２１】
一方、前記応答情報に係る応答メッセージを前記分析結果に対応する形態でディスプレイするステップを更に含んでよい。
【００２２】
そして、前記ディスプレイするステップは、前記応答メッセージを構成するオブジェクトの大きさ、色相、模様及び形状のうち、少なくとも一つを前記分析結果に対応する形態でディスプレイしてよい。
【００２３】
本発明の一実施形態に係る対話型システムの制御方法は、ユーザ音声を収集するステップと、前記ユーザ音声に対応する応答情報を生成するステップと、前記ユーザ音声の周波数及び音色のうち少なくとも一方を分析するステップと、前記応答情報を前記分析結果に対応する音声特性を有する音声信号に変換するステップと、前記変換された音声信号を出力するステップとを含む。
【００２４】
ここで、前記応答情報を生成するステップは、前記ユーザ音声に対応するテキスト情報を生成するステップと、前記テキスト情報に対応する応答情報を生成するステップとを含んでよい。
【発明の効果】
【００２５】
以上説明したように本発明によれば、端末装置のユーザはユーザの性向と、聴覚能力、好み等を考慮した音声及びメッセージを提供されることができるようになる。
【図面の簡単な説明】
【００２６】
【図１】本発明の一実施形態に係る対話型システムを説明するための図である。
【図２】図１に示す対話型システムの各動作を説明するためのタイミング図である。
【図３】図１に示す端末装置の構成を説明するためのブロック図である。
【図４】図３に示す端末装置の細部構成を説明するためのブロック図である。
【図５】図１に示す第１サーバの構成を説明するためのブロック図である。
【図６】図１に示す第２サーバの構成を説明するためのブロック図である。
【図７】本発明の一実施形態に係る対話型システムの動作を説明するための図である。
【図８】本発明の一実施形態に係る端末装置の制御方法を説明するためのフローチャートである。
【図９】本発明の一実施形態に係る対話型システムの制御方法を説明するためのフローチャートである。
【発明を実施するための形態】
【００２７】
以下に添付図面を参照しながら、本発明の好適な実施形態について詳細に説明する。
【００２８】
図１は、本発明の一実施形態に係る対話型システムを説明するための図である。図１に示すように、対話型システムは、端末装置１００と、第１サーバ２００及び第２サーバ３００を含む。端末装置１００は、図１に示すように、スマートテレビであってよいが、それは一例に過ぎず、スマートフォンのような携帯電話、デスクトップパソコン、ノートパソコン、ナビゲーション等のような多様な電子装置で実現されてよい。
【００２９】
端末装置１００は、収集されたユーザの音声を第１サーバ２００に伝送する。端末装置１００からユーザの音声が受信されると、第１サーバ２００は受信されたユーザの音声をテキスト情報に変換し、テキスト情報を端末装置１００に伝送する。
【００３０】
そして、端末装置１００は、第１サーバ２００から受信されたテキスト情報を第２サーバ３００に伝送する。端末装置１００からテキスト情報が受信されると、第２サーバ３００は受信されたテキスト情報に対応する応答情報を生成して端末装置１００に伝送する。
【００３１】
端末装置１００は、応答情報に基づいて、多様な動作を行うことができる。例えば、端末装置１００は、ユーザの音声に対応する応答メッセージを出力することができる。ここで、応答メッセージは、音声またはテキスト形態で出力されてよい。具体的に、端末装置１００は、特定の番組の放送時間を問い合わせるユーザの音声が入力されると、当該番組の放送時間を音声またはテキスト形態で出力することができる。
【００３２】
なお、端末装置１００は、ユーザの音声に対応する機能を実行することができる。例えば、端末装置１００は、チャネル変更のためのユーザ音声が入力されると、当該チャネルを選局してディスプレイすることができる。この場合、端末装置１００は、当該機能に対応する応答メッセージを併せて提供することもできる。上述の例の場合、端末装置１００は、変更されたチャネルに対する情報またはチャネル変更が完了していることを示すメッセージを音声またはテキスト形態で出力することができる。
【００３３】
一方、端末装置１００は、収集されたユーザ音声を分析して第２サーバから受信された応答情報をユーザ音声の分析結果に対応する音声特性を有する音声信号に変換して出力することができる。そして、端末装置１００は、第２サーバから受信された応答情報をテキストで出力するとき、ユーザ音声の分析結果に対応する形態でテキストを出力することができる。それにより、各ユーザは、ユーザ特定に応じて最適化された音声及びテキストを提供されることができる。
【００３４】
同図では、対話型システムが端末装置、第１サーバ及び第２サーバを含むものとして説明したが、対話型システムは端末装置のみで実現されたり、端末装置と一つのサーバのみで実現されてよい。なお、第１サーバ、第２サーバで行われる動作の一部または全部は、端末装置内で行われるように実現されてよい。
【００３５】
図２は、図１に示す対話型システムの各動作を説明するためのタイミング図である。
【００３６】
同図によると、端末装置１００は、ユーザ音声を収集し（Ｓ１０）、第１サーバ２００に伝送する（Ｓ２０）。具体的に、ユーザ音声を収集するためのモードが開始されると、端末装置１００は予め設定された距離内でユーザが発話した音声を収集して第１サーバ２００に伝送することができる。
【００３７】
そのために、端末装置１００は、ユーザが発話した音声を受信するためのマイク等を備えてよい。この場合、マイクは端末装置１００に内蔵されて一体型をなすか、端末装置１００と分離されている形態で実現されてよい。分離されている形態で実現される場合、マイクはユーザが手で握る形態、または食卓やテーブルに置ける形態で実現されてよく、端末装置１００と有線または無線ネットワークを通じて接続されてよい。
【００３８】
第１サーバ２００は、端末装置１００から受信されたユーザ音声をテキスト情報に変換する（Ｓ３０）。具体的に、第１サーバ２００は、ＳＴＴ（Ｓｐｅｅｃｈ  ｔｏ  Ｔｅｘｔ）のためのアルゴリズムを用いて、端末装置１００から受信された音声信号をテキスト情報に変換することができる。そして、第１サーバ２００は、テキスト情報を端末装置１００に伝送する（Ｓ４０）。
【００３９】
端末装置１００は、第１サーバ２００から受信されたテキスト情報を第２サーバ３００に伝送する（Ｓ５０）。
【００４０】
第２サーバ３００は、端末装置１００からテキスト情報が受信されると、テキスト情報に対応する応答情報を生成する（Ｓ６０）。
【００４１】
ここで、応答情報は、端末装置１００からユーザ音声に対応する応答メッセージを出力するための情報（以下で、応答メッセージ情報）を含む。例えば、“○○○（放送番組名）は何時から？”というユーザ音声に対して、第２サーバ３００は、“土曜日の夜７時からです”という応答メッセージが音声またはテキスト形態で端末装置１００から出力されるようにするための情報を端末装置１００に伝送することができる。
【００４２】
更に、応答情報は、端末装置１００でユーザ音声に対応する機能を実行するための制御命令を含んでよい。例えば、“○○○（放送番組名）を録画して”というユーザ音声に対して、第２サーバ３００は端末装置１００で“○○○”の予約録画機能を実行するための制御命令を端末装置１００に伝送することがができる。この場合、応答情報は、端末装置１００で実行される機能に対応する応答メッセージ情報を含んでよい。上述の例において、第２サーバ３００は“○○○の録画が予約されました”という応答メッセージが音声またはテキストで端末装置から出力されるようにするための情報を端末装置１００に伝送することができる（Ｓ７０）。
【００４３】
一方、端末装置１００は、受信された応答情報に基づいて、ユーザ音声に対応する動作を実行する（Ｓ８０）。
【００４４】
具体的に、端末装置１００は、応答情報に含まれた応答メッセージ情報に基づいて、ユーザ音声に対応する応答メッセージを出力することができる。例えば、第２サーバ３００からテキスト形態の応答メッセージ情報が受信される場合、端末装置１００は、ＴＴＳ（Ｔｅｘｔ  ｔｏ  Ｓｐｅｅｃｈ）アルゴリズムを用いてテキスト形態の応答メッセージ情報を音声に変換して出力したり、応答メッセージ情報を構成するテキストが含まれるようにＵＩ（Ｕｓｅｒ  Ｉｎｔｅｒｆａｃｅ）画面を構成して出力することができる。
【００４５】
ここで、端末装置１００は、収集されたユーザ音声を分析して第２サーバから受信された応答情報をユーザ音声の分析結果に対応する音声特性を有する音声信号に変換して出力することができる。そして、端末装置１００は、第２サーバから受信された応答情報をテキストで出力するとき、ユーザ音声の分析結果に対応する形態でテキストを出力することができる。それにより、各ユーザは、ユーザ特性に応じて最適化された音声及びテキストを提供されることができる。
【００４６】
なお、端末装置１００は、応答情報に含まれた制御命令に従って、ユーザ音声に対応する機能を実行することができる。例えば、第２サーバ３００から特定放送番組に対する予約録画を実行するための制御命令が受信されると、端末装置１００は当該放送番組に対する予約録画を実行することができる。
【００４７】
図３は、図１に示す端末装置の構成を説明するためのブロック図である。同図によると、端末装置１００は、音声収集部１１０と、通信部１２０と、音声変換部１３０と、音声出力部１４０及び制御部１５０を含む。
【００４８】
音声収集部１１０は、ユーザの音声を収集する。例えば、音声収集部１１０は、ユーザの音声を収集するためのマイクで実現され、端末装置１００に内蔵されて一体型になるか、端末装置１００と分離されている形態で実現されてよい。分離されている形態で実現される場合、音声収集部１１０は、ユーザが手で握る形態、または食卓やテーブルに置ける形態で実現されてよく、端末装置１００と有線または無線ネットワークを通じて接続されて収集されたユーザの音声を端末装置１００に伝送することができる。
【００４９】
一方、音声収集部１１０は、収集されたユーザの音声を処理し、音声信号を生成する。すなわち、音声収集部１１０は、収集されたユーザの音声からノイズ（例えば、エアコンの音、掃除機の音、音楽の音等）を除去して、音声信号を生成することができる。
【００５０】
具体的に、音声収集部１１０は、アナログ形態のユーザ音声が入力されると、それをサンプリングしてデジタル信号に変換する。そして、音声収集部１１０は、変換されたデジタル信号のエネルギーを計算し、デジタル信号のエネルギーが予め設定された値以上か否かを判断する。
【００５１】
デジタル信号のエネルギーが予め設定された値以上の場合、音声収集部１１０はデジタル信号からノイズ成分を除去して通信部１２０に伝達する。このとき、ノイズ成分は、家庭環境で生じ得る突発性雑音として、エアコンの音、掃除機の音、音楽の音等が含まれてよい。一方、デジタル信号のエネルギーが予め設定された値未満である場合、音声収集部１１０はデジタル信号に他の処理過程を行うことなく、別の入力を待つ。それにより、ユーザ発話音声ではない別の音によって全オーディオ処理過程が活性化されないため、無駄な電力消耗を防止することができる。
【００５２】
通信部１２０は、外部サーバ２００、３００と通信する。そのために、通信部１２０は第１通信部（図４の１２１）及び第２通信部（図４の１２２）で実現されてよい。
【００５３】
第１通信部１２１は、第１サーバ（図１の２００）と通信を行う。具体的に、第１通信部１２１は、ユーザ音声を第１サーバ２００に伝送し、ユーザ音声に対応するテキスト情報を第１サーバ２００から受信することができる。
【００５４】
第２通信部１２２は、第２サーバ（図１の３００）と通信を行う。具体的に、第２通信部１２２は受信されたテキスト情報を第２サーバ３００に伝送し、テキスト情報に対応する応答情報を第２サーバ３００から受信することができる。
【００５５】
そのために、第１通信部１２１及び第２通信部１２２は、近距離無線通信モジュール（図示せず）、無線通信モジュール（図示せず）等のような多様な通信モジュールを含んでよい。ここで、近距離無線通信モジュールとは、ブルートゥース（Ｂｌｕｅｔｏｏｔｈ（登録商標））、Ｚｉｇｂｅｅ（登録商標）方式等のような近距離通信方式により、近距離に位置している外部機器と通信を行うためのモジュールである。なお、無線通信モジュールとは、ＷｉＦｉ、ＩＥＥＥ等のような無線通信プロトコールによって外部ネットワークに接続されて通信を行うモジュールである。その他に、無線通信モジュールは、３Ｇ（３ｒｄ  Ｇｅｎｅｒａｔｉｏｎ）、３ＧＰＰ（３ｒｄ  Ｇｅｎｅｒａｔｉｏｎ  Ｐａｒｔｎｅｒｓｈｉｐ  Ｐｒｏｊｅｃｔ）、ＬＴＥ（Ｌｏｎｇ  Ｔｅｒｍ  Ｅｖｏｌｕｔｉｏｎ）等のような多様な移動通信規格に応じて移動通信網に接続して通信を行う移動通信モジュールを更に含んでよい。
【００５６】
一方、上述の実施形態では、端末装置１００が第１サーバ２００及び第２サーバ３００と通信を行うために、別途の通信部１２１、１２２を備えるものとして説明したが、それは一例に過ぎない。すなわち、端末装置１００は、一つの通信モジュールを通じて第１サーバ２００及び第２サーバ３００を通信を行うことができる。
【００５７】
音声変換部１３０は、第２サーバから受信された応答信号を音声信号形態に変換する。音声信号形態に変換された応答情報は音声出力部１４０を介して出力されてよい。
【００５８】
音声出力部１４０は、音声変換部１３０で変換された音声信号を出力する。そのために、音声出力部１４０は、スピーカまたはジャック等のような出力ポートで実現され、音声変換部で変換された音声信号を出力することができる。
【００５９】
制御部１５０は、端末装置１００の動作全般を制御する。具体的に、制御部１５０は、音声収集部１１０と、通信部１２０と、音声変換部１３０及び音声出力部１４０のそれぞれを制御して対応する動作を実行するように制御することができる。
【００６０】
特に、制御部１５０は、音声収集部１１０で収集されたユーザ音声を分析し、第２サーバから受信された応答情報を分析結果に対応する音声特性を有する音声信号に変換するように音声変換部１３０を制御することができる。具体的に、制御部１５０は、収集されたユーザ音声の周波数、音色及び音量のうち少なくとも一つを分析することができる。そして、分析結果に応じて、ユーザの性別及び年齢のうち少なくとも一方を判断し、応答情報をユーザの性別及び年齢のうち少なくとも一方に対応する音声特性を有する音声信号に変換するように音声変換部１３０を制御することができる。ここで、音声特性とは、周波数、音色及び音量を指し、制御部１５０は、周波数、音色及び音量のうち少なくとも一つをユーザの性別及び年齢のうち少なくとも一方に対応するように変換することができる。
【００６１】
例えば、音声収集部１１０が６０歳の男性が発話した音声を収集した場合、制御部１５０は収集した６０歳の男性の音声の周波数、音色及び音量のうち少なくとも一つを分析し、ユーザが６０歳の男性であることを判断することができる。ユーザの性別及び年齢を判断するとき、性別及び年齢に係る音声の平均周波数、音色及び音量等のデータベースに基づいて、最も近い性別及び年齢をユーザの性別及び年齢に判断することができる。ユーザの性別及び年齢が６０歳の男性と判断された場合、制御部１５０は一般的な６０歳の男性の聴覚特性によって出力される音声信号の音声特性を変換することができる。例えば、お年寄りの聴覚能力は、高周波数部分から次第に減少するため、６０歳のお年寄りの聴覚能力を考慮して相対的に低周波数を有する音声信号に変換することができる。一方、変換される音声特性も性別及び年齢に係る可聴周波数範囲、もっとも良く聞こえる平均周波数、音色等のデータベースに基づいて決定することができる。
【００６２】
図４は、図３に示す端末装置の細部構成を説明するためのブロック図である。同図に示すように、端末装置１００は、図３に示す構成要素の他に、保存部１６０と、ディスプレイ部１７０と、撮像部１８０と、入力部１８５と、受信部１９０及び信号処理部１９５を更に含んでよい。同図に示す構成のうち、図３に示す構成と重複する構成は、その機能が同様であるため、詳細な説明は省略する。
【００６３】
保存部１６０は、音声特性に係るユーザ特性情報を含む情報（第１情報）を保存することができる。ここで、音声特性とは、周波数、音色及び音量のうち少なくとも一つを含み、ユーザ特性情報とは、性別及び年齢のうち少なくとも一方を含む。なお、保存部１６０は、ユーザ特性情報に対応する出力音声特性情報を含む情報（第２情報）を保存することができる。出力音声特性情報とは、音声出力部１４０から出力される音声の特性情報（周波数、音色等）を意味する。
【００６４】
第１情報は、制御部１５０が音声収集部１１０によって収集されたユーザ音声を分析してユーザ特性を判断するとき、第２情報は、制御部１５０が応答情報を判断結果に対応する音声特性に変換するときに使用されてよい。すなわち、制御部１５０は、収集されたユーザ音声の音声特性と第１情報の音声特性とを比較し、最も近い音声特性に対応する性別及び年齢（性別または年齢）を判断することができる。そして、判断されたユーザの性別及び年齢を第２情報の性別及び年齢と比較し、一致する性別及び年齢情報に対応する音声特性出力音声特性に決定することができる。
【００６５】
そして、保存部１６０は、制御部１５０によって収集されたユーザ音声が分析されると、分析されたユーザ音声の音声特性及びそれに対応する音声特性情報（第３情報）をマッチングさせて保存することができる。第３情報は、制御部１５０がユーザの性別及び年齢を判断することなく（または、判断するとしても判断結果とは関係なく）収集されたユーザ音声の分析結果そのもので、出力音声特性情報を決定することができるようにする。すなわち、収集されたユーザ音声の音声特性が保存部に保存された第３情報と比較して一致する情報がある場合、ユーザの性別及び年齢を判断せずに収集されたユーザ音声と一致する音声特性に対応する出力音声特性を出力音声特性に決定することができる。
【００６６】
一方、出力される音声特性情報を各ユーザが設定できるように、第３情報はユーザ識別情報を更に含んでよい。すなわち、予め分析されたユーザ音声の音声特性、ユーザ識別情報及び出力音声特性情報を併せて保存することができる。ユーザは、ユーザ識別情報を確認し、自分の音声特性にマッチングしている出力される音声特性を変更することもできる。
【００６７】
ディスプレイ部１７０は、ユーザにディスプレイ画面を提供する。具体的に、ディスプレイ部は、液晶表示装置（Ｌｉｑｕｉｄ  Ｃｒｙｓｔａｌ  Ｄｉｓｐｌａｙ：ＬＣＤ）、有機電気発光ダイオード（Ｏｒｇａｎｉｃ  Ｌｉｇｈｔ  Ｅｍｉｔｔｉｎｇ  Ｄｉｓｐｌａｙ：ＯＬＥＤ）またはプラズマ表示パネル（Ｐｌａｓｍａ  Ｄｉｓｐｌａｙ  Ｐａｎｅｌ：ＰＤＰ）等で実現され、端末装置１００を介して提供可能な多様なディスプレイ画面を提供することができる。特に、ディスプレイ部１７０は、ユーザ音声に対応する応答メッセージをテキストまたはイメージ形態でディスプレイすることができる。
【００６８】
そして、ディスプレイ部１７０は、制御部１５０の制御に従って、ユーザ音声に対応する応答メッセージをユーザ音声の分析結果に対応する形態でディスプレイすることができる。具体的に、応答メッセージを構成するオブジェクトの大きさ、色相、模様及び形状のうち、少なくとも一つの分析結果に対応する形態でディスプレイすることができる。出力される応答メッセージの形態は、収集したユーザ音声の分析結果に応じて出力音声特性が決定されるものと類似するように決定されてよい。
【００６９】
例えば、ユーザの年齢が７歳である場合、一般的に子供は小さいサイズのテキストまたはイメージに慣れていないため、ディスプレイ部１７０は応答メッセージを構成するオブジェクトを７歳の子供に適するように相対的に大きく表示することができる。なお、７歳の子供が好む色鮮やかで可愛い形のイメージまたはテキストをディスプレイすることができる。
【００７０】
撮像部１８０は、ユーザを撮像する。特に、撮像部１８０は、端末装置１００を使用するユーザの顔領域を撮像することができる。そのために、撮像部１８０は、カメラで実現されてよい。撮像部１８０は、端末装置１００に内蔵されてよく、端末装置１００と有無線で接続された外部装置で実現されてよい。
【００７１】
制御部１５０は、撮像部１８０によって撮像されたユーザイメージを分析し、ユーザの性別及び年齢のうち少なくとも一方を判断することができる。特に、ユーザイメージの分析結果は、収集されたユーザ音声を分析し、ユーザの年齢、性別を判断するとき、補助的な資料として使用されてよい。
【００７２】
入力部１８５は、多様なユーザ操作を入力され、制御部１５０に伝達するための入力手段として、入力パネルで実現されてよい。ここで、入力パネルは、タッチパッド（Ｔｏｕｃｈ  Ｐａｄ）或いは各所の機能キー、数字キー、特殊キー、文字キー等を備えたキーパッド（Ｋｅｙ  Ｐａｄ）またはタッチスクリーン（Ｔｏｕｃｈ  Ｓｃｒｅｅｎ）方式で構成されてよい。更に、入力部１８５は、端末装置１００を制御するためのリモコンから伝送されるリモコン信号を受信するためのＩＲ受信部（図示せず）で実現されてよい。
【００７３】
一方、入力部１８５は、端末装置１００の機能を制御するための各種ユーザ操作を入力されてよい。例えば、端末装置１００がスマートテレビで実現される場合、電源オン／オフ、チャネル変更、音量変更等、スマートテレビの機能を制御するためのユーザ操作を入力されてよい。この場合、制御部１５０は、入力部１８５を介して入力されたユーザ操作に対応する各種機能を実行するように、別の構成要素を制御することができる。例えば、制御部１５０は、電源オフ命令が入力されると、端末装置の要素に供給される電源を遮断することができ、チャネル変更が入力されると、ユーザ操作に応じて選択されたチャネルを選局するように受信部１９０を制御することができる。
【００７４】
特に、入力部１８５は、ユーザの音声を収集するための音声認識モードを開始するためのユーザ操作を入力される。例えば、入力部１８５は、ディスプレイ部とともにタッチスクリーンの形態で実現され、音声認識モードを入力されるためのオブジェクト（仮に、アイコン）をディスプレイすることができる。一方で、入力部１８５は、音声認識モードを入力されるための別途のボタンを備えることもできる。音声認識モードを開始するためのユーザ操作が入力部１８５を介して入力されると、制御部１５０は音声収集部１１０を活性化して予め設定された距離内で発話されるユーザの音声を収集することができる。そして、制御部１５０は、第１サーバ２００及び第２サーバ３００と通信を通じて収集されたユーザ音声に対応する応答情報を受信し、応答メッセージを出力したり、特定機能を実行するように制御することができる。
【００７５】
受信部１９０は、多様なコンテンツを受信する。具体的に、受信部１９０は、放送ネットワークを用いて放送番組コンテンツを伝送する放送局またはインターネットを用いてコンテンツファイルを伝送するウェブサーバからコンテンツを受信する。なお、端末装置１００内に設けられたり、端末装置１００に接続された各種記録媒体再生装置からコンテンツを受信することもできる。記録媒体再生装置とは、ＣＤ、ＤＶＤ、ハードディスク、ブルーレイディスク、メモリカード、ＵＳＢメモリ等のような多様な記録媒体に保存されたコンテンツを再生する装置を意味する。
【００７６】
放送局からコンテンツを受信する実施形態の場合には、受信部１９０はチューナ（図示せず）、復調器（図示せず）、等化器（図示せず）等のような構成を含む形態で実現されてよい。一方、ウェブサーバのようなソースからコンテンツを受信する実施形態の場合には、受信部１９０はネットワークインターフェースカード（図示せず）で実現されてよい。なお、上述の各種記録媒体再生装置からコンテンツを受信する実施形態の場合には、受信部１９０は、記録媒体再生装置と接続されたインターフェース部（図示せず）で実現されてよい。このように、受信部１９０は、実施形態に応じて多様な形態で実現されてよい。
【００７７】
信号処理部１９５は、受信部１９０を介して受信されたコンテンツが出力部１１０を介して出力されるようにコンテンツに対する信号処理を行う。
【００７８】
具体的に、信号処理部１９５は、コンテンツに含まれたビデオ信号に対してデコード、スケーリング及びフレームレート変換等の動作を行い、ディスプレイ部１７０から出力可能な形態でビデオ信号を変換することができる。なお、信号処理部１９５は、コンテンツに含まれたオーディオ信号に対してデコード等の信号処理を行って音声出力部１４０から出力可能な形態でオーディオ信号を変換することができる。
【００７９】
図５は、図１に示す第１サーバの構成を説明するためのブロック図である。図５に示すように、第１サーバ２００は、通信部２１０及び制御部２２０を含む。
【００８０】
通信部２１０は、端末装置１００と通信を行う。具体的に、通信部２１０は、端末装置１００からユーザの音声を受信し、ユーザ音声に対応するテキスト情報を端末装置１００に伝送することができる。そのために、通信部２１０は、近距離無線通信モジュール（図示せず）、無線通信モジュール（図示せず）等のような多様な通信モジュールを含んでよい。
【００８１】
制御部２２０は、第１サーバ２００の動作全般を制御する。特に、制御部２２０は、端末装置１００からユーザの音声が受信されると、ユーザの音声に対応するテキスト情報を生成し、それを端末装置１００に伝送するように通信部２１０を制御する。
【００８２】
具体的に、制御部２２０は、ＳＴＴ（Ｓｐｅｅｃｈ  Ｔｏ  Ｔｅｘｔ）エンジンを用いて、ユーザの音声に対応するテキスト情報を生成することができる。ここで、ＳＴＴエンジンとは、音声信号をテキストに変換するためのモジュールとして、従来開示されている多様なＳＴＴアルゴリズムを用いて音声信号をテキストに変換することができる。
【００８３】
例えば、制御部２２０は、受信された音声信号内でユーザが発話した音声の開始と終了とを検出して音声区間を判断する。具体的に、制御部２２０は、受信された音声信号のエネルギーを計算し、計算されたエネルギーに応じて音声信号のエネルギーレベルを分類して、動的プログラミングを通じて音声区間を検出することができる。そして、制御部２２０は、検出された音声区間内において、音響モデル（Ａｃｏｕｓｔｉｃ  Ｍｏｄｅｌ）に基づいて、音声の最小単位である音素を検出して音素データを生成し、生成された音素データにＨＭＭ（Ｈｉｄｄｅｎ  Ｍａｒｋｏｖ  Ｍｏｄｅｌ）確率モデルを適用して、テキスト情報を生成することができる。
【００８４】
図６は、図１に示す第２サーバの構成を説明するためのブロック図である。図６に示すように、第２サーバ３００は、通信部３１０と、保存部３２０及び制御部３３０を含む。
【００８５】
通信部３１０は、端末装置１００と通信を行う。具体的に、通信部３１０は、端末装置１００からテキスト情報を受信し、テキスト情報に対応する応答情報を端末装置１００に伝送することができる。そのために、通信部３１０は、近距離無線通信モジュール（図示せず）、無線通信モジュール（図示せず）等のような多様な通信モジュールを含んでよい。
【００８６】
保存部３２０は、端末装置１００から受信されたテキスト情報に対応する応答情報を生成するための多様な情報を保存する。
【００８７】
具体的に、保存部３２０は、特定サービスドメインごとに予め定義された対話作用（ｄｉａｌｏｇｕｅ  ａｃｔ）、主作用（ｍａｉｎ  ａｃｔｉｏｎ）及び構成要素（ｃｏｍｐｏｎｅｎｔ  ｓｌｏｔ）を保存することができる。例えば、放送ドメインの場合、対話作用は、当該文章が叙述部（Ｓｔａｔｅｍｅｎｔ）、要求文（Ｒｅｑｕｅｓｔ）またはＷｈｙ疑問文（ＷＨ−Ｑｕｅｓｔｉｏｎ）、Ｙｅｓ−Ｎｏ疑問文（ＹＮ−Ｑｕｅｓｔｉｏｎ）等を含み、主作用は、テレビのオン／オフ、番組検索、番組時間検索、番組予約等を含み、構成要素は、ジャンル、番組名、開始時間、チャネル名、俳優名等を含んでよい。
【００８８】
なお、保存部３２０は、各ドメイン別にユーザの発話意図に対応する回答を保存するコーパス（ｃｏｒｐｕｓ）データベースを含んでよい。例えば、放送サービスドメインで特定番組のジャンルを問い合わせるユーザの発話意図に対応する回答として、“…番組のジャンルは、…です”を保存することができ、番組開始時間を問い合わせるユーザの発話意図に対応する回答として、“…番組の開始時間は…です”を保存することができる。
【００８９】
そして、保存部３２０は、ユーザの発話意図別にマッチングしている制御命令を保存することができる。例えば、ユーザの発話意図がチャネル変更である場合、端末装置１００のチャネルを変更するための制御命令をマッチングさせて保存し、ユーザの発話意図は予約録画である場合、端末装置１００で特定番組に対する予約録画機能を実行させるための制御命令をマッチングさせて保存することができる。
【００９０】
制御部３３０は、第２サーバ３００の動作全般を制御する。特に、通信部３１０を介して端末装置１００からユーザの音声に対応するテキスト情報が受信されると、制御部３３０は、受信されたテキスト情報に対応する応答情報を生成し、生成された応答情報を通信部３１０を介して端末装置装置１００に伝送するように制御することができる。
【００９１】
具体的に、制御部３３０は、保存部３２０に対話作用、主作用及び構成要素を用いて端末装置１００から受信されたテキスト情報に対応するユーザの発話意図を把握し、ユーザの発話意図に対応する制御命令及び回答を応答情報として生成することができる。
【００９２】
例えば、“○○○（放送番組名）を予約して”というテキストが端末装置１００から受信された場合を仮定する。この場合、制御部３３０は、対話作用を通じて受信されたテキストが“要請”に関連した文章形態であると判断し、主作用及び構成要素を通じて“○○○”に対する“番組予約”を望むと判断する。結果として、制御部３３０は、受信されたテキスト情報に対応するユーザの発話意図は“○○○”に対して“番組予約”を“要請”するものと判断することができる。
【００９３】
それにより、制御部３３０は、“○○○”に対して“番組予約”を“要請”するユーザの発話意図に対して端末装置１００で“○○○”の予約録画機能を実行するための制御命令を生成することができる。この場合、制御部３３０は、コーパスＤＢを用いて“○○○の録画が予約されました”という応答メッセージ情報をテキスト形態で更に生成し、制御命令とともに端末装置１００に伝送することができる。
【００９４】
別の例として、“○○○は何時から？というテキストが端末装置１００から受信された場合を仮定する。この場合、制御部３３０は、対話作用を通じて受信されたテキストが文章の形態が“疑問形”であると判断し、主作用及び構成要素を通じて、“○○○”に対する“番組開始時間”を知りたがっていると判断する。結果として、制御部３３０は、受信されたテキスト情報に対応するユーザの発話意図は“○○○”に対して“番組開始時間”を“問い合わせる”ものと判断することができる。
【００９５】
それにより、制御部３３０は、“○○○”に対して“番組開始時間”を“問い合わせる”ユーザの発話意図に対してＥＰＧ（Ｅｌｅｃｔｒｏｎｉｃ  Ｐｒｏｇｒａｍ  Ｇｕｉｄｅ）情報を用いて“○○○”に対する放送開始時間を検索し、“土曜日の７時からです”という応答メッセージ情報をテキストの形態で生成して端末装置１００に伝送することができる。
【００９６】
一方、端末装置１００で応答メッセージの一部の文章の形態のデータを保存している場合、制御部３３０は、当該文章を完成させるための一部のテキストを端末装置１００に伝送することができる。
【００９７】
例えば、“○番にチャネルを変えて”というテキストが端末装置１００から受信された場合を仮定する。この場合、制御部３３０は、対話作用を通じて受信されたテキストが“要請”に関連した文章の形態であると判断し、主作用及び構成要素を通じて“○番”に“チャネル変更”を望むと判断する。結果として、制御部３３０は、受信されたテキスト情報に対応するユーザの発話意図は“○番”への“チャネル変更”を“要請”すると判断することができる。
【００９８】
それにより、制御部３３０は、端末装置１００で“○番”へのチャネル変更を行うための制御命令を生成して端末装置１００に伝送することができる。このとき、端末装置１００で“チャネルを…番に変更しました”というテキストデータを保存している場合、制御部３３０は、“チャネルを○番に変更しました”という応答メッセージが端末装置１００から出力されるようにするために、“○番”という応答メッセージ情報をテキストの形態で生成し、制御命令とともに端末装置１００に伝送することができる。
【００９９】
図７は、本発明の一実施形態に係る対話型システムの動作を説明するための図である。
【０１００】
例えば、図７の（ａ）に示すように、特定放送番組を視聴していた４０歳の男性ユーザ６２０が“○○○（放送番組名）は何時から？”と発話した場合を仮定する。この場合、端末装置６１０は、サーバ（図示せず）との連動を通じて収集された“○○○は何時から？”に対応する応答メッセージを出力することができる。具体的に、サーバが“○○○は何時から？”に対するユーザの発話意図を判断することができる場合、端末装置６１０はサーバから受信された応答情報を受信する。
【０１０１】
なお、端末装置６１０は、ユーザ６２０の発話音声を収集して分析し、分析結果に対応する出力音声特性を決定し、応答情報に基づいて“○○○は何時から？”に対する回答として“火曜日の夜６時からです”を決定された出力音声特性として出力することができる。
【０１０２】
一方、上述の実施形態では、端末装置６１０が音声で応答メッセージを出力しているが、図７の（ｂ）のように、端末装置６１０は収集されたユーザ６２０の音声の分析結果に対応する形態で“火曜日の夜６時からです”をディスプレイ画面上にテキストで出力することもできる。
【０１０３】
図８は、本発明の一実施形態に係る端末装置の制御方法を説明するためのフローチャートである。
【０１０４】
まず、ユーザの音声を収集する（Ｓ８１０）。具体的に、端末装置と一体型をなすか、分離されている形態のマイクを通じて、ユーザの音声を収集することができる。
【０１０５】
その後、ユーザ音声を外部サーバに伝送し（Ｓ８２０）、ユーザ音声に対応する応答情報を受信する（Ｓ８３０）。具体的には、収集されたユーザ音声を第１サーバに伝送し、第１サーバからユーザの音声に対応するテキスト情報を受信する。続いて、受信されたテキスト情報を第２サーバに伝送し、テキスト情報に対応する応答情報を第２サーバから受信する。
【０１０６】
そして、収集されたユーザ音声の音声特性（周波数、音色及び音量のうち少なくとも一つ）を分析する（Ｓ８４０）。具体的に、ユーザ音声の音声特性を分析し、ユーザ特性（年齢及び性別のうち少なくとも一方）を判断することができる。
【０１０７】
その後、受信した応答情報を分析結果に対応する音声特性を有する音声信号に変換し（Ｓ８５０）、変換された音声信号を出力する（Ｓ８６０）。すなわち、分析結果に応じて、応答情報の音声出力特性（周波数、音色及び音量のうち少なくとも一つ）が決定されてよい。
【０１０８】
一方、本発明の一実施形態に係る端末装置の制御方法は、ユーザ音声特性に対応するユーザ特性情報（第１情報）及びユーザ特性情報に対応する出力周波数情報（第２情報）を保存するステップを更に含んでよく、分析するステップ（Ｓ８４０）は、収集されたユーザ音声の音声特性と保存された音声特性とを比較し、ユーザ特性を判断することができ、変換するステップ（Ｓ８５０）は、判断されたユーザ特性を第２情報と比較して出力音声特性を決定することができる。
【０１０９】
なお、ユーザイメージを撮像するステップを更に含んでよく、分析するステップ（Ｓ８４０）は、撮像されたユーザイメージを分析してユーザ特性を判断することができる。特に、ユーザイメージ分析結果は、ユーザ特性を判断するのに補助的な資料として使用されてよい。
【０１１０】
一方、収集されたユーザ音声が分析され、対応する出力音声特性が決定された場合、分析されたユーザ音声特性及び決定された出力音声特性を保存するステップを更に含んでよく、変換するステップ（Ｓ８５０）は、新たに収集されたユーザ音声の音声特性が保存されたユーザ音声特性と同じである場合、受信された応答情報を保存部に保存された出力音声特性を有する音声信号に変換することができる。
【０１１１】
そして、受信された応答情報に係る応答メッセージを分析結果に対応する形態でディスプレイするステップを更に含んでよい。特に、ディスプレイするステップは、応答メッセージを構成するオブジェクトの大きさ、色相、模様及び形状のうち、少なくとも一つを分析結果に対応する形態で出力することができる。
【０１１２】
それにより、端末装置は応答情報を出力する際、ユーザの性向や聴覚能力、好み等を考慮した音声及びメッセージを出力することができるようになる。
【０１１３】
図９は、本発明の一実施形態に係る対話型システムの制御方法を説明するためのフローチャートである。対話型システムは、端末装置のみで実現されたり、端末装置及び少なくとも一つのサーバで実現されてよい。対話型システムの制御方法で行われる各ステップは、実施形態によって端末装置または少なくとも一つのサーバで行われてよい。
【０１１４】
まず、ユーザの音声を収集する（Ｓ９１０）。具体的に、対話型システムと一体型をなすか、分離されている形態のマイクを通じて、ユーザの音声を収集することができる。
【０１１５】
そして、受信されたユーザ音声に対応する応答情報を生成する（Ｓ９２０）。具体的に、応答情報は、ユーザ音声に対応するテキスト情報を生成し、テキスト情報に対応する応答情報を生成することができる。
【０１１６】
そして、収集されたユーザ音声の音声特性（周波数、音色及び音量のうち少なくとも一つ）を分析する（Ｓ９３０）。具体的に、ユーザ音声の音声特性を分析してユーザ特性（年齢及び性別のうち少なくとも一方）を判断することができる。一方、応答情報を生成するステップ（Ｓ９２０）と、ユーザ音声の音声特性を分析するステップ（Ｓ９３０）は順番に関係なく行われてよい。
【０１１７】
その後、生成された応答情報を分析結果に対応する応答特性を有する音声信号に変換し（Ｓ９４０）、変換された音声信号を出力する（Ｓ９５０）。すなわち、分析結果に応じて、応答情報と音声出力特性（周波数、音色及び音量のうち少なくとも一つ）が決定されてよい。
【０１１８】
一方、上述の本発明の多様な実施形態に係る端末装置の制御方法及び対話型システムの制御方法は、端末装置で実行可能なプログラムで実現されてよい。そして、このようなプログラムは、多様な記録媒体に保存されて使用されてよい。
【０１１９】
具体的には、上述の方法を行なうためのコードは、フラッシュメモリ、ＲＯＭ（Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）、ＥＰＲＯＭ（Ｅｒａｓａｂｌｅ  Ｐｒｏｇｒａｍｍａｂｌｅ  ＲＯＭ）、ＥＥＰＲＯＭ（Ｅｌｅｃｔｒｏｎｉｃａｌｌｙ  Ｅｒａｓａｂｌｅ  ａｎｄ  Ｐｒｏｇｒａｍｍａｂｌｅ  ＲＯＭ）、ハードディスク、リムーバブルディスク、メモリカード、ＵＳＢメモリ、ＣＤ−ＲＯＭなどのように、多様非揮発性記録媒体に保存されていてよい。
【０１２０】
なお、ユーザ端末装置、ディスプレイ装置及びサーバに対して示した上述のブロック図では、バス（Ｂｕｓ）を示していないが、ユーザ端末装置、ディスプレイ装置及びサーバで各構成要素間の通信はバスによって行われてよい。なお、各デバイスには、上述の多様なステップを行うＣＰＵ、マイクロプロセッサ等のようなプロセッサが更に含まれてよい。
【０１２１】
以上、添付図面を参照しながら本発明の好適な実施形態について詳細に説明したが、本発明は以上の実施形態に限定されない。本発明の属する技術の分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的趣旨の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本発明の技術的範囲に属するものと了解される。
【符号の説明】
【０１２２】
１００、６１０  端末装置
１１０  音声収集部
１２０、２１０、３１０  通信部
１２１  第１通信部
１２２  第２通信部
１３０  音声変換部
１４０  音声出力部
１５０、２２０、３３０  制御部
１６０、３２０  保存部
１７０  ディスプレイ部
１８０  撮像部
１８５  入力部
１９０  受信部
１９５  処理部
２００  第１サーバ
３００  第２サーバ
６２０  ユーザ
【図１】
2014002383.tif 000003
【図２】
2014002383.tif 000004
【図３】
2014002383.tif 000005
【図４】
2014002383.tif 000006
【図５】
2014002383.tif 000007
【図６】
2014002383.tif 000008
【図７】
2014002383.tif 000009
【図８】
2014002383.tif 000010
【図９】
2014002383.tif 000011