(57)【要約】【課題】本発明は、音声対話機能を備えた携帯端末機及びその音声対話方法を提供するためのものである。【解決手段】本発明に従う携帯端末機は、ユーザと関連した第１基準に基づいてコンテンツを選択し、ユーザと関連した第２基準に基づいてコンテンツ出力方式を決定し、選択されたコンテンツをコンテンツ出力方式によって出力する。【選択図】図２
2014153715.tif 000002
【特許請求の範囲】
【請求項１】
音声対話機能を備えた携帯端末機であって、
表示部と、
オーディオ処理部と、
ユーザの入力に応じて前記ユーザと関連した第１基準に基づいてコンテンツを選択し、前記ユーザと関連した第２基準に基づいてコンテンツ出力方式を決定し、前記選択されたコンテンツを前記コンテンツ出力方式によって前記表示部及び前記オーディオ処理部を通じて出力する制御部と、
を含むことを特徴とする、携帯端末機。
【請求項２】
前記第１基準は、前記ユーザの現在感情状態を表し、
前記第２基準は、前記ユーザの年齢及び性別のうち、少なくとも１つを含むユーザ情報を表すことを特徴とする、請求項１に記載の携帯端末機。
【請求項３】
前記制御部は、予め決定された感情状態別コンテンツ情報で前記第１基準に基づいて前記コンテンツを選択することを特徴とする、請求項１に記載の携帯端末機。
【請求項４】
前記制御部は、前記ユーザの過去コンテンツ再生履歴を用いて前記第１基準に基づいて前記コンテンツを選択することを特徴とする、請求項１に記載の携帯端末機。
【請求項５】
前記制御部は、前記携帯端末機の現在位置情報を用いて前記第１基準に基づいて前記コンテンツを選択することを特徴とする、請求項１に記載の携帯端末機。
【請求項６】
前記制御部は、前記ユーザの過去感情状態に従うコンテンツ出力履歴を用いて前記第１基準に基づいて前記コンテンツを選択することを特徴とする、請求項１に記載の携帯端末機。
【請求項７】
前記オーディオ処理部は、前記ユーザの音声の入力を受けて、
前記制御部は、前記音声から獲得した文句に対応する前記コンテンツを前記第１基準に基づいて選択することを特徴とする、請求項１に記載の携帯端末機。
【請求項８】
前記制御部は、前記文句を構成する単語に基づいて前記第２基準を獲得することを特徴とする、請求項７に記載の携帯端末機。
【請求項９】
前記制御部は、前記第２基準に基づいて前記コンテンツを構成する単語、前記コンテンツの出力速度、及び前記コンテンツの出力サイズのうち、少なくとも１つを変更して前記コンテンツ出力方式を決定することを特徴とする、請求項１に記載の携帯端末機。
【請求項１０】
前記オーディオ処理部は、前記ユーザの音声の入力を受けて、
前記制御部は、前記音声から獲得した文句が前記コンテンツ出力方式の変更要求であれば、前記文句に従って前記コンテンツ出力方式を変更することを特徴とする、請求項９に記載の携帯端末機。
【請求項１１】
前記制御部は、前記第２基準に基づいて決定された前記コンテンツ出力方式を前記ユーザの過去コンテンツ出力方式履歴を用いて変更し、変更された前記コンテンツ出力方式によって前記コンテンツを出力することを特徴とする、請求項１に記載の携帯端末機。
【請求項１２】
前記ユーザの顔映像の入力を受けるカメラ部をさらに含み、
前記制御部は、前記ユーザの顔映像に基づいて前記第１基準を自動で獲得することを特徴とする、請求項１に記載の携帯端末機。
【請求項１３】
前記制御部は、予め決定された感情状態別表情情報で前記ユーザの顔映像から認識された表情に基づいて前記第１基準を獲得することを特徴とする、請求項１２に記載の携帯端末機。
【請求項１４】
前記ユーザの顔映像の入力を受けるカメラ部をさらに含み、
前記オーディオ処理部は、前記ユーザの音声の入力を受けて、
前記制御部は、前記ユーザの顔映像や音声に基づいて前記第２基準を自動で獲得することを特徴とする、請求項１に記載の携帯端末機。
【請求項１５】
前記制御部は、前記第１基準と前記第２基準を前記オーディオ処理部を通じて前記ユーザから入力を受けることを特徴とする、請求項１に記載の携帯端末機。
【請求項１６】
携帯端末機の音声対話方法であって、
ユーザの入力に応じて前記ユーザと関連した第１基準に基づいてコンテンツを選択するステップと、
前記ユーザと関連した第２基準に基づいてコンテンツ出力方式を決定するステップと、
前記選択されたコンテンツを前記コンテンツ出力方式によって出力するステップと、
を含むことを特徴とする、音声対話方法。
【請求項１７】
前記第１基準は、前記ユーザの現在感情状態を表し、
前記第２基準は、前記ユーザの年齢及び性別のうち、少なくとも１つを含むユーザ情報を表すことを特徴とする、請求項１６に記載の音声対話方法。
【請求項１８】
前記コンテンツを選択するステップは、
予め決定された感情状態別コンテンツ情報で前記第１基準に基づいて前記コンテンツを選択することによりなされたことを特徴とする、請求項１６に記載の音声対話方法。
【請求項１９】
前記コンテンツを選択するステップは、前記ユーザの過去コンテンツ再生履歴を用いて前記第１基準に基づいて前記コンテンツを選択することによりなされたことを特徴とする、請求項１６に記載の音声対話方法。
【請求項２０】
前記コンテンツを選択するステップは、前記携帯端末機の現在位置情報を用いて前記第１基準に基づいて前記コンテンツを選択することによりなされたことを特徴とする、請求項１６に記載の音声対話方法。
【請求項２１】
前記コンテンツを選択するステップは、前記ユーザの過去感情状態に従うコンテンツ出力履歴を用いて前記第１基準に基づいて前記コンテンツを選択することによりなされたことを特徴とする、請求項１６に記載の音声対話方法。
【請求項２２】
前記ユーザの音声の入力を受けるステップをさらに含み、
前記コンテンツを選択するステップは、前記音声から獲得した文句に対応する前記コンテンツを前記第１基準に基づいて選択することによりなされたことを特徴とする、請求項１６に記載の音声対話方法。
【請求項２３】
前記文句を構成する単語に基づいて前記第２基準を獲得するステップをさらに含むことを特徴とする、請求項２２に記載の音声対話方法。
【請求項２４】
前記コンテンツ出力方式を決定するステップは、前記第２基準に基づいて前記コンテンツを構成する単語、前記コンテンツの出力速度及び前記コンテンツの出力サイズのうち、少なくとも１つを変更して前記コンテンツ出力方式を決定することによりなされたことを特徴とする、請求項１６に記載の音声対話方法。
【請求項２５】
前記ユーザの音声の入力を受けるステップをさらに含み、
前記コンテンツ出力方式を決定するステップは、前記音声から獲得した文句が前記コンテンツ出力方式の変更要求であれば、前記文句に従って前記コンテンツ出力方式を変更することによりなされたことを特徴とする、請求項２４に記載の音声対話方法。
【請求項２６】
前記コンテンツ出力方式を決定するステップは、前記第２基準に基づいて決定された前記コンテンツ出力方式を前記ユーザの過去コンテンツ出力方式履歴を用いて変更することによりなされたことを特徴とする、請求項１６に記載の音声対話方法。
【請求項２７】
前記ユーザの顔映像の入力を受けるステップと、
前記ユーザの顔映像に基づいて前記第１基準を自動で獲得するステップと、
をさらに含むことを特徴とする、請求項１６に記載の音声対話方法。
【請求項２８】
前記第１基準を自動で獲得するステップは、予め決定された感情状態別表情情報で前記ユーザの顔映像から認識された表情に基づいて前記第１基準を獲得することによりなされたことを特徴とする、請求項２７に記載の音声対話方法。
【請求項２９】
前記ユーザの顔映像または音声の入力を受けるステップと、
前記ユーザの顔映像や音声に基づいて前記第２基準を自動で獲得するステップと、
をさらに含むことを特徴とする、請求項１６に記載の音声対話方法。
【請求項３０】
前記第１基準と前記第２基準を前記ユーザから入力を受けるステップをさらに含むことを特徴とする、請求項１６に記載の音声対話方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は音声対話機能を備えた携帯端末機及びその音声対話方法に関し、より詳しくは、ユーザの現在感情状態、年齢、性別などによって適合したコンテンツを出力する携帯端末機及びその音声対話方法に関する。
【背景技術】
【０００２】
従来の音声対話機能は、端末製造社から基本的に提供される返事セットに基づいて基本返事セットのうちでユーザの質問に対する返事がなされる。これによって、音声対話機能を使用するユーザとは関係無しに同一な質問に対しては一律的に同一な返事をユーザに提供する限界がある。これによって、音声対話機能を備えた携帯端末機を多数のユーザが用いる場合、ユーザ別に最適化した答弁を提供できないという問題がある。
【発明の概要】
【発明が解決しようとする課題】
【０００３】
本発明は、上記のような問題点を解決するために案出したものであって、ユーザの現在感情状態、年齢、性別などによって適合したコンテンツを出力する携帯端末機及びその音声対話方法を提供することを目的とする。
【課題を解決するための手段】
【０００４】
上記のような問題点を解決するための本発明に係る音声対話機能を備えた携帯端末機は、表示部、オーディオ処理部、及びユーザの入力に応じて上記ユーザと関連した第１基準に基づいてコンテンツを選択し、上記ユーザと関連した第２基準に基づいてコンテンツ出力方式を決定し、上記選択されたコンテンツを上記コンテンツ出力方式によって上記表示部及び上記オーディオ処理部を通じて出力する制御部を含む。
【０００５】
また、本発明に従う携帯端末機の音声対話方法は、ユーザの入力に応じて上記ユーザと関連した第１基準に基づいてコンテンツを選択するステップ、上記ユーザと関連した第２基準に基づいてコンテンツ出力方式を決定するステップ、及び上記選択されたコンテンツを上記コンテンツ出力方式によって出力するステップを含む。
【発明の効果】
【０００６】
本発明によれば、ユーザの現在感情状態に適合したコンテンツを選択し、ユーザの年齢、性別などによってコンテンツ出力方式を決定する。したがって、ユーザに一層適合した合わせ型コンテンツを提供することができる。これによって、現実的な音声対話機能の提供が可能である。
【０００７】
本発明が開示しているいずれか１つの実施形態の特徴及び長所は、以下に説明する詳細な説明及び図面により裏付けられる。
【図面の簡単な説明】
【０００８】
【図１】本発明の一実施形態に従う携帯端末機１００の内部構造を説明するためのブロック図である。
【図２】本発明の一実施形態に従う音声対話機能の動作過程を説明するためのフローチャートである。
【図３】本発明の一実施形態に従う感情状態別コンテンツ情報の一例を説明するための図である。
【図４】各々本発明の一実施形態に従う第１基準に基づいたコンテンツ出力の一例を説明するための図である。
【図５】各々本発明の一実施形態に従う第１基準に基づいたコンテンツ出力の一例を説明するための図である。
【図６】図２に図示した第１基準獲得ステップ（Ｓ２２０）をより具体的に説明するためのフローチャートである。
【図７】本発明の一実施形態に従う過去コンテンツ再生履歴の一例を説明するための図である。
【図８】各々本発明の一実施形態に従う第１基準に基づいたコンテンツ出力の他の例を説明するための図である。
【図９】各々本発明の一実施形態に従う第１基準に基づいたコンテンツ出力の他の例を説明するための図である。
【図１０】本発明の一実施形態に従う過去感情状態に従うコンテンツ出力履歴の一例を説明するための図である。
【図１１】本発明の一実施形態に従う第１基準に基づいたコンテンツ出力の更に他の例を説明するための図である。
【図１２】本発明の他の実施形態に従う音声対話機能の動作を説明するためのブロック図である。
【発明を実施するための形態】
【０００９】
以下、添付した図面を参照して本開示（ｐｒｅｓｅｎｔ  ｄｉｓｃｌｏｓｕｒｅ）の多様な実施形態を詳細に説明する。この際、添付した図面における同一な構成要素はできる限り同一な符号として表していることに留意しなければならない。また、本明細書に開示された多様な実施形態の要旨を曖昧にすることがある公知機能及び構成に対する詳細な説明は省略する。以下の説明では本明細書に開示された多様な実施形態に従う動作の理解に必要な部分のみ説明され、その以外の部分の説明は本明細書に開示された多様な実施形態の要旨を曖昧にしないように省略されることに留意しなければならない。
【００１０】
図１は、本発明の一実施形態に従う携帯端末機１００の内部構造を説明するためのブロック図である。
【００１１】
図１を参照すると、本発明の携帯端末機１００は、無線通信部１１０、カメラ部１２０、位置測定部１３０、オーディオ処理部１４０、表示部１５０、格納部１６０、及び制御部１７０を含むことができる。
【００１２】
無線通信部１１０は、携帯端末機１００の無線通信のための該当データの送受信機能を遂行する。無線通信部１１０は、送信される信号の周波数を上昇変換及び増幅するＲＦ送信機と、受信される信号を低雑音増幅し、周波数を下降変換するＲＦ受信機などで構成できる。また、無線通信部１１０は、無線チャンネルを介してデータを受信して制御部１７０に出力し、制御部１７０から出力されたデータを無線チャンネルを介して転送することができる。
【００１３】
カメラ部１２０は、ビデオ信号の入力を受ける機能を遂行する。カメラ部１２０は、画像通話モードまたは撮影モードでイメージセンサにより得られる停止映像、動映像などの画像フレームを処理する。カメラ部１２０で処理された画像フレームは、表示部１５０を通じて出力できる。また、カメラ部１２０で処理された画像フレームは格納部１６０に格納されるか、または無線通信部１１０を通じて外部に転送できる。
【００１４】
カメラ部１２０は、携帯端末機１００の構成態様によって２つ以上が備えられることもできる。例えば、携帯端末機１００で表示部１５０が配置された面と配置されない面の各々にカメラ部１２０が備えられることができる。
【００１５】
位置測定部１３０は、衛星信号受信モジュールを備え、人工衛星から受信した信号を通じて携帯端末機１００の現在位置を測定することができる。また、位置測定部１３０は、無線通信部１１０を通じて施設物の内部や外部に設置された無線通信機器から送信される信号を通じて携帯端末機１００の現在位置を測定することもできる。
【００１６】
オーディオ処理部１４０はコーデック（ＣＯＤＥＣ）で構成されることができ、コーデックはパケットデータなどを処理するデータコーデックと音声などのオーディオ信号を処理するオーディオコーデックで構成できる。オーディオ処理部１４０は、ディジタルオーディオ信号をオーディオコーデックを通じてアナログオーディオ信号に変換してスピーカー（ＳＰＫ）を通じて再生し、マイク（ＭＩＣ）から入力されるアナログオーディオ信号をオーディオコーデックを通じてディジタルオーディオ信号に変換する。
【００１７】
表示部１５０は、携帯端末機１００のメニュー、入力されたデータ、機能設定情報、及びその他の多様な情報をユーザに視覚的に提供する。表示部１５０は、携帯端末機１００のブーティング画面、待機画面、メニュー画面、通話画面、その他のアプリケーション画面を出力する機能を遂行する。
【００１８】
表示部１５０は、液晶ディスプレイ（ＬＣＤ：Ｌｉｑｕｉｄ  Ｃｒｙｓｔａｌ  Ｄｉｓｐｌａｙ）、有機発光ダイオード（ＯＬＥＤ：Ｏｒｇａｎｉｃ  Ｌｉｇｈｔ  Ｅｍｉｔｔｉｎｇ  Ｄｉｏｄｅ）、能動型有機発光ダイオード（ＡＭＯＬＥＤ：Ａｃｔｉｖｅ  Ｍａｔｒｉｘ  Ｏｒｇａｎｉｃ  Ｌｉｇｈｔ  Ｅｍｉｔｔｉｎｇ  Ｄｉｏｄｅ）、フレキシブルディスプレイ（ｆｌｅｘｉｂｌｅ  ｄｉｓｐｌａｙ）、３次元ディスプレイ（３Ｄ  ｄｉｓｐｌａｙ）などで形成できる。
【００１９】
格納部１６０は携帯端末機１００の動作に必要なプログラム及びデータを格納する役割を遂行し、プログラム領域とデータ領域とに区分できる。プログラム領域は、携帯端末機１００の全般的な動作を制御するプログラム及び携帯端末機１００をブーティングさせる運営体制（ＯＳ：Ｏｐｅｒａｔｉｎｇ  Ｓｙｓｔｅｍ）、マルチメディアコンテンツ再生などに必要な応用プログラム、携帯端末機１００のその他のオプション機能、例えば、音声対話機能、カメラ機能、音再生機能、イメージまたは動映像再生機能に必要な応用プログラムなどを格納することができる。データ領域は携帯端末機１００の使用によって発生するデータが格納される領域であって、イメージ、動映像、フォンブック、オーディオデータなどを格納することができる。
【００２０】
制御部１７０は、携帯端末機の各構成要素に対する全般的な動作を制御する。制御部１７０は、携帯端末機１００に備えられた音声対話機能がユーザの操作により実行されれば、オーディオ処理部１４０を通じてユーザの音声の入力を受けて、ユーザの音声に対応するコンテンツ（ｃｏｎｔｅｎｔ）を表示部１５０にディスプレイする。併せて、制御部１７０はユーザの音声に対応するコンテンツをオーディオ処理部１４０を通じて再生することができる。ここで、コンテンツとは、文句などのようなテキストコンテンツ、イメージ、歌、映画、動映像などのようなマルチメディアコンテンツ、天気、推薦場所、よく連絡をやりとりする人などのような情報コンテンツをいう。
【００２１】
より詳しく説明すれば、制御部１７０はユーザの音声を認識してユーザの音声からユーザにより発話された文句を獲得する。次に、制御部１７０は文句に対応するコンテンツを選択し、選択されたコンテンツを表示部１５０及びオーディオ処理部１４０を通じて出力する。この際、制御部１７０は文句が意味する内容を把握し、格納部１６０に格納された文句内容別コンテンツ情報から文句に対応するコンテンツを選択することができる。
【００２２】
このように、ユーザは携帯端末機１００と音声で対話しながら各種コンテンツの提供を受けることによって、必要な情報を得ることができる。例えば、ユーザが“今日の天気は？”という文句を発話すれば、携帯端末機１００はユーザの音声をオーディオ処理部１４０を通じて入力を受けるようになる。すると、携帯端末機１００はユーザの音声から獲得した文句である“今日の天気は？”に対応するコンテンツ（天気情報）を選択して表示部１５０及びオーディオ処理部１４０を通じて出力することができる。
【００２３】
特に、本発明に従う制御部１７０は音声対話機能実行時、ユーザの現在感情状態、年齢、性別などによって適合したコンテンツを表示部１５０及びオーディオ処理部１４０を通じて出力することができる。このために、本発明の実施形態に従う制御部１７０はコンテンツ選択部１７１及びコンテンツ出力部１７５を備えることができる。
【００２４】
図２は、本発明の一実施形態に従う音声対話機能の動作過程を説明するためのフローチャートである。
【００２５】
図２を参照すると、携帯端末機１００に備えられた音声対話機能が実行されれば（Ｓ２１０）、コンテンツ選択部１７１はユーザと関連した第１基準を獲得する（Ｓ２２０）。ここで、第１基準はユーザの現在感情状態を表す。そして、感情状態とは、喜び、悲しみ、怒り、驚きなどのように人がある現象や仕事に対して起こる心や感じる気持ちをいう。
【００２６】
以後、オーディオ処理部１４０を通じてユーザの音声が入力されれば（Ｓ２３０−Ｙ）、コンテンツ選択部１７１は第１基準に基づいて入力されたユーザの音声に対応するコンテンツを選択する（Ｓ２４０）。より詳しく説明すれば、コンテンツ選択部１７１はユーザの音声からユーザにより発話された文句を獲得する。そして、コンテンツ選択部１７１は文句に対応するコンテンツを抽出する。次に、コンテンツ選択部１７１は抽出されたコンテンツのうち、第１基準に基づいて予め決定された感情状態別コンテンツ情報を用いてコンテンツを選択する。ここで、感情状態別コンテンツ情報は予め構築されて格納部１６０に格納できる。勿論、コンテンツ選択部１７１は第１基準に基づいて先にコンテンツを抽出した後、抽出されたコンテンツのうち、文句に対応するコンテンツを選択することもできる。
【００２７】
これに反して、ユーザの音声が入力されなければ（Ｓ２３０−Ｎ）、コンテンツ選択部１７１は第１基準に基づいてコンテンツを選択する（Ｓ２５０）。
【００２８】
コンテンツが選択されれば、コンテンツ出力部１７５はユーザと関連した第２基準を獲得する（Ｓ２６０）。ここで、第２基準はユーザの年齢及び性別のうち、少なくとも１つを含むことができる。ユーザの年齢は、ユーザの正確な年齢または予め決定された複数の年齢帯のうちの１つでありうる。例えば、年齢情報は“３０歳”、“５０歳”などのように正確な年齢、または“１０歳代”、“２０歳代”、“５０歳代”、“子供”、“成人”、“老人”などのような年齢帯でありうる。
【００２９】
より詳しく説明すれば、コンテンツ出力部１７５はカメラ部１２０を通じてユーザの顔映像の入力を受ける。コンテンツ出力部１７５は、格納部１６０に格納された年齢帯別平均顔情報または性別平均顔情報を用いてユーザの顔映像から第２基準を自動で獲得することができる。また、コンテンツ出力部１７５はオーディオ処理部１４０を通じてユーザの音声の入力を受ける。そして、コンテンツ出力部１７５は格納部１６０に格納された年齢帯別平均音声情報または性別平均音声情報を用いてユーザの音声から第２基準を自動で獲得することができる。併せて、コンテンツ出力部１７５はユーザの音声から獲得した文句を構成する単語に基づいて第２基準を獲得することもできる。この際、コンテンツ出力部１６５は格納部１６０に格納された年齢帯別使用単語情報または性別使用単語情報を用いて第２基準を獲得することができる。例えば、ユーザの音声から獲得した文句が“Ｉ  ｗａｎｔ  ａ  ｎｅｗ  ｊｉｍ−ｊａｍｓ”であれば、文句を構成する単語である“ｊｉｍ−ｊａｍｓ”からユーザの年齢帯が“子供”であることが分かる。
【００３０】
勿論、コンテンツ出力部１７５はユーザの顔映像と音声両方ともに基づいて第２基準を獲得することもできる。一方、本発明に従うコンテンツ出力部１７５はユーザの顔映像や音声に基づいて第２基準を獲得することと説明したが、これに限定されず、実施形態に従ってユーザから直接入力を受けることもできる。この場合、ユーザから入力された第２基準は格納部１６０に格納される。そして、コンテンツ出力部１７５は格納部１６０に格納された第２基準情報を用いて機能を遂行する。
【００３１】
第２基準が獲得されれば、コンテンツ出力部１７５は第２基準に基づいてコンテンツ出力方式を決定する（Ｓ２７０）。即ち、コンテンツ出力部１７５は第２基準に基づいてコンテンツ選択部１７１により選択されたコンテンツを構成する単語、選択されたコンテンツの出力速度、選択されたコンテンツの出力サイズなどを変更してコンテンツ出力方式を決定する。
【００３２】
より詳しく説明すれば、コンテンツ出力部１７５は格納部１６０に格納された年齢帯別使用単語情報または性別使用単語情報を用いて選択されたコンテンツを構成する単語を第２基準によって適合した単語に変更することができる。例えば、コンテンツが“Ｐａｊａｍａｓ  ｓｔｏｒｅ”で、ユーザの年齢帯が“子供”であれば、コンテンツ出力部１７５は年齢帯別使用単語情報を用いて“Ｐａｊａｍａｓ”を子供に適合した単語である“Ｊｉｍｊａｍｓ”に変更する。
【００３３】
そして、コンテンツ出力部１７５は格納部１６０に格納された年齢帯別出力速度情報または性別出力速度情報を用いて選択されたコンテンツの出力速度を決定する。例えば、ユーザの年齢帯が“子供”または“老人”であれば、コンテンツ出力部１７５は年齢帯別出力速度情報を用いて選択されたコンテンツの音声再生速度を鈍くすることができる。
【００３４】
また、コンテンツ出力部１７５は格納部１６０に格納された年齢帯別出力サイズ情報または性別出力サイズ情報を用いて選択されたコンテンツの出力サイズを決定する。例えば、ユーザの年齢帯が“老人”であれば、コンテンツ出力部１７５は年齢帯別出力サイズ情報を用いて選択されたコンテンツの音量を大きくし、選択されたコンテンツのディスプレイサイズ（例えば、字サイズなど）を大きくすることができる。
【００３５】
言い換えると、格納部１６０は年齢帯と性別によってコンテンツ出力方式（コンテンツの出力速度、出力サイズなど）がマッピングされているテーブルを格納しており、コンテンツ出力部１７５は格納部１６０に格納されたテーブルに基づいて第２基準を用いて選択されたコンテンツの出力方式を決定することができる。
【００３６】
コンテンツ出力方式が決定されれば、コンテンツ出力部１７５は決定されたコンテンツ出力方式によってコンテンツ選択部１７１により選択されたコンテンツを表示部１５０及びオーディオ処理部１４０を通じて出力する（Ｓ２８０）。
【００３７】
以後、音声対話機能が終了すれば（Ｓ２９０−Ｙ）、制御部１７０は音声対話機能の実行を中断する。これに反して、音声対話機能が終了しなければ（Ｓ２９０−Ｎ）、ステップＳ２２０に進行する。
【００３８】
このように、ユーザの現在感情状態に適合したコンテンツを選択し、ユーザの年齢、性別などによってコンテンツ出力方式を決定することによって、ユーザに一層適合した合わせ型コンテンツを提供することができる。これによって、より現実的な音声対話機能の提供が可能である。
【００３９】
一方、オーディオ処理部１４０を通じて入力されたユーザの音声から獲得した文句がコンテンツ出力方式の変更要求であれば、コンテンツ出力部１７５は文句に従ってコンテンツ出力方式を変更する。例えば、第２基準に基づいて決定されたコンテンツ出力方式によってコンテンツが出力された後に、文句“Ｃａｎ  ｙｏｕ  ｓｐｅａｋ  ｆａｓｔｅｒ  ａｎｄ  ｍｏｒｅ  ｑｕｉｅｔ？”がユーザにより発話されれば、コンテンツ出力部１７５は文句に従って音声再生速度を一段階速くし、音量を一段階小さく変更する。
【００４０】
そして、コンテンツ出力部１７５は変更されたコンテンツ出力方式を格納部１６０に格納することができる。以後、コンテンツ出力部１７５は第２基準に基づいて決定されたコンテンツ出力方式を格納部１６０に格納された過去コンテンツ出力方式履歴を用いて変更する。コンテンツ出力部１７５は、変更されたコンテンツ出力方式によって選択されたコンテンツを出力することができる。
【００４１】
すると、図３から図５を参照して本発明の一実施形態に従うコンテンツ出力の一例に対して説明する。
【００４２】
図３は本発明の一実施形態に従う感情状態別コンテンツ情報の一例を説明するための図であり、図４及び図５は各々本発明の一実施形態に従う第１基準に基づいたコンテンツ出力の一例を説明するための図である。
【００４３】
図３を参照すると、感情状態別に対応するコンテンツが予め決定されている。感情状態“喜び”には“コンテンツＡ”が対応しており、感情状態“悲しみ”には“コンテンツＢ”が対応しており、感情状態“怒り”には“コンテンツＣ”が対応しており、感情状態“驚き”には“コンテンツＤ”が対応している。このような感情状態別コンテンツ情報は予め構築されて格納部１６０に格納されている。
【００４４】
コンテンツ選択部１７１は、上記のような感情状態別コンテンツ情報で第１基準（ユーザの現在感情状態）に適合したコンテンツを選択することができる。
【００４５】
図４を参照すると、コンテンツ選択部１７１はオーディオ処理部１４０を通じて入力されたユーザの音声から獲得した文句（ＵＴ）と第１基準（ユーザの現在感情状態）に対応するコンテンツで、ユーザの現在感情状態が“喜び”であれば“コンテンツＡ”（ＡＴ１）を選択し、ユーザの現在感情状態が“悲しみ”であれば“コンテンツＢ”（ＡＴ２）を選択する。
【００４６】
図５を参照すると、コンテンツ選択部１７１は第１基準（ユーザの現在感情状態）に対応するコンテンツで、ユーザの現在感情状態が“怒り”であれば“コンテンツＣ（ＡＴ１）”を選択し、ユーザの現在感情状態が“驚き”であれば“コンテンツＤ（ＡＴ２）”を選択する。
【００４７】
一方、感情状態別に１つのコンテンツが対応していることと図３に図示したが、これに限定されず、実施形態に従って感情状態別に複数のコンテンツが対応していることができる。この場合、コンテンツ選択部１７１は第１基準（ユーザの現在感情状態）に対応する複数のコンテンツのうち、ランダムに１つのコンテンツを選択することができる。
【００４８】
また、感情状態別にコンテンツグループが対応していることもできる。コンテンツグループは互いに同一／類似の属性を有するコンテンツの集合体をいう。例えば、コンテンツグループにはジャンルが“アクション”の映画コンテンツグループ、ジャンルが“Ｒ＆Ｂ”の歌コンテンツグループなどがある。この場合、コンテンツ選択部１７１は第１基準（ユーザの現在感情状態）に対応するコンテンツグループに属するコンテンツのうち、ランダムに１つのコンテンツを選択することができる。
【００４９】
図６は、図２に図示した第１基準獲得ステップ（Ｓ２２０）をより具体的に説明するためのフローチャートである。
【００５０】
図６を参照すると、コンテンツ選択部１７１はカメラ部１２０を通じてユーザの顔映像を獲得し（Ｓ３１０）、獲得した顔映像で顔領域を検出する（Ｓ３２０）。即ち、コンテンツ選択部１７１は顔映像で目、鼻、口が位置する顔領域を検出する。
【００５１】
次に、コンテンツ選択部１７１は検出した顔領域で目、鼻、口に対する基準点（Ｆｉｄｕｃｉａｌ  Ｐｏｉｎｔ）を抽出し（Ｓ３３０）、抽出した基準点に基づいて表情を認識する（Ｓ３４０）。即ち、コンテンツ選択部１７１は格納部１６０に格納されている表情別基準点情報を用いてユーザの現在表情を認識する。
【００５２】
以後、コンテンツ選択部１７１は予め決定された感情状態別表情情報で認識された表情に基づいて第１基準を自動で獲得する（Ｓ３５０）。ここで、感情状態別表情情報は予め構築されて格納部１６０に格納できる。
【００５３】
一方、本発明に従うコンテンツ選択部１７１はユーザの顔映像に基づいて第１基準を獲得することと説明したが、これに限定されず、実施形態に従ってユーザから直接入力を受けることもできる。この場合、ユーザから入力された第１基準は格納部１６０に格納される。そして、コンテンツ選択部１７１は格納部１６０に格納された第１基準情報を用いて機能を遂行する。
【００５４】
すると、図７から図９を参照して本発明の一実施形態に従うコンテンツ出力の他の例に対して説明する。
【００５５】
図７は本発明の一実施形態に従う過去コンテンツ再生履歴の一例を説明するための図であり、図８及び図９は各々本発明の一実施形態に従う第１基準に基づいたコンテンツ出力の他の例を説明するための図である。
【００５６】
コンテンツ選択部１７１は、ユーザの過去コンテンツ再生履歴を用いて第１基準（ユーザの現在感情状態）に基づいてコンテンツを選択することができる。過去コンテンツ再生履歴は格納部１６０に格納されており、ユーザの操作によりコンテンツが再生される度に更新される。
【００５７】
図７を参照すると、コンテンツ別に過去再生回数が格納部１６０に格納されている。“コンテンツＡ１”は過去に３回再生され、“コンテンツＡ２”は過去に１０回再生され、“コンテンツＢ１”は過去に５回再生され、“コンテンツＢ２”は過去に２回再生され、“コンテンツＣ１”は過去に８回再生され、“コンテンツＣ２”は過去に１５回再生され、“コンテンツＤ１”は過去に２回再生され、“コンテンツＤ２”は過去に１回再生された。そして、“コンテンツＡ１、Ａ２”は感情状態“喜び”に対応しており、“コンテンツＢ１、Ｂ２”は感情状態“悲しみ”に対応しており、“コンテンツＣ１、Ｃ２”は感情状態“怒り”に対応しており、“コンテンツＤ１、Ｄ２”は感情状態“驚き”に対応している（図３参照）。
【００５８】
コンテンツ選択部１７１は上記のような過去コンテンツ再生履歴を用いて第１基準（ユーザの現在感情状態）に適合した複数のコンテンツのうちの１つを選択することができる。
【００５９】
図８を参照すると、第１基準（ユーザの現在感情状態）が“喜び”であれば、コンテンツ選択部１７１は“コンテンツＡ１”と“コンテンツＡ２”のうち、ユーザにより過去に再生がよりよくなされた“コンテンツＡ２”を第１基準（ユーザの現在感情状態）に対応するコンテンツ（ＡＴ１）として選択する。そして、第１基準（ユーザの現在感情状態）が“悲しみ”であれば、コンテンツ選択部１７１は“コンテンツＢ１”と“コンテンツＢ２”のうち、ユーザにより過去に再生がよりよくなされた“コンテンツＢ１”を第１基準（ユーザの現在感情状態）に対応するコンテンツ（ＡＴ２）として選択する。
【００６０】
この際、コンテンツ選択部１７１は第１基準（ユーザの現在感情状態）に適合した複数のコンテンツを全て選択することができる。すると、コンテンツ出力部１７５は上記のような過去コンテンツ再生履歴を用いて選択された複数のコンテンツの出力位置を決定することができる。
【００６１】
図９を参照すると、第１基準（ユーザの現在感情状態）が“喜び”であれば、コンテンツ選択部１７１は“コンテンツＡ１”と“コンテンツＡ２”全部を第１基準（ユーザの現在感情状態）に対応するコンテンツ（ＡＴ１）として選択する。すると、コンテンツ出力部１７５はユーザにより過去に再生がよりよくなされた“コンテンツＡ２”の下に“コンテンツＡ１”が位置するように選択されたコンテンツ（ＡＴ１）を出力する。そして、第１基準（ユーザの現在感情状態）が“悲しみ”であれば、コンテンツ選択部１７１は“コンテンツＢ１”と“コンテンツＢ２”全部を第１基準（ユーザの現在感情状態）に対応するコンテンツ（ＡＴ２）として選択する。すると、コンテンツ出力部１７５はユーザにより過去に再生がよりよくなされた“コンテンツＢ１”の下に“コンテンツＢ２”が位置するように選択されたコンテンツ（ＡＴ２）を出力する。
【００６２】
すると、図１０及び図１１を参照して本発明の一実施形態に従うコンテンツ出力の更に他の例に対して説明する。
【００６３】
図１０は本発明の一実施形態に従う過去感情状態に従うコンテンツ出力履歴の一例を説明するための図であり、図１１は本発明の一実施形態に従う第１基準に基づいたコンテンツ出力の更に他の例を説明するための図である。
【００６４】
コンテンツ選択部１７１は、ユーザの過去感情状態に従うコンテンツ出力履歴を用いて第１基準（ユーザの現在感情状態）に基づいてコンテンツを選択することができる。過去感情状態に従うコンテンツ出力履歴は格納部１６０に格納されており、音声対話機能実行途中にユーザの感情状態に基づいたコンテンツが出力される度に更新される。
【００６５】
図１０を参照すると、過去感情状態に従うコンテンツの過去出力回数が格納部１６０に格納されている。“コンテンツＡ１”は過去に３回出力され、“コンテンツＡ２”は過去に８回出力され、“コンテンツＢ１”は過去に４回出力され、“コンテンツＢ２”は過去に１回出力され、“コンテンツＣ１”は過去に３回出力され、“コンテンツＣ２”は過去に１１回出力され、“コンテンツＤ１”は過去に２回出力され、“コンテンツＤ２”は過去に５回出力された。
【００６６】
コンテンツ選択部１７１は上記のような過去感情状態に従うコンテンツ出力履歴を用いて第１基準（ユーザの現在感情状態）に適合した複数のコンテンツのうちの１つを選択することができる。
【００６７】
図１１を参照すると、第１基準（ユーザの現在感情状態）が“喜び”であれば、コンテンツ選択部１７１は“コンテンツＡ１”と“コンテンツＡ２”のうち、ユーザの過去感情状態に従って出力がよりよくなされた“コンテンツＡ２”を第１基準（ユーザの現在感情状態）に対応するコンテンツ（ＡＴ１）として選択する。そして、第１基準（ユーザの現在感情状態）が“悲しみ”であれば、コンテンツ選択部１７１は“コンテンツＢ１”と“コンテンツＢ２”のうち、ユーザの過去感情状態に従って出力がよりよくなされた“コンテンツＢ１”を第１基準（ユーザの現在感情状態）に対応するコンテンツ（ＡＴ２）として選択する。
【００６８】
この際、コンテンツ選択部１７１は第１基準（ユーザの現在感情状態）に適合した複数のコンテンツを全て選択することができる。すると、コンテンツ出力部１７５は上記のような過去感情状態に従うコンテンツ出力履歴を用いて選択された複数のコンテンツの出力位置を決定することができる。例えば、第１基準（ユーザの現在感情状態）が“喜び”であれば、コンテンツ選択部１７１は“コンテンツＡ１”と“コンテンツＡ２”全部を第１基準（ユーザの現在感情状態）に対応するコンテンツとして選択する。すると、コンテンツ出力部１７５はユーザの過去感情状態に従って出力がよりよくなされた“コンテンツＡ２”の下に“コンテンツＡ１”が位置するように選択されたコンテンツを出力する。
【００６９】
すると、本発明の一実施形態に従うコンテンツ出力の更に他の例に対して説明する。
【００７０】
コンテンツ選択部１７１は、位置測定部１３０を通じて測定された携帯端末機１００の現在位置情報を用いて第１基準（ユーザの現在感情状態）に基づいてコンテンツを選択することができる。より詳しく説明すれば、コンテンツ選択部１７１は第１基準（ユーザの現在感情状態）に基づいて複数のコンテンツを獲得する。次に、コンテンツ選択部１７１は獲得した複数のコンテンツのうち、携帯端末機１００の現在位置情報を用いて予め設定された半径以内に属するコンテンツを選択する。例えば、コンテンツが、推薦場所（食堂、カフェ、レストランなど）のような情報コンテンツの場合、コンテンツ選択部１７１は携帯端末機１００の現在位置情報に基づいて携帯端末機１００の現在位置に一層適合したコンテンツを選択することができる。
【００７１】
勿論、コンテンツ選択部１７１は携帯端末機１００の現在位置情報を用いて予め設定された半径以内に属する複数のコンテンツを獲得した後、獲得されたコンテンツのうち、第１基準（ユーザの現在感情状態）に対応するコンテンツを選択することもできる。
【００７２】
一方、本発明に従う制御部１７０、コンテンツ選択部１７１、及びコンテンツ出力部１７５が別途のブロックで構成され、各ブロックが互いに相異する機能を遂行することと説明したが、これは説明上の便宜のためのものであり、必ずこのように各機能が区分されるものではない。例えば、コンテンツ選択部１７１とコンテンツ出力部１７５が遂行する特定機能を制御部１７０自体が遂行することもできる。
【００７３】
図１２は、本発明の他の実施形態に従う音声対話機能の動作を説明するためのブロック図である。
【００７４】
本実施形態に従う携帯端末機１００は先の実施形態に従う携帯端末機１００と実質的に同一であるので、詳細な説明は省略する。本実施形態に従う携帯端末機１００は、無線通信網３００を通じてサーバ２００と連結される。
【００７５】
先の実施形態に従う携帯端末機１００の制御部１７０が第１基準獲得動作、第１基準に対応するコンテンツ選択動作、第２基準獲得動作、コンテンツ出力方式決定動作などを遂行する。
【００７６】
しかしながら、本実施形態に従う携帯端末機１００の制御部１７０は無線通信部１１０を通じてサーバ２００とデータをやり取りし、携帯端末機１００の制御部１７０は第１基準獲得動作、第１基準に対応するコンテンツ選択動作、第２基準獲得動作、コンテンツ出力方式決定動作などを遂行する。
【００７７】
例えば、携帯端末機１００の制御部１７０はカメラ部１２０を通じて入力されたユーザの顔映像とオーディオ処理部１４０を通じて入力されたユーザの音声をサーバ２００に提供する。すると、サーバ２００はユーザの顔映像と音声に基づいて第１基準と第２基準を獲得する。サーバ２００は獲得された第１基準と第２基準を携帯端末機１００に提供する。
【００７８】
一方、１人のユーザを仮定し、本発明に対して説明したが、これに限定されず、実施形態によって複数のユーザが本発明に従う携帯端末機１００を使用する場合にも同一に適用できる。この場合、携帯端末機１００の現ユーザを識別するための動作が追加的に必要である。また、本発明に従うユーザの過去コンテンツ出力方式履歴、ユーザの過去コンテンツ再生履歴、ユーザの過去感情状態に従うコンテンツ出力履歴などはユーザ別に区別されるように格納できる。これによって、１つの携帯端末機１００を複数のユーザが用いてもユーザの各々に合うコンテンツを提供することができる。
【００７９】
本明細書と図面に開示された実施形態は、本明細書に開示された多様な実施形態の内容を易く説明し、理解を助けるために特定例を提示したものであり、本明細書に開示された多様な実施形態の範囲を限定しようとするものではない。したがって、本明細書に開示された多様な実施形態の範囲はここに開示された実施形態の他にも本明細書に開示された多様な実施形態の技術的思想に基づいて導出される全ての変更または変形された形態が本明細書に開示された多様な実施形態の範囲に含まれるものと解釈されるべきである。
【符号の説明】
【００８０】
１００    携帯端末機
１１０    無線通信部
１２０    カメラ部
１３０    位置測定部
１４０    オーディオ処理部
１５０    表示部
１６０    格納部
１７０    制御部
１７１    コンテンツ選択部
１７５    コンテンツ出力部
【図１】
2014153715.tif 000003
【図２】
2014153715.tif 000004
【図３】
2014153715.tif 000005
【図４】
2014153715.tif 000006
【図５】
2014153715.tif 000007
【図６】
2014153715.tif 000008
【図７】
2014153715.tif 000009
【図８】
2014153715.tif 000010
【図９】
2014153715.tif 000011
【図１０】
2014153715.tif 000012
【図１１】
2014153715.tif 000013
【図１２】
2014153715.tif 000014