(57)【要約】【課題】ユーザの状況により適したＵＲＬを選択することが可能なブラウザ装置を提供する。【解決手段】ブラウザ装置は、表示部と、ネットワークに接続して情報を取得する通信部と、ユーザの感情情報を検出する感情認識部と、ネットワークから取得した所定のＵＲＬに対応した情報を表示部に表示した際に、感情認識部で検出した感情情報とＵＲＬとを関連付けてＵＲＬ情報として記憶する記憶部と、感情認識部で新たに感情情報を検出した場合、記憶部に記憶されたＵＲＬ情報に基づいて、ＵＲＬを選択する選択部とを備える。【選択図】図２
2020154839.tif 000002
【特許請求の範囲】
【請求項１】
表示部と、
ネットワークに接続して情報を取得する通信部と、
ユーザの感情情報を検出する感情認識部と、
前記ネットワークから取得した所定のＵＲＬに対応した情報を前記表示部に表示した際に、前記感情認識部で検出した感情情報と前記ＵＲＬとを関連付けてＵＲＬ情報として記憶する記憶部と、
前記感情認識部で新たに感情情報を検出した場合、前記記憶部に記憶された前記ＵＲＬ情報に基づいて、ＵＲＬを選択する選択部と
を備えるブラウザ装置。
【請求項２】
前記記憶部は、感情の種類ごとに、感情の度合いに基づいて順位付けした状態で記憶する
請求項１に記載のブラウザ装置。
【請求項３】
前記記憶部は、前記順位付けした状態をジャンルごとに記憶する
請求項１又は２に記載のブラウザ装置。
【請求項４】
前記ＵＲＬと関連付けられる感情情報は、前記感情認識部で検出された感情情報のうち感情の度合いの最大値である
請求項１から請求項３のいずれか一項に記載のブラウザ装置。
【請求項５】
前記ユーザの顔画像を入力する画像入力部及び前記ユーザの声を入力する音声入力部のうち少なくとも一方の入力部を更に備え、
前記感情認識部は、前記入力部に入力される前記ユーザの顔画像及び声のうち少なくとも一方に基づいて、前記感情情報を検出する
請求項１から請求項４のいずれか一項に記載のブラウザ装置。
【請求項６】
前記感情認識部は、前記ジャンルに関するジャンルのリストが前記表示部に表示された際のユーザの感情情報を検出し、
前記選択部は、検出された前記感情情報と前記記憶部に記憶された前記ＵＲＬ情報に基づいて、ＵＲＬを選択する
請求項１から請求項５のいずれか一項に記載のブラウザ装置。
【請求項７】
ネットワークに接続して情報を取得することと、
ユーザの感情情報を検出することと、
前記ネットワークから取得した所定のＵＲＬに対応した情報を表示部に表示した際に、前記感情認識部で検出した感情情報と前記ＵＲＬとを関連付けてＵＲＬ情報として記憶することと、
前記感情認識部で新たに感情情報を検出した場合、前記記憶部に記憶された前記ＵＲＬ情報に基づいて、ＵＲＬを選択することと
を含むＵＲＬ選択方法。
【請求項８】
ネットワークに接続して情報を取得する処理と、
ユーザの感情情報を検出する処理と、
前記ネットワークから取得した所定のＵＲＬに対応した情報を表示部に表示した際に、前記感情認識部で検出した感情情報と前記ＵＲＬとを関連付けてＵＲＬ情報として記憶する処理と、
前記感情認識部で新たに感情情報を検出した場合、前記記憶部に記憶された前記ＵＲＬ情報に基づいて、ＵＲＬを選択する処理と
をコンピュータに実行させるＵＲＬ選択プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ブラウザ装置、ＵＲＬ選択方法、及びＵＲＬ選択プログラムに関する。
【背景技術】
【０００２】
インターネット等のネットワークに接続し、接続先のテキスト、映像及び音楽等の情報を読み込み、テキスト及び映像を表示したり音楽を出力したりするブラウザ装置が知られている（例えば、特許文献１参照）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００１−２５５８８５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
近年では、ユーザとの間で人同士のコミュニケーションに近い情報のやり取りを行うことが可能なブラウザ装置が求められている。これに対して、特許文献１に記載のブラウザ装置では、ユーザがＵＲＬに関する情報を音声で入力し、音声の入力内容に基づいて抽出されたＨＴＭＬデータのＵＲＬを自動的に表示する構成である。しかしながら、特許文献１に記載の手法では、必ずしもユーザの求めるＵＲＬが抽出されるとは限らない。
【０００５】
本発明は、上記に鑑みてなされたものであり、ユーザの状況により適したＵＲＬを選択するブラウザ装置、ＵＲＬ選択方法、及びＵＲＬ選択プログラムを提供することを目的とする。
【課題を解決するための手段】
【０００６】
本発明に係るブラウザ装置は、表示部と、ネットワークに接続して情報を取得する通信部と、ユーザの感情情報を検出する感情認識部と、前記ネットワークから取得した所定のＵＲＬに対応した情報を前記表示部に表示した際に、前記感情認識部で検出した感情情報と前記ＵＲＬとを関連付けてＵＲＬ情報として記憶する記憶部と、前記感情認識部で新たに感情情報を検出した場合、前記記憶部に記憶された前記ＵＲＬ情報に基づいて、ＵＲＬを選択する選択部とを備える。
【０００７】
本発明に係るＵＲＬ選択方法は、ネットワークに接続して情報を取得することと、ユーザの感情情報を検出することと、前記ネットワークから取得した所定のＵＲＬに対応した情報を表示部に表示した際に、前記感情認識部で検出した感情情報と前記ＵＲＬとを関連付けてＵＲＬ情報として記憶することと、前記感情認識部で新たに感情情報を検出した場合、前記記憶部に記憶された前記ＵＲＬ情報に基づいて、ＵＲＬを選択することとを含む。
【０００８】
本発明に係るＵＲＬ選択プログラムは、ネットワークに接続して情報を取得する処理と、ユーザの感情情報を検出する処理と、前記ネットワークから取得した所定のＵＲＬに対応した情報を表示部に表示した際に、前記感情認識部で検出した感情情報と前記ＵＲＬとを関連付けてＵＲＬ情報として記憶する処理と、前記感情認識部で新たに感情情報を検出した場合、前記記憶部に記憶された前記ＵＲＬ情報に基づいて、ＵＲＬを選択する処理とをコンピュータに実行させる。
【発明の効果】
【０００９】
本発明によれば、ユーザの状況により適したＵＲＬを選択することができる。
【図面の簡単な説明】
【００１０】
【図１】図１は、本実施形態に係るブラウザ装置の一例を示す模式図である。
【図２】図２は、ブラウザ装置の制御部の一例を示す機能ブロック図である。
【図３】図３は、感情認識部の一例を示す機能ブロック図である。
【図４】図４は、記憶部に記憶される感情情報のデータとＵＲＬのデータとがジャンルごとに分類されたデータテーブルの一例を示す図である。
【図５】図５は、ブラウザ装置の動作の一例を示すフローチャートである。
【図６】図６は、ステップＳ５０３の挨拶動作の一例を示すフローチャートである。
【図７】図７は、ステップＳ５１０において、シナリオステップを設定する動作の一例を示すフローチャートである。
【図８】図８は、ステップＳ５１２の会話モードを実行する場合の動作の一例を示すフローチャートである。
【図９】図９は、ステップＳ６０１における表情設定の一例を示すフローチャートである。
【図１０】図１０は、ブラウザ装置の表示部に顔画像が表示される場合の例を示す図である。
【図１１】図１１は、ブラウザ装置の表示部に顔画像が表示される場合の例を示す図である。
【図１２】図１２は、Ｓ５１３の情報表示モードを実行する場合の動作の一例を示すフローチャートである。
【図１３】図１３は、情報表示モードを実行するブラウザ装置の一例を示す図である。
【図１４】図１４は、ユーザの感情に応じてＵＲＬにアクセスする動作の一例を示すフローチャートである。
【図１５】図１５は、Ｓ１４０２におけるジャンル選択処理の一例を示すフローチャートである。
【図１６】図１６は、変形例に係るブラウザ装置の一例を示す機能ブロック図である。
【図１７】図１７は、感情認識部の他の例を示す機能ブロック図である。
【発明を実施するための形態】
【００１１】
以下、本発明に係るブラウザ装置の実施形態を図面に基づいて説明する。なお、この実施形態によりこの発明が限定されるものではない。また、下記実施形態における構成要素には、当業者が置換可能かつ容易なもの、あるいは実質的に同一のものが含まれる。
【００１２】
図１は、本実施形態に係るブラウザ装置の一例を示す模式図である。図１に示すブラウザ装置１００は、筐体１０と、表示部２０と、音声入力部３０と、音声出力部４０と、タッチパネル入力部５０と、通信部６０（通信部のうちの接続線）と、制御部７０とを備える。ブラウザ装置１００としては、例えばスマートフォン、タブレット型コンピュータ、ノート型コンピュータ、デスクトップ型コンピュータ等、各種の通信可能な電子機器が挙げられる。
【００１３】
筐体１０は、表示部２０、音声入力部３０、音声出力部４０、タッチパネル入力部５０、通信部６０（通信部のうちの接続線）及び制御部７０の各部を保持する。表示部２０は、画像、映像等の情報を表示可能であり、例えば液晶ディスプレイ等の表示パネルにより構成される。音声入力部３０は、例えばマイク等から構成される。音声出力部４０は、例えばスピーカ等から構成される。タッチパネル入力部５０は、表示部２０上に配置され、表示部２０に表示された情報から選択したい場合に使用する。例えば、表示部に表示されたＵＲＬにおいて、ジャンプできる関連情報のホームページが複数ある場合に、候補を表示部２０に表示し、表示部２０上のタッチパネル入力部５０をタッチすることにより選択することも可能である。通信部６０は、ネットワークＮＷとの間で情報の送信及び受信を行う。ネットワークＮＷとしては、インターネット、イントラネット等の各種のネットワーク等が挙げられる。
【００１４】
図２は、ブラウザ装置１００の制御部７０の一例を示す機能ブロック図である。制御部７０は、ＣＰＵ、ＲＯＭ、ＲＡＭ等を用いて構成され、ブラウザ装置１００の全体の制御を行う。
【００１５】
制御部７０は、演算処理部７１と、表示制御部７２と、音声認識部７３と、音声合成部７４と、感情認識部７５と、感情制御部７６と、シナリオ発生部７７と、タイミング発生部７８と、タイマ７９と、モード切替制御部８０と、ＨＴＭＬ解析部８１と、顔画像発生部８２と、記憶部８３とを有する。
【００１６】
演算処理部７１は、各種の演算を行う。演算処理部７１は、後述するように、感情認識部７５の検出結果に応じたＵＲＬを記憶部８３から選択する選択部としての機能を有する。表示制御部７２は、表示部２０の表示動作を制御する。音声認識部７３は、音声入力部３０から入力された音声データを認識し、所定の言葉を判別する。音声認識部７３は、例えば音声認識ソフトウェア、認識辞書データ等を有する。音声合成部７４は、音声合成ソフトウェア、音声データ等を有する。音声合成部７４は、例えば人間が話す声を合成可能である。
【００１７】
感情認識部７５は、音声入力部３０から入力された音声により、感情情報を検出する。感情制御部７６は、感情認識部７５における検出結果に基づいて、所定の感情状態を形成する。感情制御部７６は、音声入力カウンタ７６ａを有する。音声入力カウンタ７６ａは、ユーザが話した回数をカウントし、カウント値（計数値）を出力する。
【００１８】
シナリオ発生部７７は、会話の内容を選択し、検索したい内容を調べるためのシナリオを発生させる。
【００１９】
タイミング発生部７８は、例えばタイマ７９を用いて時間を計測する。タイミング発生部７８は、音声入力部３０によるユーザの声の取得が無い時間をタイマ７９に計測させ、所定時間以上取得が無い場合に、ユーザに対して音声入力部３０に音声を入力するように案内する案内情報を表示部２０及び音声出力部４０の少なくとも一方に出力する。具体的には、タイミング発生部７８は、ユーザからブラウザ装置１００に対して話しかけが無い場合に、音声出力部４０及び表示部２０の少なくとも一方を介して、挨拶や話題を提供するためのタイミングを発生させる。
【００２０】
モード切替制御部８０は、ユーザとの間で情報のやり取りを行うための情報を表示部２０及び音声出力部４０の少なくとも一方に出力する第１モードと、ネットワークからの情報を表示部２０及び音声出力部４０の少なくとも一方に出力する第２モードとを切り替えて行う。第１モードは、例えばユーザがブラウザ装置１００に対して話しかけを行い、ブラウザ装置１００がユーザの話しかけに対して返答する会話モードを含む。第２モードは、ネットワークＮＷを介して取得される情報を表示する情報表示モードを含む。
【００２１】
ＨＴＭＬ解析部８１は、通信部６０により得られたハイパーテキストを解析する。顔画像発生部８２は、会話モード時に、表示部２０に顔画像を表示させる。記憶部８３は、各種の情報を記憶する。
【００２２】
図３は、感情認識部７５の一例を示す機能ブロック図である。図３に示すように、感情認識部７５は、韻律的特徴量検出部７５ａと、感情分析部７５ｂとを有する。韻律的特徴量検出部７５ａは、音声入力部３０に入力される音声信号から韻律的特徴量を検出する。感情分析部７５ｂは、検出された韻律的特徴量に基づいて、喜怒哀楽、驚き等の度合いを数値で出力する。本実施形態において、感情分析部７５ｂは、喜び、悲しみ、及び怒りの３種類を検出するものとする。つまり、感情認識部７５において検出される感情情報は、例えば、感情の種類（喜び、悲しみ、怒り）と、感情の種類ごとの感情の度合いの値と、を含む。感情の具体的な検出方法については、公知の技術を適宜用いることができる。
【００２３】
図４に、記憶部８３に記憶される感情情報のデータとＵＲＬのデータとがジャンルごとに分類されたデータテーブルの一例を示す図である。図４に示すデータテーブルは、感情認識部７５で検出した感情情報とＵＲＬとを関連付けるＵＲＬ情報である。図４に示すように、本実施形態では、例えば映画、スポーツ、音楽、旅行、ショッピング、グルメ、及びニュースの７種類のジャンルについて分類される。感情情報のデータ及びＵＲＬのデータは、ブラウザ装置１００の起動時に、制御部７０のＲＡＭに読み出され、動作中に変更され、プログラム終了時にハードディスクに書き戻される。それぞれのＲＡＭ上のデータの配置は任意であるが、配列として管理される。
【００２４】
各ジャンルには、喜び、悲しみ、怒りの３種類の感情ごとに、感情の度合いが高い方から５番目までのＵＲＬと、当該ＵＲＬに対応する感情の種類及び度合い値が記憶されている。感情の度合いを示す値は、例えば８ビットとして、０〜２５５の値をとらせることができる。数値が大きいほど、その感情が高かったことを示している。このように、記憶部８３は、順位付けした状態でジャンルごとにＵＲＬ情報を記憶する。
【００２５】
実際の動作では、あるＵＲＬ表示中において、ユーザの喜び度合いが１位と２位の間の値であった場合、新しいＵＲＬを２位として、２位以降の順位を１つずつ下げる。５位だったＵＲＬは削除される。また、当該ＵＲＬに対応する感情の度合いを示す値も同時に記憶、シフトされる。なお、上記例においては、各ジャンル、感情の種類について、５位以内に対応するＵＲＬが記憶される構成であるが、これに限定されず、６位以下の順位のＵＲＬについてもデータテーブルに含めてもよい。
【００２６】
また、実際の紹介の動作として、例えば、映画の紹介で、楽しい映画をユーザが希望する要望があれば、シナリオにより喜びの度合いが高いＵＲＬ（映画紹介ページ：以前に見た映画と類似の映画の紹介）から当該ＵＲＬのページを選択して表示する。また、悲しい映画をユーザが希望する要望があれば、シナリオにより悲しみの度合いの高いＵＲＬ（映画紹介ページ：以前に見た映画と類似の映画の紹介）から当該ＵＲＬのページを選択して表示する。
【００２７】
次に、上記のように構成されたブラウザ装置１００の動作について説明する。図５は、ブラウザ装置１００の動作の一例を示すフローチャートである。ブラウザ装置１００を起動した場合、モード切替制御部８０は、まず会話モードに設定する（ステップＳ５０１）。会話モードにおいて、感情認識部７５は、音声入力部３０からの入力に基づいて、感情認識処理を開始させる（ステップＳ５０２）。これにより、以後の処理と同時に感情認識の処理を並列で行う。次に挨拶動作を行う（ステップＳ５０３）。ステップＳ５０３の挨拶動作の詳細については後述する。
【００２８】
挨拶動作が完了した後、顔画像発生部８２は、話しかける様子の顔画像及び聞いている様子の顔画像のいずれとも異なる、会話状態でない無表情の顔映像を表示部２０に出力する（ステップＳ５０４）。このとき、演算処理部７１は、タイマ７９により音声入力が検出されない時間を測定しておく。次に、音声認識部７３は、音声入力部３０からの音声入力の有無をチェックする（ステップＳ５０５）。例えば、音声認識部７３は、音声入力部３０から入力された音声信号のうち、認識できる言葉があるか判断する。例えば、音声認識部７３は、音声信号のうち「天気を知りたい」という言葉を認識した場合、この「天気を知りたい」という言葉に対応したコードを記憶部８３に保存し、音声入力ありとする（ステップＳ５０６のＹｅｓ）。
【００２９】
一方、音声認識部７３により音声入力が検出されない場合（ステップＳ５０６のＮｏ）、演算処理部７１は、タイマ７９により音声入力が検出されない時間をチェックする（ステップＳ５０７）。音声入力が検出されない時間が所定の閾値時間を超過した場合（ステップＳ５０８のＹｅｓ）、タイミング発生部７８は、会話のタイミングを発生させるため、ステップＳ５０９以降の処理を行わせる。また、音声入力が検出されない時間が所定時間を超過しない場合（ステップＳ５０８のＮｏ）、ステップＳ５０４以降の処理を繰り返し行う。
【００３０】
ステップＳ５０６のＹｅｓ又はステップＳ５０８のＹｅｓの場合、シナリオ発生部７７は、ブラウザ装置１００からユーザに対する会話シナリオを設定する（ステップＳ５０９）。このように、ブラウザ装置１００は、ユーザが当該ブラウザ装置１００に動作を要求している場合、ユーザと会話するトリガを発生する。また、ブラウザ装置１００は、ユーザが当該ブラウザ装置１００に動作を要求していない場合であっても、ユーザとの親密性を高め、ユーザが感情移入できるように、タイミングを計ってユーザと会話するトリガを発生する。つまり、ステップＳ５０７において、音声入力が検出されない時間をタイマ７９によってチェックし、音声入力が検出されない時間が所定時間を超過する場合には、会話を行うタイミングとして、会話のシナリオを開始する（ステップＳ５０８のＹｅｓ）。上記の所定の閾値時間については、固定値として設定されてもよいし、所定の範囲内で変動させてもよい。
【００３１】
ステップＳ５０９において、シナリオ発生部７７は、予め記憶部８３に記憶される複数のシナリオから選択することにより、会話シナリオを設定する。会話シナリオとしては、例えばインターネットで検索するためのシナリオ、挨拶のためのシナリオ、天気や交通情報を提示するためのシナリオ、等が挙げられる。インターネットで検索するためのシナリオとして、詳細は後述（図１４参照）するが、例えば検索対象となるジャンルのリストを表示部２０に表示して、ユーザにジャンルの選択を行わせることを含む。
【００３２】
シナリオ発生部７７は、シナリオ設定動作を開始した場合、シナリオステップを設定する（ステップＳ５１０）。また、モード切替制御部８０は、ブラウザ装置１００のモードを設定する（ステップＳ５１０）。ブラウザ装置１００のモードは、ユーザと会話を行う会話モードと、表示部２０に情報を表示する情報表示モードとが含まれる。会話モードには、ブラウザ装置１００がユーザに話しかける発話の状態と、ユーザの声をブラウザ装置１００が音声認識する聴聞の状態がある。これは、シナリオのシナリオステップごとに設定される。
【００３３】
次に、演算処理部７１は、ブラウザ装置１００のモードが会話モードか否かを判定し（ステップＳ５１１）、会話モードである場合（ステップＳ５１１のＹｅｓ）、会話モードを実行させる（ステップＳ５１２）。また、会話モードではない場合（ステップＳ５１１のＮｏ）、情報表示モードを実行させる（ステップＳ５１３）。ステップＳ５１０、ステップＳ５１２、ステップＳ５１３の詳細については、それぞれ後述する。
【００３４】
演算処理部７１は、ステップＳ５１０からステップＳ５１３の動作が終了したか否かを判定する（ステップＳ５１４）。終了しないと判定した場合（ステップＳ５１４のＮｏ）、ステップＳ５１０以降の処理を繰り返し行わせる。終了したと判定した場合（ステップＳ５１４のＹｅｓ）、ブラウザ装置１００の動作を終了するか否かを判定する（ステップＳ５１５）。終了しないと判定した場合（ステップＳ５１５のＮｏ）、ステップＳ５０４以降の動作を繰り返し行う。終了すると判定した場合（ステップＳ５１５のＹｅｓ）、動作終了の挨拶動作を行う（ステップＳ５１６）。その後、感情認識部７５は、感情認識動作を終了し（ステップＳ５１７）、情報表示モードが実行された場合には、感情の種類及び度合いの値とＵＲＬとをジャンルごとに分類して、図４のような状態で記憶部８３に記憶させる（ステップＳ５１８）。
【００３５】
図６は、ステップＳ５０３の挨拶動作の一例を示すフローチャートである。図６に示すように、挨拶動作において、まず、演算処理部７１は、タイマ７９から現在時刻を取得する（ステップＳ６０１）。顔画像発生部８２は、ユーザに対して話しかける様子、例えば口が動いている状態の顔映像を表示部２０に出力する（ステップＳ６０２）。次に、音声合成部７４は、タイマ７９から取得した時刻に対応するように、例えば現在時刻が午前５時から午前１０時の間の場合には「おはようございます」、午前１０時から午後６時の間の場合には「こんにちは」、午後６時から午前５時までの間の場合には「こんばんは」、等という音声を合成し、音声出力部４０から出力させる（ステップＳ６０３）。次に、演算処理部７１は、音声入力部３０からユーザの声などの音声が入力されるまでの時間を測定するためのタイマをセットする（ステップＳ６０４）。そして、顔画像発生部８２は、表示部２０に出力する顔画像を、話しかける顔映像から、聞いている様子、例えば口が動いていない状態の顔映像に変更する（ステップＳ６０５）。音声認識部７３は、音声入力部３０にユーザによる音声入力を検出する（ステップＳ６０６）。音声認識部７３によりユーザによる音声入力が認識された場合（ステップＳ６０７のＹｅｓ）、挨拶動作を終了する。音声認識部７３によりユーザによる音声入力が認識されない場合（ステップＳ６０７のＮｏ）、演算処理部７１は、ステップＳ６０４でセットしたタイマの測定結果に基づいて、所定時刻を経過しているか否か、つまりタイムアウトであるか否かを判定する（ステップＳ６０８）。タイムアウトであると判定した場合（ステップＳ６０８のＹｅｓ）、挨拶動作を終了する。タイムアウトではないと判定した場合（ステップＳ６０８のＮｏ）、ステップＳ６０６以降の動作を繰り返し行う。
【００３６】
図７は、ステップＳ５１０において、シナリオステップを設定する動作の一例を示すフローチャートである。以下、ステップＳ５０５において音声認識部７３が「天気を知りたい」という言葉を認識したとする。図７に示すように、モード切替制御部８０は、まず、ブラウザ装置１００を会話モードにする（ステップＳ７０１）。次に、音声合成部７４及び表示制御部７２は、場所情報を入力するようにユーザに催促する旨の情報を表示部２０及び音声出力部４０から出力する（ステップＳ７０２）。なお、ステップ７０２において、音声合成部７４及び表示制御部７２は、いずれか一方のみが情報を出力してもよい。情報を出力した後、ブラウザ装置１００は、場所情報を取得する（ステップＳ７０３）。ステップＳ７０３において、音声認識部７３は、音声入力部３０からの音声入力の有無をチェックし、入力があった場合、入力された音声信号のうち、認識できる言葉があるか判断する。なお、ステップＳ７０３では、タッチパネル入力部５０からの入力の有無を併せてチェックしてもよい。
【００３７】
例えば、音声合成部７４は、音声出力部４０に対して「場所はどこですか？」という音声を出力する。これに対して、音声入力部３０に「神奈川」という音声が入力され、音声認識部７３で認識された場合、「神奈川」という言葉に対応したコードを記憶部８３に保存する。
【００３８】
次に、ステップＳ７０２及びステップＳ７０３と同様の処理により、日にち情報の入力催促（ステップＳ７０４）及び日にち情報の取得（ステップＳ７０５）、時間情報の入力催促（ステップＳ７０６）及び時間情報の取得（ステップＳ７０７）を行う。演算処理部７１は、取得した情報が上記内容でよいかどうかを確認する内容確認の入力催促（ステップＳ７０８）及び内容確認情報の取得（ステップＳ７０９）を行う。
【００３９】
演算処理部７１は、内容確認情報に基づいて上記内容ではよくないと判定した場合（ステップＳ７１０のＮｏ）、シナリオ設定動作を終了するか否かの入力催促（ステップＳ７１１）及び終了確認情報の取得（ステップＳ７１２）を行う。終了しない旨の情報が取得された場合（ステップＳ７１３のＮｏ）、ステップＳ７０２以降の処理を繰り返し行う。終了する旨の情報が取得された場合（ステップＳ７１３のＹｅｓ）、ステップＳ５１０の動作を終了する。
【００４０】
また、演算処理部７１は、ステップＳ７１０において、内容確認情報に基づいて上記内容でよいと判定した場合（ステップＳ７１０のＹｅｓ）、取得した情報に基づいて、所定の場所、日にち、時間の天気予報のＵＲＬを設定する（ステップＳ７１４）。そして、モード切替制御部８０は、ブラウザ装置１００のモードを会話モードから情報表示モードに変更して（ステップＳ７１５）、ステップＳ５１０の動作を終了する。
【００４１】
図８は、ステップＳ５１２の会話モードを実行する場合の動作の一例を示すフローチャートである。会話モードにおいて、感情制御部７６は、表情を設定する（ステップＳ８０１）。ステップＳ８０１の表情設定動作の詳細については、後述する。次に、演算処理部７１は、発話か否かを判断する（ステップＳ８０２）。発話か聴聞かについては、シナリオのステップごとに設定されているため、当該設定に沿って処理を変化させる。発話の場合（ステップＳ８０２のＹｅｓ）、顔画像発生部８２は、ユーザに話しかける顔映像を表示部２０に表示させる（ステップＳ８０３）。この時の表情（例えば、嬉しそうな表情）は、ステップＳ８０１で設定された表情とする。次に、音声合成部７４は、音声（声質、トーン）を選択する（ステップＳ８０４）。この場合についても、ステップＳ８０３と同様に、音声（例えば、嬉しそうな声質）は、ステップＳ８０１で設定された音声とする。そして、音声合成部７４は、音声を合成して（ステップＳ８０５）、音声出力部４０から出力する。
【００４２】
ステップＳ８０２において、発話ではないと判定された場合（ステップＳ８０２のＮｏ）、聴聞か否かを判定する（ステップＳ８０６）。聴聞と判断された場合（ステップＳ８０６のＹｅｓ）、顔画像発生部８２は、ユーザの話を聞いている様子の顔映像を表示部２０に出力する（ステップＳ８０７）。音声入力部３０に音声が入力された場合（ステップＳ８０８）、音声認識部７３は、音声入力部３０に入力されるユーザの声を音声認識し（ステップＳ８０９）、認識した音声を記憶部８３に保存する（ステップＳ８１０）。その後、感情制御部７６は、音声入力カウンタ７６ａを加算する（ステップＳ８１１）。
【００４３】
図９は、図８に示すステップＳ８０１における表情設定の一例を示すフローチャートである。図９に示すように、感情制御部７６は、音声入力カウンタ７６ａの計数値に基づいて、第１閾値より大きいか否かを判断する。第１閾値よりも大きい場合には、ユーザとの会話が多いことになるので、喜びが大きいと判定する（ステップＳ９０１のＹｅｓ）。喜びが大きいと判定した場合、音声合成部７４は、合成音声のトーンを高くする（ステップＳ９０２）。また、顔画像発生部８２は、顔映像を明るい表情にする（ステップＳ９０３）。
【００４４】
一方、音声入力カウンタ７６ａの計数値が第１閾値より小さい場合（ステップＳ９０１のＮｏ）、感情制御部７６は、音声入力カウンタ７６ａの計数値が第２閾値（ただし、第２閾値＜第１閾値）よりも小さいか否かを判定する。第２閾値よりも小さい場合には、ユーザとの会話が少ないことになるので、悲しみが大きいと判定する（ステップＳ９０４のＹｅｓ）。悲しみが大きいと判定した場合、音声合成部７４は、合成音声のトーンを低くし（ステップＳ９０５）。また、顔画像発生部８２は、顔映像を暗い表情にする（ステップＳ９０６）。
【００４５】
また、音声入力カウンタ７６ａの計数値が第２閾値より大きい場合（ステップＳ９０４のＮｏ）、ユーザとの会話が多くも少なくもないことになる。したがって、音声合成部７４は、合成音声のトーンを通常のトーンとする（ステップＳ９０７）。また、顔画像発生部８２は、顔映像を通常の表情にする（ステップＳ９０８）。
【００４６】
上記の動作によって表情を設定することにより、ブラウザ装置１００とユーザの親密さを高め、ユーザが感情移入しやすいようにするものである。この場合、会話が弾むほど、ブラウザ装置１００により表現される表情が明るくなる。なお、顔画像の表情、声のトーンは３種類であるが、計数の閾値を細かくしたり、長時間会話がない場合に音声入力カウンタ７６ａをダウンカウントしたりする等、細かく制御することができる。
【００４７】
図１０及び図１１は、ブラウザ装置１００の表示部２０に顔画像が表示される場合の例を示す図である。図１０に示すように、表示部２０に目と口のみが表示されてもよい。この場合、目と口を強調することができる。また、図１１に示すように、表示部２０に顔の輪郭を含めた状態で表示されてもよい。この場合、会話モードが実際の会話の状態に近い感覚となり、感情移入しやすい。なお、顔画像の表示態様は、上記の２種類に限定されず、他の態様であってもよい。会話モードでは、このような顔画像の表示態様を切り替えることにより、使いやすく、楽しいブラウザ装置１００を実現できる。
【００４８】
図１２は、図５に示すステップＳ５１３の情報表示モードを実行する場合の動作の一例を示すフローチャートである。情報表示モードにおいて、ＨＴＭＬ解析部８１は、ネットワークＮＷよりハイパーテキストを取得し、記憶部８３に蓄積する（ステップＳ１２０１）。次に、ＨＴＭＬ解析部８１は、蓄積したハイパーテキストのＨＴＭＬを解析する（ステップＳ１２０２）。音声合成部７４及び表示制御部７２は、解析結果に従って、文字、画像、映像、音声などを出力する（ステップＳ１２０３）。
【００４９】
図１３は、情報表示モードを実行するブラウザ装置１００の一例を示す図である。図１３に示すように、ブラウザ装置１００において、表示部２０には音楽についてのホームページが表示され、音声出力部４０から音楽が出力されている。この状態で、ユーザがタッチパネル入力部５０を操作することで、異なるホームページにアクセスすることが可能となっている。
【００５０】
上述した動作を行うことにより、ユーザが映画、スポーツ、音楽、旅行、ショッピング、グルメ、ニュース、等の各ジャンルのホームページを閲覧する際、ブラウザ装置１００は、ユーザが発する声を認識し、認識結果に基づいて感情の種類及び度合いを算出し、算出結果を記憶部８３に記憶する。これにより、図４に示すようなデータテーブルが形成される。
【００５１】
図１４は、ユーザの感情に応じてＵＲＬにアクセスする動作の一例を示すフローチャートである。図１４に示すように、感情認識部７５は、音声入力部３０から入力される音声に基づく感情認識を開始する（ステップＳ１４０１）。ステップＳ１４０１において、感情認識部７５は、例えば所定の時間ごとに音声による感情認識を行い、感情情報を検出し、感情情報である、喜び、悲しみ、怒りの各感情の度合いの値を感情認識結果として記憶部８３に記憶する。感情情報の最大値が更新した場合、記憶部８３に記憶された感情情報の該当する値を最大値に更新する。なお、感情認識部７５は、ステップＳ１４０１の感情認識において、上記したステップＳ５０２（図５参照）の感情認識処理により検出した結果を使用してもよい。
【００５２】
次に、音声認識によるジャンル選択を行う（ステップＳ１４０２）。ジャンル選択の詳細については、後述する。ジャンル選択の動作の間、ユーザからの音声が音声入力部３０に入力される場合、感情認識部７５は、感情認識を行い、感情情報を検出し、感情情報である、喜び、悲しみ、怒りの各感情の度合いの値の最大値が更新した場合、記憶部８３に記憶された感情情報の該当する値を最大値に更新する。
【００５３】
ジャンル選択が行われた後、演算処理部７１は、記憶部８３に記憶された感情認識結果から、感情情報である、感情の種類及び度合いを抽出する（ステップＳ１４０３）。次に、演算処理部７１は、記憶部８３に記憶されたデータテーブル（図４）から、ステップＳ１４０２で選択されたジャンルのうち、ステップＳ１４０３で抽出した感情の種類及び度合いに応じたＵＲＬを選択する（ステップＳ１４０４）。例えば、選択されたジャンルが映画であり、ユーザの感情のうち喜びの度合いが高い場合には、喜びの順位が１位のＵＲＬ（図４では、ＵＲＬ＿００１）から順に選択する。また、感情の度合いの順位が１位のＵＲＬから順に選択する態様に限定されず、他の態様でＵＲＬを選択してもよい。例えば、感情認識部７５は、ジャンル選択を行った時点におけるユーザの感情の度合いの値を算出し、算出値と最も近い値のＵＲＬを選択してもよい。また、例えば、ジャンル選択を行った時点におけるユーザの感情が悲しみや怒りの場合には、当該感情を中和するように、当該感情とは逆の感情、例えば喜びの感情の度合いの値が高いものを選択してもよい。
【００５４】
ここで、ブラウザ装置１００が初期状態又は初期状態に近い場合等、記憶部８３のデータテーブルに記憶されているＵＲＬが存在しない場合がある。したがって、演算処理部７１は、記憶部８３のデータテーブルにＵＲＬが記憶されているか否かを判定する（ステップＳ１４０５）。判定の結果、ＵＲＬが記憶されていない場合（ステップＳ１４０５のＹｅｓ）、例えばユーザにＵＲＬを音声で入力するように促し、入力された音声を認識することでＵＲＬの選択を行う（ステップＳ１４０６）。表示制御部７２及び音声合成部７４は、選択されたＵＲＬにおける内容を表示部２０及び音声出力部４０にそれぞれ出力する（ステップＳ１４０７）。
【００５５】
一方、判定の結果、ＵＲＬが記憶されている場合（ステップＳ１４０５のＮｏ）、表示制御部７２及び音声合成部７４は、ステップＳ１４０４で選択されたＵＲＬにおける内容を表示部２０及び音声出力部４０にそれぞれ出力する（ステップＳ１４０８）。
【００５６】
ステップＳ１４０８において出力されたＵＲＬにおける内容が、ユーザの見たい内容とは異なる場合がある。そこで、表示制御部７２又は音声合成部７４は、出力された内容がユーザの見たい内容であるか否かを確認する旨の表示又は音声の出力を行う（ステップＳ１４０９）。この場合、ユーザに音声又はタッチパネル入力部５０での入力を行うように促す。ユーザが見たい内容であると判定された場合（ステップＳ１４１０のＹｅｓ）、現在のＵＲＬの内容をそのまま出力し、後述するステップＳ１４１１の処理に移る。また、ユーザが見たい内容ではないと判定された場合（ステップＳ１４１０のＮｏ）、ステップＳ１４０４以降の処理を繰り返し行わせる。なお、例えば１回目のステップＳ１４０４の処理で感情の度合いが１位のＵＲＬを選択していた場合、２回目以降のステップＳ１４０４の処理では、２位以降のＵＲＬを順次選択する。そして、記憶部８３のデータテーブルに記憶される順位（本実施形態では５位）のＵＲＬの全てについて、ステップＳ１４１０においてユーザが見たい内容ではないと判定された場合、次回のステップＳ１４０５ではＹｅｓの処理を行い、音声認識によるＵＲＬ選択を行う（ステップＳ１４０６）。
【００５７】
ステップＳ１４０７又はステップＳ１４１０のＹｅｓの処理が行われた後、感情認識部７５は、検出された感情情報に基づいて、必要に応じて記憶部８３に記憶されたデータテーブル（図４参照）の感情情報の最大値を更新する（ステップＳ１４１１）。つまり、ステップＳ１４１１において、感情認識部７５は、検出した感情情報における感情の種類及び度合いの最大値と、図４に示すデータテーブルのデータとを比較する。なお、図４に示すデータテーブルは、感情の種類（喜び、悲しみ、怒り）及び度合いの最大値と、表示されているＵＲＬとをジャンルごとに分類し、記憶部８３に記憶されたデータテーブルである。感情認識部７５は、検出した感情情報における感情の種類及び度合いの最大値が、データテーブルのデータよりも大きい場合、または、データテーブルにデータが記憶されていない場合に、感情の種類（喜び、悲しみ、怒り）及び度合いの最大値とＵＲＬとジャンルとを関連付けて、記憶部８３に記憶された図４のデータテーブルにおける順位を更新する。その後、音声認識部７３は、音声入力部３０に対してユーザからＵＲＬの変更を行う旨の音声入力がなされたか否かを確認する（ステップＳ１４１２）。ＵＲＬ変更の入力がなされた場合（ステップＳ１４１３のＹｅｓ）、感情認識部７５は、感情認識処理を停止して（ステップＳ１４１４）、処理を終了する。また、ＵＲＬ変更の入力がなされない場合（ステップＳ１４１３のＮｏ）、ステップＳ１４１１以降の処理を繰り返し行う。
【００５８】
図１５は、Ｓ１４０２におけるジャンル選択処理の一例を示すフローチャートである。図１５に示すように、ジャンル選択を行う場合、まず、表示制御部７２は、映画、スポーツ、音楽、旅行、ショッピング、グルメ、ニュース等を含むジャンルのリストを表示部２０に表示する（ステップＳ１５０１）。次に、音声合成部７４は、ユーザに音声によりジャンルを選択する旨の指示を音声出力部４０に出力する（ステップＳ１５０２）。音声認識部７３は、音声入力部３０の入力結果を確認し、ユーザからジャンルが入力されるのを確認する（ステップＳ１５０３）。ジャンルが入力された場合、入力結果に基づいて選択するジャンルを確定する（ステップＳ１５０４）。
【００５９】
以上のように、本実施形態に係るブラウザ装置１００は、ネットワークＮＷに接続して情報を取得するブラウザ装置１００であって、ユーザの感情情報を検出する感情認識部７５と、感情情報と、ネットワークＮＷにおけるＵＲＬとを関連付けて記憶する記憶部８３と、感情認識部７５の検出結果に応じたＵＲＬを記憶部８３から選択する演算処理部７１とを備える。
【００６０】
この構成では、感情認識部７５においてユーザの感情を検出し、検出したユーザの感情に基づいたＵＲＬを自動的に選択して表示することができる。これにより、ユーザの状況により適したＵＲＬを選択することが可能なブラウザ装置１００を実現することができる。
【００６１】
本実施形態に係るブラウザ装置１００において、感情情報は、感情の種類と度合いとに基づいて設定される。この構成によれば、感情の種類と度合いとに基づいてＵＲＬを選択することで、ユーザの感情に適したＵＲＬを容易に選択することができる。
【００６２】
本実施形態に係るブラウザ装置１００において、記憶部８３は、感情の種類ごとに、感情の度合いに基づいて順位付けした状態でＵＲＬ情報を記憶する。この構成では、感情情報を順位付けすることで、ユーザの感情に適したＵＲＬを容易に選択することができる。
【００６３】
本実施形態に係るブラウザ装置１００において、記憶部８３は、順位付けした状態でジャンルごとにＵＲＬ情報を記憶する。この構成では、感情情報を順位付けした状態でジャンルごとにＵＲＬ情報を記憶することで、ユーザの状況により適したＵＲＬを選択することができる。
【００６４】
本実施形態に係るブラウザ装置１００において、記憶部８３は、所定のＵＲＬからの情報が表示部に表示された際に、感情認識部７５で検出された感情情報のうち感情の度合いの最大値を記憶する。ＵＲＬと関連付けられる感情情報は、感情認識部７５で検出された感情情報のうち感情の度合いの最大値である。この構成では、ユーザの最も強い感情とＵＲＬとを対応付けて記憶させることができる。
【００６５】
本実施形態に係るブラウザ装置１００は、表示部２０及び音声出力部４０の少なくとも一方の出力部と、ユーザとの間で情報のやり取りを行うための情報を出力部に出力する第１モードと、ネットワークＮＷからの情報を出力部に出力する第２モードとを切り替えて行う制御部７０とを更に備える。この構成では、ユーザから情報を得る場合に第１モードに切り替えることで、ユーザとの間の親密度を高め、ユーザが感情移入しやすくすることができる。
【００６６】
本実施形態に係るブラウザ装置１００において、出力部は、表示部２０及び音声出力部４０を含み、制御部７０は、音声出力部４０から音声情報を出力する場合にはユーザに話しかける様子を表示する画像を表示部２０に表示し、ユーザの声を取得する場合にはユーザの声を聴く様子を表示する画像を表示部２０に表示する。この構成では、ユーザとの間で会話を行っている様子を表現できるため、ユーザとの間の親密度を高め、ユーザが感情移入しやすくすることができる。
【００６７】
本実施形態に係るブラウザ装置１００において、制御部７０は、感情認識部７５の検出結果に応じて、出力される音声のトーン及び表示される画像の表示態様を変化させる。この構成では、ユーザとの間でより人同意の会話に近い状況を表現できるため、ユーザとの間の親密度を高め、ユーザが感情移入しやすくすることができる。
【００６８】
本実施形態に係るブラウザ装置１００は、時間を計測するタイマ７９を更に備え、制御部７０は、音声入力部３０によるユーザの声の取得が無い時間をタイマ７９に計測させ、所定時間以上取得が無い場合に、ユーザに対して音声入力部３０に音声情報を入力するように案内する案内情報を出力部に出力する。この構成では、ユーザからの情報を効率的に取得することができる。
【００６９】
本実施形態に係るブラウザ装置１００において、制御部７０は、第１モードと第２モードとを所定の順序で行うように設定されるシナリオ情報に基づいて、第１モードと第２モードとを切り替える。この構成では、シナリオ情報に基づいて第１モード及び第２モードを切り替えることで、シナリオ情報に応じた適切な出力を行うことができる。
【００７０】
本発明の技術範囲は上記実施形態に限定されるものではなく、本発明の趣旨を逸脱しない範囲で適宜変更を加えることができる。例えば、上記実施形態では、感情認識部７５がユーザの音声情報に基づいてユーザの感情情報を認識する構成を例に挙げて説明したが、これに限定されない。
【００７１】
図１６は、変形例に係るブラウザ装置１００Ａの一例を示す機能ブロック図である。図１６に示すように、ブラウザ装置１００Ａは、上記実施形態のブラウザ装置１００の構成に加えて、画像入力部９０と、表情分析部８４とを有している。画像入力部９０は、例えばカメラ等により構成される。画像入力部９０は、筐体１０に保持されてもよいし、筐体１０とは別個に設けられてもよい。表情分析部８４は、画像入力部９０に入力されるユーザの顔画像等の画像に基づいて、ユーザの表情を分析する。表情分析部８４は、例えば画像処理を行い、画像処理の結果を用いて表情分析を行う公知のソフトウェア等を用いて形成される。また、感情認識部８５は、音声入力部３０に入力される音声及び画像入力部９０に入力される画像に基づいて、ユーザの感情を認識する。感情認識部８５は、ジャンルに関するリストが表示部２０に表示された際のユーザの感情情報を検出する。
【００７２】
図１７は、感情認識部８５の他の例を示す機能ブロック図である。感情認識部８５は、韻律的特徴量検出部８５ａと、感情分析部８５ｂと、総合分析部８５ｃとを有する。韻律的特徴量検出部８５ａ及び感情分析部８５ｂは、上記実施形態に記載の韻律的特徴量検出部７５ａ及び感情分析部７５ｂと同様である。総合分析部８５ｃは、表情分析部８４の分析結果と、感情分析部８５ｂの分析結果とに基づいて、ユーザの感情を総合的に分析する。例えば、それぞれの各感情に係数を設定して乗算し、これを加算して音声及び表情を含めた総合的な算出値を求める。なお、表情分析部８４の分析結果のみを用いてユーザの感情を分析する構成の感情認識部が設けられてもよい。演算処理部７１は、検出された感情情報と記憶部８３に記憶されたＵＲＬ情報に基づいて、ＵＲＬを選択する。
【００７３】
このように、ユーザの顔画像を入力する画像入力部９０及びユーザの声を入力する音声入力部３０のうち少なくとも一方の入力部を更に備え、感情認識部８５が、入力部に入力されるユーザの顔画像及び声のうち少なくとも一方に基づいて、感情情報を検出する構成であってもよい。これにより、ユーザの感情をより高精度に認識することができる。
【符号の説明】
【００７４】
ＮＷ…ネットワーク、１０…筐体、２０…表示部、３０…音声入力部、４０…音声出力部、５０…タッチパネル入力部、６０…通信部、７０…制御部、７１…演算処理部、７２…表示制御部、７３…音声認識部、７４…音声合成部、７５，８５…感情認識部、７５ａ,  ８５ａ…韻律的特徴量検出部、７５ｂ，８５ｂ…感情分析部、７６…感情制御部、７６ａ…音声入力カウンタ、７７…シナリオ発生部、７８…タイミング発生部、７９…タイマ、８０…モード切替制御部、８１…ＨＴＭＬ解析部、８２…顔画像発生部、８３…記憶部、８４…表情分析部、８５ｃ…総合分析部、９０…画像入力部、１００，１００Ａ…ブラウザ装置
【図１】
2020154839.tif 000003
【図２】
2020154839.tif 000004
【図３】
2020154839.tif 000005
【図４】
2020154839.tif 000006
【図５】
2020154839.tif 000007
【図６】
2020154839.tif 000008
【図７】
2020154839.tif 000009
【図８】
2020154839.tif 000010
【図９】
2020154839.tif 000011
【図１０】
2020154839.tif 000012
【図１１】
2020154839.tif 000013
【図１２】
2020154839.tif 000014
【図１３】
2020154839.tif 000015
【図１４】
2020154839.tif 000016
【図１５】
2020154839.tif 000017
【図１６】
2020154839.tif 000018
【図１７】
2020154839.tif 000019