(57)【要約】  情報処理装置は、ユーザの入力を受け付ける状態にあるアプリケーションが処理しているコンテンツを特定する特定部と、コンテンツに対するユーザの入力に応じて応答情報を生成する応答情報生成部と、コンテンツに応じて応答情報の出力態様を決定する出力態様決定部とを備える。
2020049827.tif 000002
【特許請求の範囲】
【請求項１】
ユーザの入力を受け付ける状態にあるアプリケーションが処理しているコンテンツを特定する特定部と、
前記コンテンツに対するユーザの入力に応じて応答情報を生成する応答情報生成部と、
前記コンテンツに応じて前記応答情報の出力態様を決定する出力態様決定部と、
を備えることを特徴とする情報処理装置。
【請求項２】
前記出力態様決定部は、前記コンテンツと前記応答情報の内容とに基づいて、前記応答情報の出力態様を決定する、
ことを特徴とする請求項１に記載の情報処理装置。
【請求項３】
前記特定部は、表示装置に複数のウインドウが表示される場合、前記複数のウインドウのうち、ユーザの入力を受け付けるアクティブ状態のウインドウに対応する前記コンテンツを特定する、
ことを特徴とする請求項１又は２に記載の情報処理装置。
【請求項４】
前記出力態様決定部は、前記応答情報を画像で出力する第１出力態様、前記応答情報を音で出力する第２出力態様及び前記応答情報を振動で出力する第３出力態様のうちの複数を含む出力態様候補から前記応答情報の出力態様を前記コンテンツに応じて選択する、
ことを特徴とする請求項１から３までのうちいずれか１項に記載の情報処理装置。
【請求項５】
前記第１出力態様は、前記応答情報の内容をテキストで表示する出力態様及び前記応答情報の内容に応じたアイコンを表示する出力態様を含む、
ことを特徴とする請求項４に記載の情報処理装置。
【請求項６】
前記第２出力態様は、前記応答情報の内容を示すテキストを読み上げる出力態様及び前記応答情報の内容を識別可能な音楽的要素で出力する出力態様を含む、
ことを特徴とする請求項４又は５に記載の情報処理装置。
【請求項７】
光を発する発光部を備え、
前記出力態様候補は、前記応答情報の内容に応じた光を前記発光部から出力する第４出力態様を含む、
ことを特徴とする請求項４から６までのうちいずれか１項に記載の情報処理装置。
【請求項８】
ユーザの入力を前記コンテンツに関するコンテンツ情報に応じて解釈する解釈部を備え、
前記応答情報生成部は、前記解釈部の解釈結果に基づいて、前記応答情報を生成する、
ことを特徴とする請求項１から７までのうちいずれか１項に記載の情報処理装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、情報処理装置に関する。
【背景技術】
【０００２】
ユーザからの音声入力を解釈して、音声で指示された処理を実行する音声エージェント機能を含むシステムが知られている。例えば、動画を再生中に、検索を要求するユーザからの発語入力を受信すると、ユーザの要求する検索を実行し、検索結果を所定のウインドウに表示するシステムが提案されている（例えば、特許文献１）。この種のシステムは、検索結果を表示するウインドウのサイズを、再生中のコンテンツに基づいて変更できる。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特表２０１７−５３０５６７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかし、音声エージェント等のエージェントの応答がテキスト表示のみである場合、ユーザの要求に対する応答を表示するウインドウのサイズが再生中のコンテンツに基づいて変更されても、再生中のコンテンツによっては、テキスト表示での応答が不適切な場合がある。例えば、戦闘ゲーム等のアクションゲームのコンテンツの再生中にテキスト表示で応答すると、アクションゲームの進行に支障が生じる。このため、従来のエージェントを採用した情報処理装置の使い勝手は必ずしもよいとはいえない。
【課題を解決するための手段】
【０００５】
以上の課題を解決するために、本発明の好適な態様に係る情報処理装置は、ユーザの入力を受け付ける状態にあるアプリケーションが処理しているコンテンツを特定する特定部と、前記コンテンツに対するユーザの入力に応じて応答情報を生成する応答情報生成部と、前記コンテンツに応じて前記応答情報の出力態様を決定する出力態様決定部と、を備える。
【発明の効果】
【０００６】
本発明によれば、情報処理装置の使い勝手を向上させることができる。
【図面の簡単な説明】
【０００７】
【図１】本発明の第１実施形態に係る情報処理装置の全体構成を示すブロック図である。
【図２】有効なコンテンツと応答情報の出力態様との関係の一例を示す説明図である。
【図３】有効なコンテンツが映画である場合の情報処理装置の動作の一例を示す説明図である。
【図４】有効なコンテンツが字幕付きの映画である場合の情報処理装置の動作の一例を示す説明図である。
【図５】有効なコンテンツがメールである場合の情報処理装置の動作の一例を示す説明図である。
【図６】有効なコンテンツが地図の表示である場合の情報処理装置の動作の一例を示す説明図である。
【図７】図１に示した情報処理装置の動作の一例を示すフローチャートである。
【図８】本発明の第２実施形態に係る情報処理装置の全体構成を示すブロック図である。
【図９】図８に示した情報処理装置の動作の一例を示す説明図である。
【図１０】図８に示した情報処理装置の動作の別の例を示す説明図である。
【図１１】本発明の第３実施形態に係る情報処理装置の全体構成を示すブロック図である。
【図１２】図１１に示した情報処理装置の動作の一例を示す説明図である。
【図１３】本発明の第４実施形態に係る情報処理装置の全体構成を示すブロック図である。
【図１４】図１３に示した情報処理装置の動作の一例を示すフローチャートである。
【発明を実施するための形態】
【０００８】
[１．第１実施形態]
図１は、本発明の第１実施形態に係る情報処理装置１０の全体構成を示すブロック図である。以下の説明では、情報処理装置１０としてスマートフォンを想定する。但し、情報処理装置１０としては、任意の可搬型の情報処理装置を採用することができ、例えば、ノートパソコン、ウェアラブル端末及びタブレット端末等であってもよい。
【０００９】
図１に例示するように、情報処理装置１０は、処理装置１００、記憶装置１４０、入力装置１５０、出力装置１６０及び通信装置１７０を具備するコンピュータシステムにより実現される。情報処理装置１０の複数の要素は、単体又は複数のバスで相互に接続される。なお、本明細書における「装置」という用語は、回路、デバイス又はユニット等の他の用語に読替えてもよい。また、情報処理装置１０の複数の要素の各々を、単数又は複数の機器が構成してもよい。あるいは、情報処理装置１０の一部の要素は省略されてもよい。
【００１０】
処理装置１００は、情報処理装置１０の全体を制御するプロセッサであり、例えば単数又は複数のチップで構成される。処理装置１００は、例えば、周辺装置とのインタフェース、演算装置及びレジスタ等を含む中央処理装置（ＣＰＵ：Central Processing Unit）で構成される。なお、処理装置１００の機能の一部又は全部を、ＤＳＰ（Digital Signal Processor）、ＡＳＩＣ（Application Specific Integrated Circuit）、ＰＬＤ（Programmable Logic Device）、及び、ＦＰＧＡ（Field Programmable Gate Array）等のハードウェアによって実現してもよい。処理装置１００は、各種の処理を並列的又は逐次的に実行する。
【００１１】
処理装置１００は、例えば、記憶装置１４０から制御プログラムＰＲを読み出して実行することによって、エージェント部１１０、表示データ生成部１２０及び音データ生成部１３０として機能する。エージェント部１１０は、入力装置１５０が受け付けたユーザの入力を解釈して、ユーザの入力に応じた処理を実行する。ユーザの入力は、例えば、ユーザからの指示又は質問等である。以下では、ユーザの入力は、ユーザ入力とも称される。なお、ユーザ入力の方法は、情報処理装置１０がユーザ入力の内容をテキスト等に変換して解釈できればよく、特に限定されない。例えば、ユーザ入力の方法は、音声、テキスト、選択肢のタップ、リモコンのボタン及びモーション等のいずれでもよい。モーションは、例えば、フリック等の操作及び情報処理装置１０自体を動かす操作等である。
【００１２】
なお、図１のエージェント部１１０内に示した特定部１１２、応答情報生成部１１６及び出力態様決定部１１８は、エージェント部１１０の機能ブロックの一例である。すなわち、情報処理装置１０は、特定部１１２、応答情報生成部１１６及び出力態様決定部１１８を有する。
【００１３】
特定部１１２は、ユーザ入力を受け付ける状態にあるアプリケーションが処理しているコンテンツを特定する。以下では、ユーザ入力を受け付ける状態にあるアプリケーションが処理しているコンテンツは、有効なコンテンツとも称される。例えば、特定部１１２は、情報処理装置１０が実行しているアプリケーションを特定し、アプリケーションの名称又はアプリケーションが処理しているファイル等に基づいて、有効なコンテンツを特定する。具体的には、特定部１１２は、ユーザが情報処理装置１０を用いて映画を視聴している場合、映画を有効なコンテンツとして特定する。また、例えば、特定部１１２は、ユーザが情報処理装置１０を用いてメールの送信文を作成している場合、メールを有効なコンテンツとして特定する。なお、本明細書では、ユーザがメールを参照するため、メールをコンテンツの一種としている。
【００１４】
応答情報生成部１１６は、有効なコンテンツに対するユーザ入力に応じて応答情報を生成する。例えば、応答情報生成部１１６は、ユーザからの指示を受け付けたことを示す応答情報、ユーザからの指示に対する処理の実行結果を示す応答情報及びユーザの質問に対する回答を示す応答情報等を生成する。
【００１５】
出力態様決定部１１８は、有効なコンテンツに応じて、応答情報の出力態様を決定する。例えば、出力態様決定部１１８は、応答情報を画像で出力する第１出力態様、応答情報を音で出力する第２出力態様及び応答情報を振動で出力する第３出力態様のうちの複数を含む出力態様候補から応答情報の出力態様を、有効なコンテンツに応じて選択する。なお、出力態様決定部１１８は、応答情報の内容に応じた光を後述する発光部１６６から出力する第４出力態様を出力態様候補に含めてもよい。
【００１６】
第１出力態様は、例えば、応答情報の内容をテキストで表示する出力態様及び応答情報の内容に応じたアイコンを表示する出力態様を含んでもよい。また、第２出力態様は、例えば、応答情報の内容を示すテキストを読み上げる出力態様と、応答情報の内容を識別可能なメロディー、ハーモニー、リズム（又はテンポ）及び音色等の音楽的要素で出力する出力態様とを含んでもよい。
【００１７】
表示データ生成部１２０は、出力態様決定部１１８が、応答情報を画像で出力する第１出力態様を応答情報の出力態様に決定した場合、応答情報の内容を示すテキスト又はアイコン等の表示データを生成する。そして、表示データ生成部１２０は、生成した表示データを後述するディスプレイ１６２に転送する。
【００１８】
音データ生成部１３０は、出力態様決定部１１８が、応答情報を音で出力する第２出力態様を応答情報の出力態様に決定した場合、応答情報の内容を示す音データを生成する。音データは、例えば、応答情報の内容を示すテキストを読み上げる音のデータ又は応答情報の内容を識別可能な音楽的要素を含む音のデータ等である。音データ生成部１３０は、生成した音データを後述するスピーカー１６４に転送する。
【００１９】
記憶装置１４０は、処理装置１００が読取可能な記録媒体であり、処理装置１００が実行する制御プログラムＰＲを含む複数のプログラム、及び処理装置１００が使用する各種のデータを記憶する。記憶装置１４０は、例えば、ＲＯＭ（Read  Only  Memory）、ＥＰＲＯＭ（Erasable  Programmable  ＲＯＭ）、ＥＥＰＲＯＭ（Electrically  Erasable  Programmable  ＲＯＭ）、及びＲＡＭ（Random  Access  Memory）等の少なくとも１つによって構成されてもよい。
【００２０】
入力装置１５０は、外部からの入力を受け付ける入力デバイスである。例えば、入力装置１５０は、音声入力操作を受け付けるマイクロフォン１５２とユーザによる操作を受け付ける操作部１５４とを有する。入力装置１５０は、マイクロフォン１５２又は操作部１５４等が受け付けたユーザ入力を、エージェント部１１０に転送する。
【００２１】
マイクロフォン１５２は、例えば、ユーザからの指示又は質問等のユーザ入力を音声で受け付ける。操作部１５４は、情報処理装置１０が使用する情報を処理装置１００に入力するための機器（例えば、キーボード、マウス、スイッチ及びボタン等）であり、ユーザからの指示又は質問等のユーザ入力を受け付ける。具体的には、操作部１５４は、数字及び文字等の符号を処理装置１００に入力するための操作と、ディスプレイ１６２が表示するアイコンを選択するための操作とを受け付ける。例えば、ディスプレイ１６２の表示面に対する接触を検出するタッチパネルが操作部１５４として好適である。なお、ユーザが操作可能な複数の操作子を操作部１５４が含んでもよい。また、入力装置１５０は、情報処理装置１０自体の動き等を検出するセンサを含んでもよい。
【００２２】
出力装置１６０は、外部への出力を実施する出力デバイスである。例えば、出力装置１６０は、ディスプレイ１６２、スピーカー１６４、発光部１６６及び振動発生部１６８を有する。ディスプレイ１６２は、表示装置の一例であり、処理装置１００による制御のもとで各種の画像を表示する。例えば、ディスプレイ１６２は、応答情報を示すテキスト又はアイコン等の画像を、表示データ生成部１２０が生成した表示データに基づいて、表示する。なお、ディスプレイ１６２として、例えば、液晶表示パネル及び有機ＥＬ（Electro Luminescence）表示パネル等の各種の表示パネルが好適に利用される。
【００２３】
スピーカー１６４は、処理装置１００による制御のもとで各種の音を出力する。例えば、スピーカー１６４は、応答情報を示す音声又は音楽等の音を、音データ生成部１３０が生成した音データに基づいて、出力する。
【００２４】
発光部１６６は、例えば、ＬＥＤ（Light Emitting Diode）等の発光素子を有し、処理装置１００による制御のもとで各種の光を発する。例えば、処理装置１００は、応答情報の内容に応じて発光部１６６を点灯又は点滅させる。
【００２５】
振動発生部１６８は、例えば、バイブレータであり、処理装置１００による制御のもとで振動する。具体的には、処理装置１００は、応答情報の内容に応じて振動発生部１６８を振動させることにより、情報処理装置１０を振動させる。処理装置１００は、応答情報の内容に応じた振動のパターンを、電話の着信を知らせる振動のパターン等と異なるパターンにしてもよい。
【００２６】
通信装置１７０は、移動体通信網又はインターネット等のネットワークを介して他の装置と通信する機器である。通信装置１７０は、例えば、ネットワークデバイス、ネットワークコントローラ、ネットワークカード又は通信モジュールとも表記される。次に、図２を参照して、有効なコンテンツと応答情報の出力態様との関係の一例を説明する。
【００２７】
図２は、有効なコンテンツと応答情報の出力態様との関係の一例を示す説明図である。なお、図２では、第１出力態様として、応答情報の内容をテキストで表示する出力態様を例にし、第２出力態様として、応答情報の内容を示すテキストを読み上げる出力態様を例にして、有効なコンテンツと応答情報の出力態様との関係の一例を説明する。
【００２８】
例えば、有効なコンテンツが映画又はＴＶ（television）番組である場合（例えば、情報処理装置１０を用いて映画又はＴＶ放送が視聴されている場合）、応答情報の出力態様として、テキストが選択される。情報処理装置１０は、ユーザ入力に対してテキスト表示で応答することにより、映画等の音声が聞き取り難くなることを防止できる。例えば、応答情報の出力態様が音声である場合、応答情報の内容をユーザに伝える音声が映画等の音声と重なると、応答情報の内容及び映画等の音声が聞き取り難くなる。
【００２９】
有効なコンテンツがメールである場合（例えば、情報処理装置１０がメールのアプリケーションを実行している場合）、応答情報の出力態様として、音声が選択される。情報処理装置１０は、ユーザ入力に対して音声で応答することにより、メールの文章等が読み難くなることを防止できる。例えば、応答情報の出力態様がテキストである場合、応答情報の内容を示すテキストがメールの文章等に重ねて表示されると、メールの文章等が読み難くなる。
【００３０】
有効なコンテンツが地図の表示である場合（例えば、情報処理装置１０が地図を表示している場合）、応答情報の出力態様として、音声が選択される。この場合、表示中の地図が見難くなることを防止することができる。例えば、応答情報の出力態様がテキストである場合、応答情報の内容を示すテキストが地図に重ねて表示されると、表示中の地図が見難くなる。
【００３１】
なお、有効なコンテンツが地図の表示である場合、応答情報の出力態様として、テキスト及び音声のいずれか一方又は両方が選択されてもよい。例えば、ユーザ入力の内容が目的地までのルート検索の場合、目的地までのルートがテキストと音声との両方で出力され、ユーザ入力の内容がルート検索以外の場合、ユーザ入力に対する応答が音声のみで出力されてもよい。目的地までのルートがテキストで出力される場合、例えば、「３００ｍ先、ＡＢＣ交差点を右折」等のルートを示すテキストがディスプレイ１６２における地図の表示領域以外の領域に表示される。ユーザ入力の内容がルート検索の場合、音声での応答により目的地までのルートをユーザが容易にイメージすることができ、テキストでの応答により目的地までのルートをユーザが確認することができる。ユーザ入力の内容がルート検索以外の場合、音声のみで応答することにより、表示中の地図が見難くなることを防止することができる。すなわち、出力態様決定部１１８は、有効なコンテンツとユーザ入力の内容とに基づいて、応答情報の出力態様を決定してもよい。
【００３２】
有効なコンテンツが戦闘ゲーム等のアクションゲームである場合（例えば、情報処理装置１０がアクションゲームのアプリケーションを実行している場合）、応答情報の出力態様として、音声が選択される。情報処理装置１０は、ユーザ入力に対して音声で応答することにより、ゲームの画面等が見難くなることを防止でき、アクションゲームの進行に支障が生じることを抑止できる。例えば、応答情報の出力態様がテキストである場合、応答情報の内容を示すテキストがゲームの画面等に重ねて表示されると、ゲームの画面等が見難くなる。
【００３３】
有効なコンテンツが音楽ゲームである場合（例えば、情報処理装置１０が音楽ゲームのアプリケーションを実行している場合）、応答情報の出力態様として、テキストが選択される。情報処理装置１０は、ユーザ入力に対してテキストで応答することにより、ゲームの音が聞き取り難くなることを防止でき、音楽ゲームの進行に支障が生じることを抑止できる。例えば、応答情報の出力態様が音声である場合、応答情報の内容をユーザに伝える音声がゲームの音と重なると、応答情報の内容及びゲームの音が聞き取り難くなる。
【００３４】
なお、有効なコンテンツと応答情報の出力態様との関係及びコンテンツの種類等は、図２に示す例に限定されない。例えば、ユーザ入力の内容が緊急性の高い要求等である場合、応答情報の出力態様として、テキスト及び音声の両方が選択されてもよい。
【００３５】
図３は、有効なコンテンツが映画である場合の情報処理装置１０の動作の一例を示す説明図である。例えば、ユーザが情報処理装置１０を用いて映画を視聴している最中に「全画面にして」と音声で指示した場合、情報処理装置１０は、「承知しました」と記載したテキストをディスプレイ１６２に表示する。そして、処理装置１００は、ディスプレイ１６２の全画面に映画を表示する。
【００３６】
なお、所定の言葉で情報処理装置１０に呼びかけた後に指示等をユーザが発声するようにしてもよい。例えば、情報処理装置１０の入力装置１５０は、所定の言葉の呼びかけの後に続く音声をユーザ入力として受け付けてもよい。この場合、情報処理装置１０は、ユーザが発した言葉が情報処理装置１０に対する入力であるか否かを、所定の言葉の呼びかけの有無を検出することにより容易に判別できる。
【００３７】
また、ユーザからの「全画面にして」の指示に対する応答は、図３に示した例に限定されない。例えば、情報処理装置１０は、「全画面にしてもよろしいですか」とディスプレイ１６２に表示してもよい。また、ユーザ入力は、音声入力に限定されず、例えば、テキストであってもよい。例えば、ユーザが映画の視聴中に「渋谷に行きたい」と操作部１５４を介してテキストで入力すると、情報処理装置１０は、現在位置から渋谷までの経路を検索し、検索結果をテキストでディスプレイ１６２に表示してもよい。図４以降においても、ユーザ入力が音声である場合を例にして情報処理装置１０の動作を説明しているが、ユーザ入力は音声入力に限定されない。
【００３８】
図４は、有効なコンテンツが字幕付きの映画である場合の情報処理装置１０の動作の一例を示す説明図である。例えば、ユーザが情報処理装置１０を用いて字幕付きの映画を視聴している最中に「ボリューム下げて」と音声で指示した場合、情報処理装置１０は、「承知しました」と記載したテキストをディスプレイ１６２に表示する。そして、処理装置１００は、ディスプレイ１６２に表示している映画の音量を小さくする。なお、出力態様決定部１１８は、有効なコンテンツが字幕付きの映画である場合、字幕のテキストと異なる態様のテキストで、応答情報の内容を表示させてもよい。図４に示す例では、情報処理装置１０は、応答情報の内容を示すテキスト「承知しました」を、映画の字幕「今日の星空は、とてもきれい。」の書体と異なる書体でディスプレイ１６２上の字幕に重ならない位置に表示する。
【００３９】
応答情報の内容が映画の字幕と異なる書体で表示されるため、ディスプレイ１６２に表示された文章が応答情報の内容を示すのか映画の字幕であるのかを容易に区別することができる。また、情報処理装置１０は、ディスプレイ１６２上の領域において、映画の字幕が表示される領域とは別の領域に応答情報の内容を示すテキストを表示するため、映画の字幕が見難くなることを防止できる。
【００４０】
ユーザからの「ボリューム下げて」の指示に対する応答は、図４に示した例に限定されない。例えば、情報処理装置１０は、「音量を下げてもよろしいですか」とディスプレイ１６２に表示してもよい。
【００４１】
図５は、有効なコンテンツがメールである場合の情報処理装置１０の動作の一例を示す説明図である。例えば、ユーザが情報処理装置１０を用いてメールを見ている最中に「日曜日の天気は」と音声で尋ねた場合、処理装置１００は、情報処理装置１０の位置情報が示す地域の日曜日の天気を調べる。図５に示す例では、情報処理装置１０の位置情報が示す地域は、東京都であり、東京都の日曜日の天気を調べた結果は、晴れである。この場合、情報処理装置１０は、「東京都の日曜日の天気は晴れです」と読み上げた音声をスピーカー１６４から出力する。
【００４２】
図６は、有効なコンテンツが地図の表示である場合の情報処理装置１０の動作の一例を示す説明図である。例えば、ユーザが情報処理装置１０を用いて地図を見ている最中に「明日の天気は」と音声で尋ねた場合、処理装置１００は、地図に表示された地域の明日の天気を調べる。図６に示す例では、地図に表示された地域は、東京都千代田区であり、東京都千代田区の明日の天気を調べた結果は、曇り後晴れである。この場合、情報処理装置１０は、「千代田区の明日の天気は曇り後晴れです」と読み上げた音声をスピーカー１６４から出力する。
【００４３】
図７は、図１に示した情報処理装置１０の動作の一例を示すフローチャートである。なお、図７に示す動作は、情報処理装置１０の制御方法の一例である。
【００４４】
ステップＳ１００では、処理装置１００は、ユーザ入力があるか否かを判定する。例えば、処理装置１００は、入力装置１５０がユーザ入力を受け付けたか否かを判定する。ユーザ入力がある場合、すなわち、入力装置１５０がユーザ入力を受け付けた場合、情報処理装置１０の動作は、ステップＳ１１０に移る。一方、ユーザ入力がない場合、すなわち、入力装置１５０がユーザ入力を受け付けていない場合、情報処理装置１０の動作は、ステップＳ１００に戻る。
【００４５】
すなわち、情報処理装置１０は、入力装置１５０がユーザ入力を受け付けるまで、ステップＳ１１０の処理の実行を待機する。換言すれば、情報処理装置１０は、入力装置１５０がユーザ入力（例えば、図３の「全画面にして」、図４の「ボリューム下げて」、図５の「日曜日の天気は」及び図６の「明日の天気は」等の音声入力）を受け付けると、ステップＳ１１０の処理を実行する。
【００４６】
ステップＳ１１０では、処理装置１００は、特定部１１２として機能し、有効なコンテンツを特定する。図３に示した例では、ユーザが情報処理装置１０を用いて映画を視聴しているため、特定部１１２は、映画を有効なコンテンツとして特定する。図４に示した例では、ユーザが情報処理装置１０を用いて字幕付きの映画を視聴しているため、特定部１１２は、字幕付きの映画を有効なコンテンツとして特定する。図５に示した例では、ユーザが情報処理装置１０を用いてメールを見ているため、特定部１１２は、メールを有効なコンテンツとして特定する。図６に示した例では、ユーザが情報処理装置１０を用いて地図を見ているため、特定部１１２は、地図の表示を有効なコンテンツとして特定する。
【００４７】
次に、ステップＳ１２０では、処理装置１００は、応答情報生成部１１６として機能し、ユーザ入力に応じて応答情報を生成する。図３及び図４に示した例では、応答情報生成部１１６は、ユーザの指示を受け入れることを示す応答情報を生成する。図５及び図６に示した例では、処理装置１００は、ユーザの質問に応じた処理を実行して、ユーザからの質問に対する回答を得る。そして、応答情報生成部１１６は、ユーザの質問に対する回答を示す応答情報を生成する。
【００４８】
次に、ステップＳ１３０では、処理装置１００は、出力態様決定部１１８として機能し、ステップＳ１１０において特定した有効なコンテンツに応じて、応答情報の出力態様を決定する。図３及び図４に示した例では、出力態様決定部１１８は、応答情報の出力態様を、テキストで表示する第１出力態様に決定する。さらに、図４に示した例では、出力態様決定部１１８は、応答情報の内容を示すテキストの書体を映画の字幕と異なる書体に決定する。図５及び図６に示した例では、出力態様決定部１１８は、応答情報の出力態様を、音で出力する第２出力態様に決定する。
【００４９】
次に、ステップＳ１４０では、情報処理装置１０は、ステップＳ１２０において生成した応答情報を、ステップＳ１３０において決定した出力態様で出力する。図３及び図４に示した例では、応答情報がテキストで表示されるため、応答情報生成部１１６が生成した応答情報の内容（ユーザの指示を受け入れること）を示すテキスト（「承知しました」）の表示データを、表示データ生成部１２０が生成する。そして、情報処理装置１０は、表示データ生成部１２０が生成した表示データにより表されるテキスト（「承知しました」）を、ディスプレイ１６２に表示する。
【００５０】
また、図５及び図６に示した例では、応答情報が音で出力されるため、応答情報生成部１１６が生成した応答情報の内容（天気を調べた結果）を読み上げた音声の音データを、音データ生成部１３０が生成する。そして、情報処理装置１０は、音データ生成部１３０が生成した音データに基づく音声（図５では「東京都の日曜日の天気は晴れです」、図６では「千代田区の明日の天気は曇り後晴れです」）を、スピーカー１６４から出力する。
【００５１】
図７に示した動作により、ユーザ入力に対する応答は、有効なコンテンツに応じた出力態様で出力される。すなわち、情報処理装置１０では、ユーザ入力に対するエージェント部１１０の応答の出力態様を有効なコンテンツに応じて変更することによって、図２等において説明したように、情報処理装置１０の使い勝手を向上させることができる。
【００５２】
以上、第１実施形態では、情報処理装置１０は、ユーザ入力を受け付ける状態にあるアプリケーションが処理しているコンテンツを特定する特定部１１２と、コンテンツに対するユーザ入力に応じて応答情報を生成する応答情報生成部１１６と、コンテンツに応じて応答情報の出力態様を決定する出力態様決定部１１８とを有する。情報処理装置１０は、ユーザ入力に対する応答情報の出力態様を有効なコンテンツに応じて変更できる。このため、図２等において説明したように、情報処理装置１０の使い勝手を向上させることができる。
【００５３】
[２．第２実施形態]
第２実施形態と上述した第１実施形態の主な相違点は、応答情報の出力態様が有効なコンテンツと応答情報の内容とに基づいて決定される点である。
【００５４】
図８は、本発明の第２実施形態に係る情報処理装置１０の全体構成を示すブロック図である。図１から図７において説明した要素と同一又は同様の要素については、同一の符号を付し、詳細な説明を省略する。
【００５５】
図８に示す情報処理装置１０は、図１に示した情報処理装置１０と同一の構成である。例えば、情報処理装置１０は、処理装置１００、記憶装置１４０、入力装置１５０、出力装置１６０及び通信装置１７０を具備するコンピュータシステムにより実現される。情報処理装置１０の複数の要素は、単体又は複数のバスで相互に接続される。また、情報処理装置１０の複数の要素の各々を、単数又は複数の機器が構成してもよい。あるいは、情報処理装置１０の一部の要素は省略されてもよい。
【００５６】
図８に示す処理装置１００は、図１に示した制御プログラムＰＲの代わりに制御プログラムＰＲａを実行することを除いて、図１に示した処理装置１００と同一又は同様である。例えば、処理装置１００は、記憶装置１４０から制御プログラムＰＲａを読み出して実行することによって、エージェント部１１０ａ、表示データ生成部１２０及び音データ生成部１３０として機能する。
【００５７】
エージェント部１１０ａは、図１に示したエージェント部１１０と同様に、入力装置１５０が受け付けたユーザ入力を解釈して、ユーザ入力に応じた処理を実行する。なお、図８のエージェント部１１０ａ内に示した特定部１１２、応答情報生成部１１６及び出力態様決定部１１８ａは、エージェント部１１０ａの機能ブロックの一例である。すなわち、情報処理装置１０は、特定部１１２、応答情報生成部１１６及び出力態様決定部１１８ａを有する。図８に示す特定部１１２及び応答情報生成部１１６は、図１に示した特定部１１２及び応答情報生成部１１６と同一である。このため、図８では、出力態様決定部１１８ａについて説明する。
【００５８】
出力態様決定部１１８ａは、有効なコンテンツと応答情報の内容とに基づいて、応答情報の出力態様を決定する。例えば、応答情報には、図５及び図６に示した例のように詳細な内容を示す情報と、図３及び図４に示した例のように単に「了解」を意味する情報とが含まれる。応答情報が、単に「了解」を意味する場合、アイコン等の記号、振動又は短い音等でユーザに伝えることが可能である。このため、出力態様決定部１１８ａは、有効なコンテンツが同じ場合でも、詳細な内容を伝える応答情報か簡単な内容を伝える応答情報かによって、応答情報の出力態様を変更してもよい。例えば、有効なコンテンツがアクションゲームである場合、出力態様決定部１１８ａは、詳細な内容を伝える場合は、応答情報の内容を示すテキストを読み上げる第２出力態様を選択し、簡単な内容を伝える場合は、応答情報の内容に応じたアイコンを表示する第１出力態様を選択してもよい。
【００５９】
なお、出力態様決定部１１８ａは、応答情報の内容がユーザに確実に認知してもらいたいもの（例えば、緊急性の高い内容等）である場合、本来第１出力態様であったとしても第２出力態様を選択してもよいし、第１出力態様及び第２出力態様の両方（例えば、短い音とテキスト）を選択してもよい。また、出力態様決定部１１８ａは、有効なコンテンツと応答情報の内容との他に、ユーザ入力の内容を考慮して、応答情報の出力態様を決定してもよい。すなわち、出力態様決定部１１８ａは、有効なコンテンツと応答情報の内容とユーザ入力の内容とに基づいて、応答情報の出力態様を決定してもよい。
【００６０】
図９は、図８に示した情報処理装置１０の動作の一例を示す説明図である。なお、図９は、有効なコンテンツが映画である場合の情報処理装置１０の動作の一例を示す。例えば、ユーザが情報処理装置１０を用いて映画を視聴している最中に「ボリューム下げて」と音声で指示した場合、情報処理装置１０は、「了解」を意味するアイコンＩＣＮをディスプレイ１６２に表示する。そして、処理装置１００は、ディスプレイ１６２に表示している映画の音量を小さくする。
【００６１】
すなわち、図９に示す例では、出力態様決定部１１８ａは、有効なコンテンツが映画である場合、応答情報の出力態様を、応答情報を画像で出力する第１出力態様に決定し、応答情報の内容によって、応答情報の内容をテキストで表示するかアイコンで表示するか選択する。例えば、出力態様決定部１１８ａは、詳細な内容を伝える場合は、応答情報の内容をテキストで表示する出力態様を選択し、簡単な内容を伝える場合は、応答情報の内容に応じたアイコンを表示する出力態様を選択する。
【００６２】
応答情報の内容に応じたアイコンをディスプレイ１６２に表示する場合、ディスプレイ１６２に「承知しました」とテキストで表示する場合（例えば、図３及び図４に示した例）に比べて、応答情報の内容を表示するディスプレイ１６２上の領域を小さくすることができる。このため、映画の画面が見難くなることを抑止することができる。
【００６３】
図１０は、図８に示した情報処理装置１０の動作の別の例を示す説明図である。なお、図１０は、有効なコンテンツが映画である場合の情報処理装置１０の動作の一例を示す。例えば、ユーザが情報処理装置１０を用いて映画を視聴している最中に「ボリューム下げて」と音声で指示した場合、情報処理装置１０は、「了解」したことを、情報処理装置１０を振動させてユーザに伝える。そして、処理装置１００は、ディスプレイ１６２に表示している映画の音量を小さくする。
【００６４】
すなわち、図１０に示す例では、出力態様決定部１１８ａは、有効なコンテンツが映画である場合、応答情報の出力態様を、応答情報を画像で出力する第１出力態様にするか、応答情報を振動で出力する第３出力態様にするか、応答情報の内容によって選択する。例えば、出力態様決定部１１８ａは、詳細な内容を伝える場合は、応答情報の内容をテキストで表示する第１出力態様を選択し、簡単な内容を伝える場合は、応答情報を振動で出力する第３出力態様を選択する。
【００６５】
応答情報を振動で出力する場合、応答情報の内容を示すテキスト等がディスプレイ１６２に表示されないため、映画の画面が見難くなることを抑止することができる。なお、出力態様決定部１１８ａは、簡単な内容を伝える場合、ＬＥＤ等の発光部１６６を点灯又は点滅させることにより応答情報をユーザに伝えてもよいし、短い音をスピーカー１６４から出力することにより応答情報をユーザに伝えてもよい。
【００６６】
以上、第２実施形態においても、第１実施形態と同様の効果を得ることができる。また、第２実施形態では、出力態様決定部１１８ａは、有効なコンテンツと応答情報の内容とに基づいて、応答情報の出力態様を決定する。例えば、出力態様決定部１１８ａは、応答情報が簡単な内容を伝える場合、アイコン等の記号、振動、短い音、又はＬＥＤ等の点灯又は点滅で応答情報の内容をユーザに伝える出力態様を選択する。この結果、有効なコンテンツの音が聞き取り難くなること及び有効なコンテンツの表示が見難くなることを抑止することができる。このため、情報処理装置１０の使い勝手を向上させることができる。
【００６７】
[３．第３実施形態]
第３実施形態と上述した第１実施形態の主な相違点は、図１１に示すエージェント部１１０ｂが図１に示した特定部１１２の代わりに特定部１１２ａを有する点である。
【００６８】
図１１は、本発明の第３実施形態に係る情報処理装置１０の全体構成を示すブロック図である。図１から図１０において説明した要素と同一又は同様の要素については、同一の符号を付し、詳細な説明を省略する。
【００６９】
図１１に示す情報処理装置１０は、図１に示した情報処理装置１０と同一の構成である。例えば、情報処理装置１０は、処理装置１００、記憶装置１４０、入力装置１５０、出力装置１６０及び通信装置１７０を具備するコンピュータシステムにより実現される。情報処理装置１０の複数の要素は、単体又は複数のバスで相互に接続される。また、情報処理装置１０の複数の要素の各々を、単数又は複数の機器が構成してもよい。あるいは、情報処理装置１０の一部の要素は省略されてもよい。
【００７０】
図１１に示す処理装置１００は、図１に示した制御プログラムＰＲの代わりに制御プログラムＰＲｂを実行することを除いて、図１に示した処理装置１００と同一又は同様である。例えば、処理装置１００は、記憶装置１４０から制御プログラムＰＲｂを読み出して実行することによって、エージェント部１１０ｂ、表示データ生成部１２０及び音データ生成部１３０として機能する。
【００７１】
エージェント部１１０ｂは、図１に示したエージェント部１１０と同様に、入力装置１５０が受け付けたユーザ入力を解釈して、ユーザ入力に応じた処理を実行する。なお、図１１のエージェント部１１０ｂ内に示した特定部１１２ａ、応答情報生成部１１６及び出力態様決定部１１８は、エージェント部１１０ｂの機能ブロックの一例である。すなわち、情報処理装置１０は、特定部１１２ａ、応答情報生成部１１６及び出力態様決定部１１８を有する。図１１に示す応答情報生成部１１６及び出力態様決定部１１８は、図１に示した応答情報生成部１１６及び出力態様決定部１１８と同一である。このため、図１１では、特定部１１２ａについて説明する。
【００７２】
特定部１１２ａは、ディスプレイ１６２に複数のウインドウが表示される場合、複数のウインドウのうち、ユーザ入力を受け付けるアクティブ状態のウインドウに対応するコンテンツを有効なコンテンツとして特定する。例えば、特定部１１２ａは、ディスプレイ１６２に表示されている複数のウインドウのうち、地図が表示されたウインドウがアクティブ状態である場合、地図の表示を有効なコンテンツとして特定する。
【００７３】
なお、エージェント部１１０ｂの機能ブロックは、図１１に示す例に限定されない。例えば、エージェント部１１０ｂは、出力態様決定部１１８の代わりに、図８に示した出力態様決定部１１８ａを有してもよい。
【００７４】
図１２は、図１１に示した情報処理装置１０の動作の一例を示す説明図である。なお、図１２は、２つのウインドウＷＤ（ＷＤ１０及びＷＤ２０）がディスプレイ１６２に表示されている場合の情報処理装置１０の動作の一例を示す。ウインドウＷＤ１０には、映画が表示され、ウインドウＷＤ２０には、メールが表示されている。図１２のウインドウＷＤ内の上側の濃い網掛けは、ユーザ入力を受け付けるアクティブ状態のウインドウＷＤを示す。
【００７５】
状態Ｃ１では、特定部１１２ａは、ユーザ入力を受け付けるアクティブ状態のウインドウＷＤとして、ウインドウＷＤ１０を特定する。そして、特定部１１２ａは、ウインドウＷＤ１０に再生されている映画を有効なコンテンツとして特定する。また、状態Ｃ２では、特定部１１２ａは、ユーザ入力を受け付けるアクティブ状態のウインドウＷＤとして、ウインドウＷＤ２０を特定する。そして、特定部１１２ａは、ウインドウＷＤ２０に表示されているメールを有効なコンテンツとして特定する。
【００７６】
以上、第３実施形態においても、第１実施形態と同様の効果を得ることができる。また、第３実施形態では、特定部１１２ａは、ディスプレイ１６２に複数のウインドウＷＤが表示される場合、複数のウインドウＷＤのうち、ユーザ入力を受け付けるアクティブ状態のウインドウＷＤに対応するコンテンツを有効なコンテンツとして特定する。このため、ディスプレイ１６２に複数のウインドウＷＤが表示される場合でも、情報処理装置１０は、ユーザ入力に対する応答情報の出力態様を有効なコンテンツに応じて変更できる。このため、ディスプレイ１６２に複数のウインドウＷＤが表示される場合でも、情報処理装置１０の使い勝手を向上させることができる。
【００７７】
[４．第４実施形態]
第４実施形態と上述した第１実施形態の主な相違点は、図１３に示すエージェント部１１０ｃがユーザ入力を有効なコンテンツに関するコンテンツ情報に応じて解釈する解釈部１１４を有する点である。
【００７８】
図１３は、本発明の第４実施形態に係る情報処理装置１０の全体構成を示すブロック図である。図１から図１２において説明した要素と同一又は同様の要素については、同一の符号を付し、詳細な説明を省略する。
【００７９】
図１３に示す情報処理装置１０は、図１に示した情報処理装置１０と同一の構成である。例えば、情報処理装置１０は、処理装置１００、記憶装置１４０、入力装置１５０、出力装置１６０及び通信装置１７０を具備するコンピュータシステムにより実現される。情報処理装置１０の複数の要素は、単体又は複数のバスで相互に接続される。また、情報処理装置１０の複数の要素の各々を、単数又は複数の機器が構成してもよい。あるいは、情報処理装置１０の一部の要素は省略されてもよい。
【００８０】
図１３に示す処理装置１００は、図１に示した制御プログラムＰＲの代わりに制御プログラムＰＲｃを実行することを除いて、図１に示した処理装置１００と同一又は同様である。例えば、処理装置１００は、記憶装置１４０から制御プログラムＰＲｃを読み出して実行することによって、エージェント部１１０ｃ、表示データ生成部１２０及び音データ生成部１３０として機能する。
【００８１】
エージェント部１１０ｃは、図１に示したエージェント部１１０と同様に、入力装置１５０が受け付けたユーザ入力を解釈して、ユーザ入力に応じた処理を実行する。なお、図１３のエージェント部１１０ｃ内に示した特定部１１２、解釈部１１４、応答情報生成部１１６ａ及び出力態様決定部１１８は、エージェント部１１０ｃの機能ブロックの一例である。すなわち、情報処理装置１０は、特定部１１２、解釈部１１４、応答情報生成部１１６ａ及び出力態様決定部１１８を有する。図１３に示す特定部１１２及び出力態様決定部１１８は、図１に示した特定部１１２及び出力態様決定部１１８と同一である。このため、図１３では、解釈部１１４及び応答情報生成部１１６ａについて説明する。
【００８２】
解釈部１１４は、ユーザ入力を有効なコンテンツに関するコンテンツ情報に応じて解釈する。コンテンツ情報は、有効なコンテンツに関する一又は複数のパラメータを有する。例えば、有効なコンテンツがＴＶ番組である場合、エージェント部１１０ｃは、音声のミュートの有無、イヤホンの接続の有無及び縮小表示か全画面表示かを示すパラメータ等をコンテンツ情報として取得する。例えば、音声のミュートの有無を示すパラメータは、第１の値（例えば、値“１”）が設定されている場合、音声のミュート（ミュート有り）を示し、第１の値と異なる第２の値（例えば、値“０”）が設定されている場合、音声の出力（ミュート無し）を示す。なお、パラメータはコンテンツの種類ごとに定められている。また、有効なコンテンツに関するコンテンツ情報は、解釈部１１４により取得されてもよいし、特定部１１２により取得されてもよい。
【００８３】
そして、解釈部１１４は、コンテンツ情報に含まれるパラメータに基づいて、ユーザ入力の内容を解釈する。例えば、有効なコンテンツがＴＶ番組であり、ユーザ入力が「大きくして」である場合、ユーザの指示は、画面を大きくするのか、音量を大きくするのか不明である。パラメータが、音声のミュート、イヤホンの未接続及び縮小表示を示している場合、解釈部１１４は、ユーザ入力である「大きくして」を、画面を大きくすることと解釈する。一方、パラメータが、音声の出力（ミュート無し）、イヤホンの接続及び全画面表示を示している場合、解釈部１１４は、ユーザ入力である「大きくして」を、音量を大きくすることと解釈する。
【００８４】
なお、複数のパラメータには番組情報（例えば、ＴＶ番組のタイトル）が含まれてもよい。例えば、有効なコンテンツがＴＶでの野球中継であり、ユーザが「他の試合は？」と尋ねた場合、解釈部１１４は、ユーザ入力である「他の試合は？」を、他の野球の試合結果の検索又は他の野球の途中経過の検索と解釈する。
【００８５】
応答情報生成部１１６ａは、解釈部１１４の解釈結果に基づいて、応答情報を生成する。例えば、有効なコンテンツがＴＶ番組であり、ユーザ入力である「大きくして」を、画面を大きくすることと解釈部１１４が解釈した場合、応答情報生成部１１６ａは、「ご覧になっている画面を大きくしますか」等のユーザの指示をユーザに確認する応答情報を生成する。この場合、情報処理装置１０は、例えば、「ご覧になっている画面を大きくしますか」と記載したテキストをディスプレイ１６２に表示する。そして、処理装置１００は、ディスプレイ１６２の全画面に映画を表示する。
【００８６】
また、例えば、有効なコンテンツがＴＶ番組であり、ユーザ入力である「大きくして」を、音量を大きくすることと解釈部１１４が解釈した場合、応答情報生成部１１６ａは、「音量を大きくしますか」等のユーザの指示をユーザに確認する応答情報を生成する。この場合、情報処理装置１０は、例えば、「音量を大きくしますか」と記載したテキストをディスプレイ１６２に表示する。そして、処理装置１００は、ＴＶの音量を大きくする。
【００８７】
また、例えば、有効なコンテンツがＴＶでの野球中継であり、ユーザ入力である「他の試合は？」を他の野球の試合結果の検索又は他の野球の途中経過の検索と解釈部１１４により解釈された場合、処理装置１００は、データ放送に含まれる情報等から他の野球の試合結果又は他の野球の途中経過等を検索する。そして、応答情報生成部１１６ａは、他の野球の試合結果又は他の野球の途中経過等の検索結果を示す応答情報を生成する。この場合、情報処理装置１０は、例えば、他の野球の試合結果又は他の野球の途中経過等を記載したテキストを、ディスプレイ１６２に表示する。
【００８８】
なお、エージェント部１１０ｃの機能ブロックは、図１３に示す例に限定されない。例えば、エージェント部１１０ｃは、出力態様決定部１１８の代わりに、図８に示した出力態様決定部１１８ａを有してもよい。また、エージェント部１１０ｃは、特定部１１２の代わりに、図１１に示した特定部１１２ａを有してもよい。
【００８９】
図１４は、図１３に示した情報処理装置１０の動作の一例を示すフローチャートである。なお、図１４に示す動作は、情報処理装置１０の制御方法の一例である。ステップＳ１０、Ｓ１１０、Ｓ１３０及びＳ１４０については、図７において説明した動作と同一又は同様であるため、詳細な説明を省略する。
【００９０】
ステップＳ１００では、処理装置１００は、ユーザ入力があるか否かを判定する。ユーザ入力がある場合、情報処理装置１０の動作は、ステップＳ１１０に移る。一方、ユーザ入力がない場合、情報処理装置１０の動作は、ステップＳ１００に戻る。
【００９１】
ステップＳ１１０では、処理装置１００は、特定部１１２として機能し、有効なコンテンツを特定する。
【００９２】
次に、ステップＳ１１２では、処理装置１００は、解釈部１１４として機能し、ユーザ入力の内容を解釈する。
【００９３】
次に、ステップＳ１１４では、処理装置１００は、解釈部１１４として機能し、ステップＳ１１２において解釈したユーザ入力の内容が多義的か否かを判定する。例えば、ステップＳ１１０において特定した有効なコンテンツがＴＶ番組であり、ステップＳ１１２において解釈したユーザ入力の内容が「大きくして」である場合、ユーザ入力の内容である「大きくして」は、現段階では、画面を大きくすることと、音量を大きくすることとの２通りの意味を有する。この場合、解釈部１１４は、ユーザ入力の内容である「大きくして」は多義的であると判定する。ユーザ入力の内容が多義的である場合、情報処理装置１０の動作は、ステップＳ１１６に移る。一方、ユーザ入力の内容が多義的でない場合、すなわち、ユーザ入力の内容が一義的である場合、情報処理装置１０の動作は、ステップＳ１２０ａに移る。
【００９４】
ステップＳ１１６では、処理装置１００は、解釈部１１４として機能し、有効なコンテンツの状態を示す一又は複数のパラメータを取得する。すなわち、解釈部１１４は、ステップＳ１１０において特定された有効なコンテンツに関する一又は複数のパラメータを有するコンテンツ情報を取得する。なお、特定部１１２がコンテンツ情報を取得してもよい。
【００９５】
次に、ステップＳ１１８では、処理装置１００は、解釈部１１４として機能し、ユーザ入力の意味をステップＳ１１６において取得したパラメータに基づいて決定する。ステップＳ１１８の処理が実行された後、情報処理装置１０の動作は、ステップＳ１２０ａに移る。
【００９６】
ステップＳ１２０ａでは、処理装置１００は、応答情報生成部１１６ａとして機能し、ユーザ入力に応じて応答情報を生成する。例えば、ステップＳ１１２において解釈したユーザ入力の内容が多義的である場合、応答情報生成部１１６ａは、ステップＳ１１８において決定したユーザ入力の意味に応じて、応答情報を生成する。また、例えば、ステップＳ１１２において解釈したユーザ入力の内容が一義的である場合、応答情報生成部１１６ａは、ステップＳ１１２において解釈したユーザ入力の内容に応じて、応答情報を生成する。
【００９７】
次に、ステップＳ１３０では、処理装置１００は、出力態様決定部１１８として機能し、ステップＳ１１０において特定した有効なコンテンツに応じて、応答情報の出力態様を決定する。
【００９８】
次に、ステップＳ１４０では、情報処理装置１０は、ステップＳ１２０ａにおいて生成した応答情報を、ステップＳ１３０において決定した出力態様で出力する。
【００９９】
なお、情報処理装置１０の動作は、図１４に示す例に限定されない。例えば、解釈部１１４は、ステップＳ１１２において、有効なコンテンツに関するコンテンツ情報に応じてユーザ入力の内容を解釈してもよい。この場合、解釈部１１４は、ユーザ入力の内容を解釈する前に、有効なコンテンツの状態を示す一又は複数のパラメータを取得する。あるいは、ステップＳ１１０において、有効なコンテンツの状態を示す一又は複数のパラメータを特定部１１２が取得してもよい。
【０１００】
図１４に示した動作により、ユーザ入力の内容が多義的である場合でも、ユーザ入力の内容は、有効なコンテンツの状態に適した意味に解釈される。このため、情報処理装置１０の使い勝手を向上させることができる。
【０１０１】
以上、第４実施形態においても、第１実施形態と同様の効果を得ることができる。また、第４実施形態では、情報処理装置１０は、ユーザ入力を有効なコンテンツに関するコンテンツ情報に応じて解釈する解釈部１１４を有する。例えば、解釈部１１４は、ユーザ入力の内容が多義的である場合でも、有効なコンテンツに関するコンテンツ情報に基づいて、ユーザ入力の内容を有効なコンテンツの状態に適した意味に解釈する。そして、応答情報生成部１１６ａは、解釈部１１４の解釈結果に基づいて、応答情報を生成する。ユーザ入力の内容が多義的である場合でも、ユーザ入力に対する応答を適切に実行することができ、情報処理装置１０の使い勝手を向上させることができる。
【０１０２】
[５．変形例]
本発明は、以上に例示した実施形態に限定されない。具体的な変形の態様を以下に例示する。以下の例示から任意に選択された２以上の態様を併合してもよい。
【０１０３】
[第１変形例]
上述した第３実施形態では、ディスプレイ１６２に表示された複数のウインドウＷＤのうち、アクティブ状態のウインドウＷＤに対応するコンテンツを有効なコンテンツとして特定する例を示したが、有効なコンテンツはアクティブ状態のウインドウＷＤに対応するコンテンツに限定されない。例えば、特定部１１２ａは、アクティブ状態のウインドウＷＤに対する操作が所定時間以上実行されない場合、複数のウインドウＷＤにそれぞれ対応する複数のコンテンツのうち、予め決められた優先度の最も高いコンテンツを有効なコンテンツとして特定してもよい。例えば、図１２の状態Ｃ２において、ユーザが、送信メールを作成して送信した後、メールに対する操作を所定時間以上実行することなく、ウインドウＷＤ１０に表示されている映画を視聴し続けた場合で、映画の優先度がメールの優先度より高い場合、特定部１１２ａは、アクティブ状態のメールでなく、映画を有効なコンテンツとして特定してもよい。
【０１０４】
[第２変形例]
上述した第１実施形態から第４実施形態までの各実施形態では、出力装置１６０が発光部１６６を有する例を示したが、応答情報の内容に応じた光を発光部１６６から出力する第４出力態様が出力態様候補に含まれない場合等において、発光部１６６は、出力装置１６０から省かれてもよい。また、応答情報を振動で出力する第３出力態様が出力態様候補に含まれない場合等において、振動発生部１６８は、出力装置１６０から省かれてもよい。
【０１０５】
[第３変形例]
情報処理装置１０は、補助記憶装置を有してもよい。補助記憶装置は、処理装置１００が読取可能な記録媒体であり、例えば、ＣＤ−ＲＯＭ（Compact  Disc  ＲＯＭ）等の光ディスク、ハードディスクドライブ、フレキシブルディスク、光磁気ディスク(例えば、コンパクトディスク、デジタル多用途ディスク、Ｂｌｕ−ｒａｙ（登録商標）ディスク)、スマートカード、フラッシュメモリ(例えば、カード、スティック、キードライブ)、フロッピー（登録商標）ディスク、及び、磁気ストリップ等の少なくとも１つによって構成されてもよい。補助記憶装置は、ストレージと呼ばれてもよい。
【０１０６】
[６．その他]
（１）上述した実施形態では、記憶装置１４０は、処理装置１００が読取可能な記録媒体であり、ＲＯＭ及びＲＡＭなどを例示したが、フレキシブルディスク、光磁気ディスク(例えば、コンパクトディスク、デジタル多用途ディスク、Ｂｌｕ−ｒａｙ（登録商標）ディスク)、スマートカード、フラッシュメモリデバイス(例えば、カード、スティック、キードライブ)、ＣＤ−ＲＯＭ（Compact  Disc−ＲＯＭ）、レジスタ、リムーバブルディスク、ハードディスク、フロッピー（登録商標）ディスク、磁気ストリップ、データベース、サーバその他の適切な記憶媒体である。また、プログラムは、電気通信回線を介してネットワークから送信されてもよい。また、プログラムは、電気通信回線を介して通信網から送信されてもよい。
【０１０７】
（２）上述した実施形態は、ＬＴＥ（Long  Term  Evolution）、ＬＴＥ−Ａ（LTE-Advanced）、ＳＵＰＥＲ  ３Ｇ、ＩＭＴ−Ａｄｖａｎｃｅｄ、４Ｇ（4th  generation  mobile  communication  system）、５Ｇ（5th  generation  mobile  communication  system）、ＦＲＡ（Future  Radio  Access）、ＮＲ（new  Radio）、Ｗ−ＣＤＭＡ（登録商標）、ＧＳＭ（登録商標）、ＣＤＭＡ２０００、ＵＭＢ（Ultra  Mobile  Broadband）、ＩＥＥＥ  ８０２．１１（Ｗｉ−Ｆｉ（登録商標））、ＩＥＥＥ  ８０２．１６（ＷｉＭＡＸ（登録商標））、ＩＥＥＥ  ８０２．２０、ＵＷＢ（Ultra-WideBand）、Ｂｌｕｅｔｏｏｔｈ（登録商標）、その他の適切なシステムを利用するシステム及びこれらに基づいて拡張された次世代システムの少なくとも一つに適用されてもよい。また、複数のシステムが組み合わされて（例えば、ＬＴＥ及びＬＴＥ−Ａの少なくとも一方と５Ｇとの組み合わせ等）適用されてもよい。
【０１０８】
なお、本開示において説明した用語及び本開示の理解に必要な用語については、同一の又は類似する意味を有する用語と置き換えてもよい。例えば、信号はメッセージであってもよい。
【０１０９】
（３）上述した実施形態において、入出力された情報等は特定の場所（例えば、メモリ）に保存されてもよいし、管理テーブルを用いて管理してもよい。入出力される情報等は、上書き、更新、又は追記され得る。出力された情報等は削除されてもよい。入力された情報等は他の装置へ送信されてもよい。
【０１１０】
（４）上述した実施形態において、判定は、１ビットで表される値（０か１か）によって行われてもよいし、真偽値（Boolean：true又はfalse）によって行われてもよいし、数値の比較（例えば、所定の値との比較）によって行われてもよい。
【０１１１】
（５）上述した実施形態において例示した処理手順、シーケンス、フローチャートなどは、矛盾の無い限り、順序を入れ替えてもよい。例えば、本開示において説明した方法については、例示的な順序を用いて様々なステップの要素を提示しており、提示した特定の順序に限定されない。
【０１１２】
（６）図１、図８、図１１及び図１３に例示された各機能は、ハードウェア及びソフトウェアの少なくとも一方の任意の組み合わせによって実現される。また、各機能ブロックの実現方法は特に限定されない。すなわち、各機能ブロックは、物理的又は論理的に結合した１つの装置を用いて実現されてもよいし、物理的又は論理的に分離した２つ以上の装置を直接的又は間接的に（例えば、有線、無線などを用いて）接続し、これら複数の装置を用いて実現されてもよい。機能ブロックは、上記１つの装置又は上記複数の装置にソフトウェアを組み合わせて実現されてもよい。
【０１１３】
（７）上述した実施形態で例示したプログラムは、ソフトウェアは、ソフトウェア、ファームウェア、ミドルウェア、マイクロコード、ハードウェア記述言語と呼ばれるか、他の名称で呼ばれるかを問わず、命令、命令セット、コード、コードセグメント、プログラムコード、プログラム、サブプログラム、ソフトウェアモジュール、アプリケーション、ソフトウェアアプリケーション、ソフトウェアパッケージ、ルーチン、サブルーチン、オブジェクト、実行可能ファイル、実行スレッド、手順、機能などを意味するよう広く解釈されるべきである。
【０１１４】
また、ソフトウェア、命令、情報などは、伝送媒体を介して送受信されてもよい。例えば、ソフトウェアが、有線技術（同軸ケーブル、光ファイバケーブル、ツイストペア、デジタル加入者回線（ＤＳＬ：Digital  Subscriber  Line）など）及び無線技術（赤外線、マイクロ波など）の少なくとも一方を使用してウェブサイト、サーバ、又は他のリモートソースから送信される場合、これらの有線技術及び無線技術の少なくとも一方は、伝送媒体の定義内に含まれる。
【０１１５】
（８）前述の各形態において、「システム」及び「ネットワーク」という用語は、互換的に使用される。
【０１１６】
（９）本開示において説明した情報、パラメータなどは、絶対値を用いて表されてもよいし、所定の値からの相対値を用いて表されてもよいし、対応する別の情報を用いて表されてもよい。上述したパラメータに使用する名称はいかなる点においても限定的な名称ではない。さらに、これらのパラメータを使用する数式等は、本開示で明示的に開示したものと異なる場合もある。
【０１１７】
（１０）上述した実施形態において、「接続された(connected)」、「結合された(coupled)」という用語、又はこれらのあらゆる変形は、２又はそれ以上の要素間の直接的又は間接的なあらゆる接続又は結合を意味し、互いに「接続」又は「結合」された２つの要素間に１又はそれ以上の中間要素が存在することを含むことができる。要素間の結合又は接続は、物理的なものであっても、論理的なものであっても、或いはこれらの組み合わせであってもよい。例えば、「接続」は「アクセス」で読み替えられてもよい。本開示で使用する場合、２つの要素は、１又はそれ以上の電線、ケーブル及びプリント電気接続の少なくとも一つを用いて、並びにいくつかの非限定的かつ非包括的な例として、無線周波数領域、マイクロ波領域及び光（可視及び不可視の両方）領域の波長を有する電磁エネルギーなどを用いて、互いに「接続」又は「結合」されると考えることができる。
【０１１８】
（１１）上述した実施形態において、「に基づいて」という記載は、別段に明記されていない限り、「のみに基づいて」を意味しない。言い換えれば、「に基づいて」という記載は、「のみに基づいて」と「に少なくとも基づいて」の両方を意味する。
【０１１９】
（１２）本開示で使用する「判断(determining)」、「決定(determining)」という用語は、多種多様な動作を包含する場合がある。「判断」、「決定」は、例えば、判定(judging)、計算(calculating)、算出(computing)、処理(processing)、導出(deriving)、調査(investigating)、探索(looking  up、search、inquiry)（例えば、テーブル、データベース又は別のデータ構造での探索）、確認(ascertaining)した事を「判断」「決定」したとみなす事などを含み得る。また、「判断」、「決定」は、受信(receiving)（例えば、情報を受信すること）、送信(transmitting)(例えば、情報を送信すること)、入力(input)、出力(output)、アクセス(accessing)（例えば、メモリ中のデータにアクセスすること）した事を「判断」「決定」したとみなす事などを含み得る。また、「判断」、「決定」は、解決(resolving)、選択(selecting)、選定(choosing)、確立(establishing)、比較(comparing)などした事を「判断」「決定」したとみなす事を含み得る。つまり、「判断」「決定」は、何らかの動作を「判断」「決定」したとみなす事を含み得る。また、「判断（決定）」は、「想定する（assuming）」、「期待する（expecting）」、「みなす（considering）」などで読み替えられてもよい。
【０１２０】
（１３）上述した実施形態において、「含む（include）」、「含んでいる（including）」及びそれらの変形が使用されている場合、これらの用語は、用語「備える（comprising）」と同様に、包括的であることが意図される。さらに、本開示において使用されている用語「又は（or）」は、排他的論理和ではないことが意図される。
【０１２１】
（１４）本開示において、例えば、英語でのa,  an及びtheのように、翻訳により冠詞が追加された場合、本開示は、これらの冠詞の後に続く名詞が複数形であることを含んでもよい。
【０１２２】
（１５）本開示において説明した各態様／実施形態は単独で用いてもよいし、組み合わせて用いてもよいし、実行に伴って切り替えて用いてもよい。また、所定の情報の通知（例えば、「Ｘであること」の通知）は、明示的に行うものに限られず、暗黙的（例えば、当該所定の情報の通知を行わない）ことによって行われてもよい。
【０１２３】
以上、本開示について詳細に説明したが、当業者にとっては、本開示が本開示中に説明した実施形態に限定されるものではないということは明らかである。本開示は、請求の範囲の記載により定まる本開示の趣旨及び範囲を逸脱することなく修正及び変更態様として実施することができる。したがって、本開示の記載は、例示説明を目的とするものであり、本開示に対して何ら制限的な意味を有するものではない。
【符号の説明】
【０１２４】
１０…情報処理装置、１００…処理装置、１１０、１１０ａ、１１０ｂ、１１０ｃ…エージェント部、１１２、１１２ａ…特定部、１１４…解釈部、１１６、１１６ａ…応答情報生成部、１１８、１１８ａ…出力態様決定部、１２０…表示データ生成部、１３０…音データ生成部、１４０…記憶装置、１５０…入力装置、１５２…マイクロフォン、１５４…操作部、１６０…出力装置、１６２…ディスプレイ、１６４…スピーカー、１６６…発光部、１６８…振動発生部、１７０…通信装置、ＩＣＮ…アイコン、ＷＤ１０、ＷＤ２０…ウインドウ。
【図１】
2020049827.tif 000003
【図２】
2020049827.tif 000004
【図３】
2020049827.tif 000005
【図４】
2020049827.tif 000006
【図５】
2020049827.tif 000007
【図６】
2020049827.tif 000008
【図７】
2020049827.tif 000009
【図８】
2020049827.tif 000010
【図９】
2020049827.tif 000011
【図１０】
2020049827.tif 000012
【図１１】
2020049827.tif 000013
【図１２】
2020049827.tif 000014
【図１３】
2020049827.tif 000015
【図１４】
2020049827.tif 000016
【国際調査報告】
2020049827.tif 000017
2020049827.tif 000018