(57)【要約】【課題】複数のアプリケーションを同時に実行する場合であっても外部機器に適切な画像又は音声を出力可能であり、かつ、実行中のアプリケーションに対する操作入力を外部機器から入力可能な情報処理装置及びプログラムを提供する。【解決手段】本発明に係る情報処理装置１は、実行中のアプリケーションの画像又は音声を出力する出力部１６、１８と、前記アプリケーションの画像又は音声を外部機器２に出力する外部出力部１４と、前記外部機器２を介して前記アプリケーションに対する操作入力を受け付ける受付部１４と、前記アプリケーションの実行中に他のアプリケーションが実行された場合、前記アプリケーション又は他のアプリケーションに関する情報に基づき、又は前記操作入力に係る操作情報に基づき、前記アプリケーションの画像又は音声について前記外部機器２への出力を継続するか否かを判定する判定部１１とを備えることを特徴とする。【選択図】図１
2017118256.tif 000002
【特許請求の範囲】
【請求項１】
実行中のアプリケーションの画像又は音声を出力する出力部と、
前記アプリケーションの画像又は音声を外部機器に出力する外部出力部と、
前記外部機器を介して前記アプリケーションに対する操作入力を受け付ける受付部と、
前記アプリケーションの実行中に他のアプリケーションが実行された場合、前記アプリケーション又は他のアプリケーションに関する情報に基づき、又は前記操作入力に係る操作情報に基づき、前記アプリケーションの画像又は音声について前記外部機器への出力を継続するか否かを判定する判定部と
を備えることを特徴とする情報処理装置。
【請求項２】
出力を継続すると前記判定部が判定した場合、前記外部出力部は前記アプリケーションの画像又は音声を継続して前記外部機器に出力すると共に、前記出力部は前記他のアプリケーションの画像又は音声を出力する
ことを特徴とする請求項１に記載の情報処理装置。
【請求項３】
複数のアプリケーションに応じて出力用の画像又は音声を一時的に記憶する複数の記憶領域と、
前記判定部による判定結果に基づき、前記出力部又は外部出力部に転送される画像又は音声の転送元を、前記複数の記憶領域のいずれかに設定する設定部と
を備えることを特徴とする請求項１又は請求項２に記載の情報処理装置。
【請求項４】
複数のアプリケーションについて画像又は音声を前記外部機器に出力する優先順位を定めた優先テーブルを備え、
前記判定部は、前記優先テーブルを参照し、前記アプリケーションが前記他のアプリケーションよりも優先順位が高いか否かを判定し、
前記アプリケーションが前記他のアプリケーションよりも優先順位が高いと前記判定部が判定した場合、前記外部出力部は前記アプリケーションの画像又は音声の出力を継続する
ことを特徴とする請求項１〜請求項３のいずれか１項に記載の情報処理装置。
【請求項５】
複数のアプリケーションについて、前記外部機器への画像又は音声の出力の可否又は出力継続の可否を定めた管理テーブルを備え、
前記判定部は、前記管理テーブルを参照し、前記他のアプリケーションに関する前記外部機器への出力の可否に基づき、又は前記アプリケーションに関する前記外部機器への出力継続の可否に基づき、前記アプリケーションの画像又は音声について前記外部機器への出力を継続するか否かを判定する
ことを特徴とする請求項１〜請求項３のいずれか１項に記載の情報処理装置。
【請求項６】
前記外部機器は、前記外部出力部により出力された画像を表示する表示部と、該表示部に重ねて設けられたタッチパネルとを有する表示装置であり、
前記受付部は、前記タッチパネルにおいてタッチ入力が行われた画像上の座標を示すタッチ情報を受け付ける
ことを特徴とする請求項１〜請求項５のいずれか１項に記載の情報処理装置。
【請求項７】
前記アプリケーションの実行中に前記他のアプリケーションが実行された場合、前記外部出力部は、前記他のアプリケーションについて出力の可否に関する操作入力を受け付ける操作ボタンを、前記アプリケーションの画像と共に又は前記アプリケーションの画像に重畳して前記外部機器に表示し、
前記判定部は、前記操作ボタンへのタッチ入力に基づいて判定を行う
ことを特徴とする請求項６に記載の情報処理装置。
【請求項８】
前記アプリケーションの実行中に前記他のアプリケーションが実行された場合、前記アプリケーションの画像と、前記他のアプリケーションの画像、又は前記他のアプリケーションに係る操作メニューを示すメニュー表示とを合成した合成画像を生成する生成部を備え、
前記外部出力部は、前記生成部が生成した前記合成画像を前記外部機器に出力し、
前記受付部は、前記タッチパネルへのタッチ入力に基づき、前記アプリケーション及び他のアプリケーションに対する操作入力を受け付ける
ことを特徴とする請求項６に記載の情報処理装置。
【請求項９】
コンピュータに、
実行中のアプリケーションの画像又は音声を出力部に出力し、
前記アプリケーションの画像又は音声を外部機器に出力し、
前記外部機器を介して前記アプリケーションに対する操作入力を受け付け、
前記アプリケーションの実行中に他のアプリケーションが実行された場合、前記アプリケーション又は他のアプリケーションに関する情報に基づき、又は前記操作入力に係る操作情報に基づき、前記アプリケーションの画像又は音声について前記外部機器への出力を継続するか否かを判定する
処理を実行させることを特徴とするプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、情報処理装置及びプログラムに関する。
【背景技術】
【０００２】
通信技術の進展に伴い、複数の機器において画像又は音声を共有する技術が発展している。例えばスマートフォン等の情報処理装置がアプリケーションを実行して画像又は音声を出力すると共に、当該画像又は音声を表示装置、オーディオ機器等の外部機器に送信し、外部機器に画像又は音声を出力させる技術がある。
【０００３】
上記において、例えば外部機器への画像又は音声の出力中にスマートフォンが着信を受けた場合、スマートフォンは通話に係るアプリケーションを実行する。この場合、スマートフォンが新たなアプリケーションを実行するべく、先に実行していたアプリケーションの処理を停止することで、外部機器における画像又は音声の出力も停止される場合がある。また、スマートフォンが新たなアプリケーションに係る画像又は音声についても外部機器に出力することで、例えば着信画面、着信音声等のように、ユーザが所望しない画像又は音声が外部機器に出力される場合がある。
【０００４】
特許文献１では、画面情報の外部出力中に着信があった場合、着信画面を外部に出力せず、上記の画面情報の外部出力を継続する電子装置が開示されている。特許文献１に係る電子装置は例えば携帯電話であり、外部機器は例えばプロジェクタである。特許文献１によれば、電子装置が自装置の表示部に表示する画面情報を外部機器に送信することで、電子装置及び外部機器は共に当該画面情報を表示する。そして電子装置は、着信があった場合にも外部機器への当該画面情報の送信を継続すると共に、表示部には着信画面情報を表示する。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００７−６１７３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかし、特許文献１に係る発明は、電子装置が着信を受けた場合に行う処理に限定されており、複数のアプリケーションを同時に実行する場合において電子装置はいずれのアプリケーションに係る画像を外部機器に表示するのか、その判断基準が明確になっていない。また、特許文献１では電子装置側から外部機器側の出力を制御する一方向の処理についてのみ開示されており、外部機器側から操作入力を行い、電子装置側のアプリケーション実行を制御する処理については開示されていない。
【０００７】
本発明は斯かる事情によりなされたものであって、その目的とするところは、複数のアプリケーションを同時に実行する場合であっても外部機器に適切な画像又は音声を出力可能であり、かつ、実行中のアプリケーションに対する操作入力を外部機器から入力可能な情報処理装置及びプログラムを提供することにある。
【課題を解決するための手段】
【０００８】
本発明に係る情報処理装置は、実行中のアプリケーションの画像又は音声を出力する出力部と、前記アプリケーションの画像又は音声を外部機器に出力する外部出力部と、前記外部機器を介して前記アプリケーションに対する操作入力を受け付ける受付部と、前記アプリケーションの実行中に他のアプリケーションが実行された場合、前記アプリケーション又は他のアプリケーションに関する情報に基づき、又は前記操作入力に係る操作情報に基づき、前記アプリケーションの画像又は音声について前記外部機器への出力を継続するか否かを判定する判定部とを備えることを特徴とする。
【０００９】
本発明に係る情報処理装置は、出力を継続すると前記判定部が判定した場合、前記外部出力部は前記アプリケーションの画像又は音声を継続して前記外部機器に出力すると共に、前記出力部は前記他のアプリケーションの画像又は音声を出力することを特徴とする。
【００１０】
本発明に係る情報処理装置は、複数のアプリケーションに応じて出力用の画像又は音声を一時的に記憶する複数の記憶領域と、前記判定部による判定結果に基づき、前記出力部又は外部出力部に転送される画像又は音声の転送元を、前記複数の記憶領域のいずれかに設定する設定部とを備えることを特徴とする。
【００１１】
本発明に係る情報処理装置は、複数のアプリケーションについて画像又は音声を前記外部機器に出力する優先順位を定めた優先テーブルを備え、前記判定部は、前記優先テーブルを参照し、前記アプリケーションが前記他のアプリケーションよりも優先順位が高いか否かを判定し、前記アプリケーションが前記他のアプリケーションよりも優先順位が高いと前記判定部が判定した場合、前記外部出力部は前記アプリケーションの画像又は音声の出力を継続することを特徴とする。
【００１２】
本発明に係る情報処理装置は、複数のアプリケーションについて、前記外部機器への画像又は音声の出力の可否又は出力継続の可否を定めた管理テーブルを備え、前記判定部は、前記管理テーブルを参照し、前記他のアプリケーションに関する前記外部機器への出力の可否に基づき、又は前記アプリケーションに関する前記外部機器への出力継続の可否に基づき、前記アプリケーションの画像又は音声について前記外部機器への出力を継続するか否かを判定することを特徴とする。
【００１３】
本発明に係る情報処理装置は、前記外部機器は、前記外部出力部により出力された画像を表示する表示部と、該表示部に重ねて設けられたタッチパネルとを有する表示装置であり、前記受付部は、前記タッチパネルにおいてタッチ入力が行われた画像上の座標を示すタッチ情報を受け付けることを特徴とする。
【００１４】
本発明に係る情報処理装置は、前記アプリケーションの実行中に前記他のアプリケーションが実行された場合、前記外部出力部は、前記他のアプリケーションについて出力の可否に関する操作入力を受け付ける操作ボタンを、前記アプリケーションの画像と共に又は前記アプリケーションの画像に重畳して前記外部機器に表示し、前記判定部は、前記操作ボタンへのタッチ入力に基づいて判定を行うことを特徴とする。
【００１５】
本発明に係る情報処理装置は、前記アプリケーションの実行中に前記他のアプリケーションが実行された場合、前記アプリケーションの画像と、前記他のアプリケーションの画像、又は前記他のアプリケーションに係る操作メニューを示すメニュー表示とを合成した合成画像を生成する生成部を備え、前記外部出力部は、前記生成部が生成した前記合成画像を前記外部機器に出力し、前記受付部は、前記タッチパネルへのタッチ入力に基づき、前記アプリケーション及び他のアプリケーションに対する操作入力を受け付けることを特徴とする。
【００１６】
本発明に係るプログラムは、コンピュータに、実行中のアプリケーションの画像又は音声を出力部に出力し、前記アプリケーションの画像又は音声を外部機器に出力し、前記外部機器を介して前記アプリケーションに対する操作入力を受け付け、前記アプリケーションの実行中に他のアプリケーションが実行された場合、前記アプリケーション又は他のアプリケーションに関する情報に基づき、又は前記操作入力に係る操作情報に基づき、前記アプリケーションの画像又は音声について前記外部機器への出力を継続するか否かを判定する処理を実行させることを特徴とする。
【発明の効果】
【００１７】
本発明によれば、複数のアプリケーションを同時に実行する場合であっても外部機器に適切な画像又は音声を出力可能となり、かつ、実行中のアプリケーションに対する操作入力を外部機器から入力可能となる。
【図面の簡単な説明】
【００１８】
【図１】情報処理システムの構成例を示すブロック図である。
【図２】優先テーブルのレコードレイアウトの一例を示す説明図である。
【図３】情報処理システムの処理について説明するための説明図である。
【図４】情報処理システムの処理について説明するための説明図である。
【図５】情報処理システムの処理について説明するための説明図である。
【図６】情報処理装置の処理手順の一例を示すフローチャートである。
【図７】転送元設定のサブルーチンの処理手順の一例を示すフローチャートである。
【図８】外部入力受付のサブルーチンの処理手順の一例を示すフローチャートである。
【図９】入力受付のサブルーチンの処理手順の一例を示すフローチャートである。
【図１０】実施の形態２に係る情報処理システムの構成例を示すブロック図である。
【図１１】実施の形態２に係る管理テーブルのレコードレイアウトの一例を示す説明図である。
【図１２】実施の形態２に係る転送元設定のサブルーチンの処理手順の一例を示すフローチャートである。
【図１３】実施の形態３に係る表示装置が表示する表示画像の一例を示す説明図である。
【図１４】実施の形態３に係る転送元設定のサブルーチンの処理手順の一例を示すフローチャートである。
【図１５】実施の形態４に係る情報処理装置の構成例を示すブロック図である。
【図１６】実施の形態４に係る合成ＤＢのレコードレイアウトの一例を示す説明図である。
【図１７】実施の形態４に係るメニューＤＢのレコードレイアウトの一例を示す説明図である。
【図１８】実施の形態４に係る情報処理システムの処理について説明するための説明図である。
【図１９】実施の形態４に係る情報処理装置の処理手順の一例を示すフローチャートである。
【図２０】実施の形態４に係る転送元設定のサブルーチンの処理手順の一例を示すフローチャートである。
【図２１】実施の形態４に係る外部入力受付のサブルーチンの処理手順の一例を示すフローチャートである。
【発明を実施するための形態】
【００１９】
以下、本発明をその実施の形態を示す図面に基づいて詳述する。
（実施の形態１）
本実施の形態では、複数の機器において出力画像及び出力音声を共有する情報処理システムについて説明する。
図１は、情報処理システムの構成例を示すブロック図である。情報処理システムは、情報処理装置１及び表示装置２を含む。情報処理装置１及び表示装置２は、無線通信により通信接続されている。具体的には、情報処理装置１及び表示装置２はＷｉ−Ｆｉ  Ｄｉｒｅｃｔ（登録商標）規格に準拠した無線ＬＡＮ（Local Area Network）により、アクセスポイントとなる中継器等を介さず直接的に無線通信を行う。なお、無線通信の方式はＷｉ−Ｆｉ  Ｄｉｒｅｃｔに限られず、例えば中継器を介した所定の無線ＬＡＮにより通信を行うものであってもよい。また、情報処理装置１及び表示装置２の間の通信は無線通信に限定されず、有線通信により行ってもよい。
【００２０】
本実施の形態に係る情報処理システムは、ＵＩＢＣ（User Input Back Channel）に対応したＭｉｒａｃａｓｔ（登録商標）の技術により無線通信を行う。Ｍｉｒａｃａｓｔは、Ｗｉ−Ｆｉ  Ａｌｌｉａｎｃｅ（登録商標）が策定した通信規格であり、複数の機器において画像及び音声の共有（ミラーリング）を行うための通信規格である。Ｍｉｒａｃａｓｔに対応した複数の機器は、いずれかの機器がアクセスポイントとして機能することによって他の機器との間での直接的な無線通信を実現する。この場合に、当該複数の機器のうち一の機器は画像及び音声等のデータを他の機器に供給するソース機器として機能し、他の機器は当該画像及び音声を出力するシンク機器として機能する。また、ＵＩＢＣはＭｉｒａｃａｓｔのオプション機能であり、シンク機器においてユーザにより入力された操作の内容を示す操作情報をソース機器に送信することで、ソース機器側で実行中のアプリケーションに対しシンク機器側から、つまり外部から操作入力を行う機能である。
なお、本実施の形態に係る情報処理システムはＵＩＢＣ対応のＭｉｒａｃａｓｔにより上記の処理を実現するものとするが、画像及び音声のミラーリング、シンク機器からソース機器への操作入力等を行うことができれば、情報処理システムの通信方式は上記に限るものではない。
【００２１】
情報処理装置１は、種々の情報処理を行うと共に、画像及び音声を出力する電子機器である。情報処理装置１は、例えばスマートフォン、パーソナルコンピュータ、タブレット端末等である。本実施の形態において情報処理装置１は、ユーザが携帯しているスマートフォンであるものとする。情報処理装置１はユーザによる操作入力に従ってアプリケーションを実行し、該アプリケーションに係る画像及び音声を出力する。また、情報処理装置１はソース機器として機能し、実行中のアプリケーションの画像及び音声のデータを外部機器である表示装置２に送信し、当該画像及び音声を表示装置２に出力させる。また、情報処理装置１はＵＩＢＣに対応しており、表示装置２において入力された操作情報を表示装置２から受信し、実行中であるアプリケーションの処理に反映させる。
情報処理装置１は、例えば制御部１１、記憶部１２、一時記憶部１３、第１通信部１４、第２通信部１５、表示部１６、入力部１７、音声出力部１８、音声入力部１９を含む。
【００２２】
制御部１１は、ＣＰＵ（Central Processing Unit）又はＭＰＵ（Micro-Processing   Unit）等の演算処理装置を含む。制御部１１は、記憶部１２に記憶されたプログラムＰを読み出して実行することにより、情報処理装置１に係る種々の情報処理又は制御処理等を行う。また、制御部１１は記憶部１２に記憶された複数のアプリケーションを同時に実行可能に構成されている。
【００２３】
記憶部１２は、ＲＯＭ（Read Only Memory）等の不揮発性メモリ素子を含み、制御部１１が本実施の形態に係る処理を実行するために必要なプログラムＰ又はデータ等を記憶している。また、記憶部１２はインストール済みの複数のアプリケーションを記憶している。制御部１１は当該アプリケーションを読み出して実行することにより、画像及び音声の出力を含む制御処理を行う。
【００２４】
また、記憶部１２は、複数のアプリケーションについて画像及び音声を外部機器である表示装置２に出力する優先順位を定めた優先テーブル１２１を記憶している。詳しくは後述するように、制御部１１は複数のアプリケーションを同時に実行する場合に、優先テーブル１２１を参照し、いずれのアプリケーションに係る画像及び音声を表示装置２に出力するかを決定する。
【００２５】
一時記憶部１３は、ＲＡＭ（Random Access Memory）等の揮発性メモリ素子を含み、制御部１１が演算処理を実行するために必要なデータ等を一時的に記憶する。また、一時記憶部１３は本実施の形態に係る処理を実行するために、複数のアプリケーションに応じて出力用の画像及び音声データを一時的に記憶する複数のバッファ（記憶領域）を有する。例えば図１に示すように、一時記憶部１３は第１バッファｂ１及び第２バッファｂ２を有する。なお、一時記憶部１３が有するバッファ領域の数は２つに限定されず、３つ以上であってもよい。また、複数のバッファは単一のメモリ素子において構成される形態であっても、複数のメモリ素子において構成される形態であってもよい。
【００２６】
第１通信部１４及び第２通信部１５は、アンテナ及び通信処理回路等を含む通信モジュールである。
第１通信部１４は、上述のＷｉ−Ｆｉ  Ｄｉｒｅｃｔ規格の無線ＬＡＮ等により表示装置２と通信を行う。本実施の形態において第１通信部１４は、第１バッファｂ１又は第２バッファｂ２から転送された画像及び音声データを外部機器である表示装置２に送信する。また、第１通信部１４は、表示装置２においてユーザにより入力された操作入力の内容を示す操作情報を表示装置２から受信し、当該操作情報を制御部１１に通知する。
第２通信部１５は、例えば３Ｇ（3rd Generation）、ＬＴＥ（Long Term Evolution）等の通信規格により、携帯電話通信網に係る無線基地局（図示せず）との間で無線通信を行う。
【００２７】
表示部１６は、例えば液晶ディスプレイ又は有機ＥＬ（Electro Luminescence）ディスプレイ等の画面を有し、制御部１１から与えられた画像を表示する。
【００２８】
入力部１７は、表示部１６に重ねて設けられたタッチパネル１７１、所定箇所に設けられた押下式のボタン等を含む。入力部１７は、タッチパネル１７１へのタッチ入力等、ユーザによる操作入力を受け付ける。入力部１７は、ユーザによりなされた操作内容を制御部１１に通知する。
【００２９】
音声出力部１８は音声を出力するスピーカを含み、制御部１１からの指令に従って音声を出力する。また、音声入力部１９は音声を入力するマイクを含み、マイクを介してユーザの声を集音し、通話等に係る音声の入力を行う。
【００３０】
表示装置２は、画像及び音声の出力を行うと共に、ユーザによる操作入力を受け付ける電子機器である。表示装置２は、例えば設置型モニタ装置、タブレット端末、パーソナルコンピュータ等である。本実施の形態において表示装置２は、車両に搭載されたタッチパネル式のモニタ装置であるものとする。表示装置２は画像及び音声を出力すると共に、タッチパネル２５１においてユーザによるタッチ入力を受け付ける。また、表示装置２は情報処理装置１から画像及び音声データを受信することにより、情報処理装置１が実行中のアプリケーションの画像及び音声を出力するシンク機器（外部機器）として機能する。また、表示装置２はＵＩＢＣに対応しており、情報処理装置１が実行中のアプリケーションに対する操作入力を受け付け、該操作入力に係る操作情報を情報処理装置１に通知する。
表示装置２は、例えば制御部２１、記憶部２２、通信部２３、表示部２４、入力部２５、音声出力部２６を含む。
【００３１】
制御部２１は、ＣＰＵ又はＭＰＵ等の演算処理装置を含み、記憶部２２に記憶されたプログラムを読み出して実行することにより、表示装置２に係る種々の情報処理又は制御処理等を行う。
【００３２】
記憶部２２は、ＲＡＭ、ＲＯＭ等のメモリ素子を含み、制御部２１が処理を実行するために必要なプログラム又はデータ等を記憶している。また、記憶部２２は制御部２１が処理を実行するために必要なデータ等を一時的に記憶する。
【００３３】
通信部２３は、アンテナ及び通信処理回路等を含み、Ｗｉ−Ｆｉ  Ｄｉｒｅｃｔ規格の無線ＬＡＮ等によって情報処理装置１の第１通信部１４と無線通信を行う。本実施の形態において通信部２３は、制御部１１が実行中のアプリケーションに係る画像及び音声データを情報処理装置１から受信する。また、通信部２３は、後述する入力部２５において受け付けた操作情報を情報処理装置１に送信する。
【００３４】
表示部２４は、例えば液晶ディスプレイ又は有機ＥＬ（Electro Luminescence）ディスプレイ等の画面を有し、制御部２１から与えられた画像を表示する。
【００３５】
入力部２５は、表示部２４に重ねて設けられたタッチパネル２５１等を含み、ユーザによる操作入力を受け付ける。なお、入力部２５はユーザによる操作入力を受け付けることができればよく、例えば押下式のボタン、キーボード、マウス等であってもよい。入力部２５は、受け付けた操作入力に係る操作情報を通信部２３に転送する。
【００３６】
音声出力部２６は、音声を出力するスピーカを含み、制御部２１から与えられた音声を出力する。
【００３７】
マイク３は、表示装置２に接続された周辺機器であり、例えば車両のインストルメントパネル付近に設けられる。マイク３はユーザの声等の音声の入力を受け付け、音声データを表示装置２の制御部２１に転送する。
【００３８】
図２は、優先テーブル１２１のレコードレイアウトの一例を示す説明図である。優先テーブル１２１は、アプリ列及び優先順位列を含む。アプリ列は、記憶部１２に記憶された各アプリケーションを記憶している。例えば「ナビアプリ」は地図ナビゲーションに係る処理を実行するためのアプリケーションであり、「通話アプリ」は通話に係る処理を実行するためのアプリケーションであり、「災害アプリ」は災害情報をユーザに通知する処理を実行するためのアプリケーションである。優先順位列は、各アプリケーションと対応付けて、各アプリケーションの画像及び音声を表示装置２（外部機器）に出力する優先順位を記憶している。複数のアプリケーションを同時に実行する場合、情報処理装置１は優先テーブル１２１を参照し、いずれのアプリケーションの画像及び音声データを表示装置２に送信（出力）するかを決定する。例えばナビアプリ及び通話アプリを同時に実行する場合、ナビアプリの優先順位は「２」であり、通話アプリの優先順位は「３」であるため、情報処理装置１は優先順位の高いナビアプリの画像及び音声データを表示装置２に送信する。
【００３９】
図３は、情報処理システムの処理について説明するための説明図である。図３では、情報処理装置１が記憶部１２に記憶された複数のアプリケーションのうち一のアプリケーションを実行した場合に、情報処理システムが行う処理動作を模式的に示している。なお、以下では説明の便宜のため、情報処理装置１の処理主体は制御部１１とし、表示装置２の処理主体は制御部２１とする。
【００４０】
情報処理装置１及び表示装置２においてＷｉ−Ｆｉ  Ｄｉｒｅｃｔ規格の通信が構成され、Ｍｉｒａｃａｓｔに係る機能がオンになっているものとする。また、情報処理装置１の制御部１１は、記憶部１２に記憶された複数のアプリケーションのうち、第１のアプリケーション（以下では簡潔のため第１アプリという）を実行しているものとする。第１アプリは例えばナビアプリである。制御部１１は第１アプリを実行して所定の地図画像及びナビ音声を生成し、当該地図画像及びナビ音声に係る画像及び音声データを例えば第１バッファｂ１に一時的に記憶する。制御部１１は第１バッファｂ１に記憶したデータを順次表示部１６に転送し、地図画像を表示部１６に表示する。なお、情報処理装置１はスマートフォンであるためナビ音声については出力を行わないが、制御部１１は同様にナビ音声を音声出力部１８に出力することとしてもよい。
【００４１】
制御部１１は、実行中の第１アプリに対する操作入力を受け付ける。具体的に制御部１１は、入力部１７に係るタッチパネル１７１によりユーザからのタッチ入力を受け付ける。制御部１１は当該タッチ入力に係るタッチ情報を取得し、タッチ情報に従って第１アプリを実行する。
【００４２】
制御部１１は、表示部１６（及び音声出力部１８）に第１アプリの画像（及び音声）を出力すると共に、当該画像及び音声を外部機器である表示装置２に出力する。具体的には、制御部１１は第１バッファｂ１に記憶した画像及び音声データを第１通信部１４に転送し、第１通信部１４を制御して当該画像及び音声データを表示装置２に送信する。表示装置２の制御部２１は画像及び音声データを受信すると、地図画像を表示部２４に表示し、ナビ音声を音声出力部２６に出力する。これにより、図３に示すように表示装置２の表示部２４には、情報処理装置１の表示部１６に表示された地図画像と同一の地図画像が表示される。
上記のように、本実施の形態に係る第１通信部１４は、制御部１１が実行するアプリケーションの画像及び音声を外部機器（表示装置２）に出力する外部出力部として機能する。
【００４３】
情報処理装置１の制御部１１は、外部機器である表示装置２を介して第１アプリに対する操作入力を受け付ける処理を行う。具体的には、表示装置２のタッチパネル２５１においてユーザによるタッチ入力を受け付けた場合、表示装置２の制御部２１は、タッチ入力が行われた画像上の座標を示すタッチ情報を取得する。制御部２１は、通信部２３により当該タッチ情報を情報処理装置１に送信する。情報処理装置１の制御部１１は、第１通信部１４においてタッチ情報を受信することで、当該タッチ情報を受け付ける。制御部１１はタッチ情報を読み出してユーザによる操作入力の内容を判断し、第１アプリに係る処理に反映させる。
上記のように、本実施の形態に係る第１通信部１４は、制御部１１が実行中のアプリケーションに対する表示装置２を介した操作入力を受け付ける受付部として機能する。
【００４４】
上記において表示装置２が表示している画像は、情報処理装置１の制御部１１が生成した画像である。従って、制御部１１は当該画像において表示されている表示内容を判別可能である。よって、タッチ情報を参照してタッチ入力が行われた画像上の座標を取得することにより、制御部１１はユーザが行った操作入力の内容を判断することができる。
【００４５】
以上のように情報処理システムは、情報処理装置１において実行中のアプリケーションの画像及び音声を共有可能であると共に、実行中のアプリケーションに対して、情報処理装置１からだけでなく、外部機器である表示装置２からも操作入力が可能である。
【００４６】
図４は、情報処理システムの処理について説明するための説明図である。図４では、情報処理装置１が複数のアプリケーションを同時に実行した場合に、情報処理システムが行う処理動作を模式的に示している。
【００４７】
情報処理装置１の制御部１１が第１アプリを実行中に、記憶部１２に記憶された複数のアプリケーションのうち第２のアプリケーション（以下では簡潔のため第２アプリという）を実行した場合を考える。第２アプリは例えば通話アプリである。つまりここでは、スマートフォンである情報処理装置１に着信があった場合を考える。第２アプリを実行した場合、制御部１１は第２アプリの画像及び音声データを一時的に第２バッファｂ２に記憶する。
【００４８】
第１アプリの実行中に第２アプリを実行する場合、制御部１１は第１アプリ及び第２アプリに関する情報に基づき、第１アプリの画像及び音声について表示装置２への出力を継続するか否かを判定する。具体的には、制御部１１は優先テーブル１２１を参照し、第１アプリが第２アプリよりも優先順位が高いか否かを判定する。図２で示した優先テーブル１２１において、第１アプリ（ナビアプリ）の優先順位は「２」であり、第２アプリ（通話アプリ）の優先順位は「３」である。従って制御部１１は、第１アプリが第２アプリよりも優先順位が高いと判定する。
【００４９】
第１アプリが第２アプリよりも優先順位が高いと判定した場合、制御部１１は第１アプリの画像及び音声を継続して表示装置２に出力すると共に、第２アプリの画像及び音声を表示部１６及び音声出力部１８に出力する。具体的には、制御部１１は第１通信部１４に転送される送信用（外部出力用）の画像及び音声データの転送元を、優先順位の高い第１アプリの画像及び音声データを記憶した第１バッファｂ１に設定する。これにより、第１通信部１４は第１バッファｂ１に記憶された画像及び音声データを表示装置２に送信する。また、制御部１１は、表示部１６及び音声出力部１８に転送される出力用の画像及び音声データの転送元を、新たに実行された第２アプリの画像及び音声データが記憶された第２バッファｂ２に設定する。これにより、表示部１６及び音声出力部１８は第２バッファｂ２に記憶された画像及び音声の出力を行う。
以上より、外部機器である表示装置２は第１アプリ（ナビアプリ）の画像及び音声の出力を継続すると共に、情報処理装置１は第２アプリ（通話アプリ）の画像及び音声に出力を切り替える。
【００５０】
図５は、情報処理システムの処理について説明するための説明図である。図５では図４と同様に、情報処理装置１が複数のアプリケーションを同時に実行した場合に、情報処理システムが行う処理動作を模式的に示している。
【００５１】
図５において情報処理装置１の制御部１１は、新たに実行する第２アプリとして、通話アプリではない別のアプリケーションを実行するものとする。この場合の第２アプリは例えば災害アプリである。第１アプリ（ナビアプリ）の実行中に第２アプリ（災害アプリ）を実行した場合、制御部１１は上記と同様に優先テーブル１２１を参照し、第１アプリが第２アプリよりも優先順位が高いか否かを判定する。
【００５２】
図２で示した優先テーブル１２１において、第１アプリ（ナビアプリ）の優先順位は「２」であり、第２アプリ（災害アプリ）の優先順位は「１」である。従って制御部１１は、第１アプリが第２アプリよりも優先順位が高くないと判定する。この場合に制御部１１は、この場合に制御部１１は、表示装置２における出力を第１アプリの画像及び音声から第２アプリの画像及び音声に切り替える。具体的には、制御部１１は第１通信部１４に転送される送信用の画像及び音声データの転送元を第１バッファｂ１から第２バッファｂ２に切り替えて設定し、第２アプリの画像及び音声データを表示装置２に送信する。なお、図４の場合と同様に、制御部１１は表示部１６及び音声出力部１８における出力も第２アプリの画像及び音声に切り替える。以上より、実行中の第１アプリが新たに実行された第２アプリよりも優先順位が低い場合、情報処理装置１及び表示装置２は共に第２アプリの画像及び音声を出力する。
【００５３】
図６は、情報処理装置１の処理手順の一例を示すフローチャートである。図６に基づいて、情報処理装置１が行う処理の内容について説明する。
情報処理装置１の制御部１１は第１アプリを実行中に、所定間隔毎に以下の処理を行う。第１アプリを実行中であるため、制御部１１は第１アプリの画像及び音声を表示部１６及び音声出力部１８に出力している。
【００５４】
情報処理装置１の制御部１１は、第１アプリを実行中に第２アプリを実行するか否かを判定する（ステップＳ１１）。例えば第２アプリが通話アプリである場合、制御部１１は、第２通信部１５において着信があったか否かを判定する。第２アプリを実行しないと判定した場合（Ｓ１１：ＮＯ）、制御部１１は処理をステップＳ１５に移行する。第２アプリを実行すると判定した場合（Ｓ１１：ＹＥＳ）、制御部１１はＭｉｒａｃａｓｔに係る機能がオンになっているか否かを判定する（ステップＳ１２）。Ｍｉｒａｃａｓｔに係る機能がオンになっていないと判定した場合（Ｓ１２：ＮＯ）、制御部１１は処理をステップＳ１５に移行する。
【００５５】
Ｍｉｒａｃａｓｔに係る機能がオンになっていると判定した場合（Ｓ１２：ＹＥＳ）、制御部１１は、表示部１６及び音声出力部１８に転送される出力用の画像及び音声データの転送元と、第１通信部１４に転送される送信用（外部出力用）の画像及び音声データの転送元とを、複数の記憶領域のいずれかに設定する処理を行う（ステップＳ１３）。具体的には、制御部１１は、表示部１６及び音声出力部１８が出力する出力用の画像及び音声データの転送元を、一時記憶部１３に係る第１バッファｂ１又は第２バッファｂ２に設定する。また、制御部１１は、第１通信部１４が外部機器である表示装置２に送信（外部出力）する送信用の画像及び音声データの転送元を、一時記憶部１３に係る第１バッファｂ１又は第２バッファｂ２に設定する処理を行う。これにより、情報処理装置１及び表示装置２がそれぞれ出力する画像及び音声に係るアプリケーションが、第１アプリ又は第２アプリに決定される。
【００５６】
制御部１１は、外部機器である表示装置２を介して実行中のアプリケーションに対する操作入力を受け付ける処理を行う（ステップＳ１４）。具体的には、制御部１１は第１通信部１４により表示装置２から操作入力に係る操作情報を受信することで、表示装置２において行われた操作入力を受け付ける。制御部１１は、入力部１７を介して実行中のアプリケーションに対する操作入力を受け付ける処理を行う（ステップＳ１５）。制御部１１は一連の処理を終了する。
【００５７】
図７は、転送元設定のサブルーチンの処理手順の一例を示すフローチャートである。図７に基づいて、ステップＳ１３の転送元設定のサブルーチンの処理内容について説明する。
情報処理装置１の制御部１１は、優先テーブル１２１を参照し、第１アプリが第２アプリよりも優先順位が高いか否かを判定する（ステップＳ３１）。第１アプリが第２アプリよりも優先順位が高いと判定した場合（Ｓ３１：ＹＥＳ）、制御部１１は、第１通信部１４に転送される送信用（外部出力用）の画像及び音声データの転送元を、継続して第１バッファｂ１に設定する（ステップＳ３２）。上述のごとく第１バッファｂ１には、第１アプリの画像及び音声データが記憶されている。従って、制御部１１は表示装置２に第１アプリの画像及び音声データを送信する。表示装置２の制御部２１は当該データを受信し、第１アプリの画像及び音声を出力する。
【００５８】
第１アプリが第２アプリよりも優先順位が高くないと判定した場合（Ｓ３１：ＮＯ）、制御部１１は、第１通信部１４に転送される送信用の画像及び音声データの転送元を第２バッファｂ２に設定する（ステップＳ３３）。第２バッファｂ２には第２アプリの画像及び音声データが記憶されているため、制御部１１は表示装置２に第２アプリの画像及び音声データを送信する。表示装置２の制御部２１は当該データを受信し、第２アプリの画像及び音声を出力する。
【００５９】
制御部１１は、表示部１６及び音声出力部１８に転送される出力用の画像及び音声データの転送元を、第１バッファｂ１から第２バッファｂ２に切り替えて設定する（ステップＳ３４）。これにより制御部１１は、情報処理装置１における出力を新たに実行された第２アプリの画像及び音声に切り替える。制御部１１は処理をリターンする。
【００６０】
図８は、外部入力受付のサブルーチンの処理手順の一例を示すフローチャートである。図８に基づいて、ステップＳ１４の外部入力受付のサブルーチンの処理内容について説明する。
情報処理装置１の制御部１１は、第１通信部１４に転送される送信用（外部出力用）の画像及び音声データの転送元が、第１バッファｂ１であるか否かを判定する（ステップＳ５１）。つまり制御部１１は、表示装置２（外部機器）に出力中の画像及び音声に係るアプリケーションが第１アプリであるか否かを判定する。
【００６１】
送信用の画像及び音声データの転送元が第１バッファｂ１であると判定した場合（Ｓ５１：ＹＥＳ）、制御部１１は、外部機器である表示装置２を介して第１アプリに対する操作入力を受け付ける（ステップＳ５２）。具体的には、表示装置２のタッチパネル２５１においてタッチ入力が行われた場合、表示装置２の制御部２１はタッチ入力された画像上の座標を取得し、該座標を示すタッチ情報を生成する。制御部２１は、タッチ情報を情報処理装置１に送信する。情報処理装置１の制御部１１はタッチ情報を受信し、タッチ入力された画像上の座標を取得する。以上より制御部１１は、表示装置２を介して入力されたタッチ情報を受け付ける。制御部１１は、受け付けたタッチ情報が示す画像上の座標を判別することにより、ユーザによる操作内容を判断し、第１アプリの処理に反映させる。制御部１１は処理をリターンする。
【００６２】
送信用の画像及び音声データの転送元が第１バッファｂ１でないと判定した場合（Ｓ５１：ＮＯ）、制御部１１は、外部機器である表示装置２を介して第２アプリに対する操作入力を受け付ける（ステップＳ５３）。具体的には上記と同じく、制御部１１は表示装置２を介してタッチ情報を受け付け、当該タッチ情報に基づいて第２アプリの処理を行う。制御部１１は処理をリターンする。
【００６３】
図９は、入力受付のサブルーチンの処理手順の一例を示すフローチャートである。図９に基づいて、ステップＳ１５の入力受付のサブルーチンの処理内容について説明する。
情報処理装置１の制御部１１は、表示部１６及び音声出力部１８に転送される出力用の画像及び音声データの転送元が、第１バッファｂ１であるか否かを判定する（ステップＳ７１）。出力用の画像及び音声データの転送元が第１バッファｂ１であると判定した場合（Ｓ７１：ＹＥＳ）、制御部１１は、入力部１７より第１アプリに対する操作入力を受け付ける（ステップＳ７２）。出力用の画像及び音声データの転送元が第１バッファｂ１でないと判定した場合（Ｓ７１：ＮＯ）、制御部１１は、入力部１７より第２アプリに対する操作入力を受け付ける（ステップＳ７３）。ステップＳ７２又はＳ７３の処理を行った後、制御部１１は処理をリターンする。
【００６４】
なお、上記において表示装置２（外部機器）を介して受け付ける操作入力は、タッチパネル２５１において行われるタッチ入力であるものとしたが、本実施の形態はこれに限るものではない。表示装置２を介して受け付ける操作入力は、例えば押下式ボタンによる操作入力、音声マイクによる音声入力等であってもよい。
【００６５】
また、上記において情報処理システムは、各アプリケーションの画像、音声の両方の出力処理を行う形態について述べたが、画像のみ、又は音声のみを出力する形態であってもよい。
【００６６】
以上より、本実施の形態１によれば、第１アプリの実行中に第２アプリを実行した場合、情報処理装置１は第１アプリ及び第２アプリの情報に基づいて表示装置２（外部機器）における第１アプリの画像及び音声の出力を継続するか否かを判定する。また、情報処理装置１は表示装置２を介してユーザによる操作入力を受け付ける。従って、情報処理装置１は複数のアプリケーションを同時に実行する場合であっても表示装置２に適切な画像及び音声を出力可能であり、かつ、実行中のアプリケーションに対する操作入力を外部機器から入力可能である。
【００６７】
また、本実施の形態１によれば、第１アプリの画像及び音声について表示装置２への出力を継続すると判定した場合、情報処理装置１は第１アプリの画像及び音声を継続して表示装置２に出力すると共に、第２アプリの画像及び音声を表示部１６及び音声出力部１８に出力する。これにより、情報処理装置１及び表示装置２はそれぞれ適切な画像及び音声を出力可能となる。
【００６８】
また、本実施の形態１によれば、情報処理装置１は複数のアプリケーションに応じて画像及び音声データを一時的に記憶する記憶領域を備え、上記の判定結果に応じて自装置又は表示装置２において出力する画像及び音声データの転送元を設定する。これにより、情報処理装置１及び表示装置２それぞれが別々のアプリケーションに係る画像及び音声を出力する処理を適切に行うことができる。
【００６９】
また、本実施の形態１によれば、情報処理装置１は複数のアプリケーションに応じて優先順位を定めた優先テーブル１２１を備え、第１アプリの実行中に第２アプリを実行する場合、第１アプリ及び第２アプリの優先順位に基づいて第１アプリの画像及び音声を継続して表示装置２に出力するか否かを判定する。従って、各アプリケーションの内容に応じて適切な優先順位を予め定めることで、情報処理装置１は実行中のアプリケーションに係る画像及び音声の外部出力を継続するか否かを適切に判断することができる。
【００７０】
また、本実施の形態１によれば、表示装置２はタッチパネル２５１を備え、情報処理装置１は、タッチパネル２５１においてタッチ入力された画像上の座標を示すタッチ情報を受け付ける。表示装置２が出力する画像は情報処理装置１が生成した画像であるため、情報処理装置１はタッチ入力された画像上の座標を判別することにより、操作内容を判断することができる。また、情報処理装置１（ソース機器）側で表示装置２（シンク機器）側の操作内容を判別するため、本実施の形態を適用する場合であっても、表示装置２（シンク機器）は別段の設計変更をする必要がない。
【００７１】
（実施の形態２）
実施の形態１では、優先テーブル１２１に定められた各アプリケーションの優先順位に基づき、表示装置２に出力する画像及び音声に係るアプリケーションを決定する形態について述べた。本実施の形態では、情報処理装置１は各アプリケーションについて表示装置２への画像及び音声の出力の可否を定めた管理テーブル１２２を備え、該管理テーブル１２２に定められた出力の可否に基づいて、表示装置２に出力する画像及び音声に係るアプリケーションを決定する形態について述べる。なお、実施の形態１と重複する内容については同一の符号を付して説明を省略する。
【００７２】
図１０は、実施の形態２に係る情報処理システムの構成例を示すブロック図である。本実施の形態に係る記憶部１２は、優先テーブル１２１に代えて管理テーブル１２２を記憶している。管理テーブル１２２は、記憶部１２に記憶された複数のアプリケーションについて、表示装置２への画像及び音声の出力の可否を定めたテーブルである。
【００７３】
図１１は、実施の形態２に係る管理テーブル１２２のレコードレイアウトの一例を示す説明図である。管理テーブル１２２は例えばアプリ列及び可否列を含む。アプリ列は、記憶部１２に記憶された各アプリケーションを記憶している。可否列は、アプリ列に記憶された各アプリケーションと対応付けて、各アプリケーションについて表示装置２への画像及び音声の出力の可否を記憶している。例えば表示装置２に画像及び音声を出力するアプリケーションであれば「１」を、表示装置２に出力しないアプリケーションであれば「０」を記憶している。
【００７４】
第１アプリの実行中に第２アプリを実行する場合、情報処理装置１の制御部１１は管理テーブル１２２を参照し、第２アプリについて表示装置２への画像及び音声の出力の可否を判別する。具体的に制御部１１は、管理テーブル１２２の可否列において、第２アプリと対応付けて記憶されている記憶内容を判別する。
【００７５】
管理テーブル１２２において第２アプリと対応付けて「０」が記憶されている場合、制御部１１は第２アプリの画像及び音声を表示装置２に出力せず、第１アプリの画像及び音声データを継続して表示装置２に出力すると判断する。この場合に制御部１１は、第１通信部１４に転送される送信用の画像及び音声データの転送元を第１バッファｂ１に設定する。これにより、制御部１１は第１アプリの画像及び音声データを表示装置２に送信する。
【００７６】
第２アプリと対応付けて「１」が記憶されている場合、制御部１１は表示装置２への出力を、第１アプリの画像及び音声から第２アプリの画像及び音声に切り替えるものと判断する。この場合に制御部１１は、第１通信部１４に転送される送信用の画像及び音声データの転送元を第２バッファｂ２に設定する。これにより、制御部１１は第２アプリの画像及び音声データを表示装置２に送信する。
【００７７】
図１２は、実施の形態２に係る転送元設定のサブルーチンの処理手順の一例を示すフローチャートである。図１２に基づいて、本実施の形態に係るステップＳ１３の転送元設定のサブルーチンについて説明する。なお、実施の形態１と重複する部分については同一の符号を付して説明を省略する。
情報処理装置１の制御部１１は、管理テーブル１２２を参照し、第２アプリについて表示装置２への画像及び音声の出力の可否を判別する（ステップＳ２０１）。具体的には、制御部１１は管理テーブル１２２を参照し、第２アプリと対応付けて記憶された可否列の記憶内容を判別する。制御部１１は、ステップＳ２０１で判別した第２アプリに関する表示装置２への出力の可否に基づき、第１アプリの画像及び音声について表示装置２への出力を継続するか否かを判定する（ステップＳ２０２）。例えば制御部１１は、管理テーブル１２２において第２アプリと対応付けて可否列に「０」が記憶されているか否かを判定する。
【００７８】
第１アプリについて表示装置２への出力を継続すると判定した場合（Ｓ２０２：ＹＥＳ）、制御部１１は、第１通信部１４に転送される送信用（外部出力用）の画像及び音声データの転送元を継続して第１バッファｂ１に設定し（ステップＳ２０３）、処理をステップＳ２０５に移行する。第１アプリについて表示装置２への出力を継続しないと判定した場合（Ｓ２０２：ＮＯ）、制御部１１は第１通信部１４に転送される送信用の画像及び音声データの転送元を第２バッファｂ２に設定し（ステップＳ２０４）、処理をステップＳ２０５に移行する。制御部１１は、表示部１６及び音声出力部１８に転送される出力用の画像及び音声データの転送元を第２バッファｂ２に設定し（ステップＳ２０５）、処理をリターンする。
【００７９】
なお、上記において制御部１１は新たに実行する第２アプリについて外部出力の可否を判別することとしたが、本実施の形態はこれに限るものではない。例えば制御部１１は、すでに実行中の第１アプリについて表示装置２への出力継続の可否を判別する構成としてもよい。この場合、管理テーブル１２２は複数のアプリケーションに応じて表示装置２への出力継続の可否を記憶しておく。
【００８０】
以上より、本実施の形態２によれば、情報処理装置１は複数のアプリケーションに応じて表示装置２（外部機器）への出力の可否又は出力継続の可否を定めた管理テーブル１２２を備え、管理テーブル１２２の記憶内容に基づき、第１アプリについて表示装置２への出力を継続するか否かを判定する。これにより、例えばプライバシー保護等の観点から外部出力をするのに適さないアプリケーションを予め管理テーブル１２２に定めておくことで、当該アプリケーションに係る画像及び音声の外部出力を排除することができる。また、例えば外部出力を中断するのに適さないアプリケーションを予め管理テーブル１２２に定めておくことで、当該アプリケーションの外部出力の中断を防止することができる。
【００８１】
（実施の形態３）
実施の形態１及び２では、情報処理装置１が第１アプリについて表示装置２への出力を継続するか否かを判定する形態について述べた。一方で、各アプリケーションについて表示装置２への出力の可否は、ユーザが個別に判断することとしてもよい。本実施の形態では、第１アプリ実行中に第２アプリを実行する場合に、第２アプリについて出力の可否に関する操作入力を受け付ける操作ボタンを表示装置２に表示し、当該操作ボタンへのタッチ入力に基づいて判定処理を行う形態について述べる。なお、実施の形態１と重複する内容については同一の符号を付して説明を省略する。
【００８２】
図１３は、実施の形態３に係る表示装置２が表示する表示画像の一例を示す説明図である。図１３に基づいて、本実施の形態に係る情報処理システムの処理動作について説明する。
本実施の形態において第１アプリはナビアプリであり、第２アプリは通話アプリであるものとする。また、情報処理装置１は第１アプリを実行中であるものとし、Ｍｉｒａｃａｓｔに係る機能により情報処理装置１及び表示装置２において第１アプリの画像及び音声を共有しているものとする（図３参照）。ここで情報処理装置１の制御部１１が第２アプリを実行した場合、制御部１１は表示部１６及び音声出力部１８において着信に係る画面及び音声を出力すると共に、図１３に示す画像を表示装置２に出力する。
【００８３】
制御部１１は、第２アプリについて表示装置２への出力の可否に関する操作入力を受け付ける操作ボタン３１１を、第１アプリの画像と共に表示装置２に表示させる。具体的には図１３に示すように、制御部１１は表示装置２の表示部２４の画面上部に、操作ボタン３１１を含むテロップ３０１を表示する。テロップ３０１は例えば、着信に係る所定の情報（着信がある旨の通知、着信相手の氏名等の情報）と、「ナビ継続」「ナビ終了」等の各操作ボタン３１１とを含む。表示装置２の制御部２１は、「ナビ継続」「ナビ終了」等の各操作ボタン３１１へのタッチ入力を受け付ける。操作ボタン３１１へのタッチ入力が行われた場合、制御部２１は当該タッチ入力に係るタッチ情報を情報処理装置１に送信する。
【００８４】
情報処理装置１の制御部１１は、第１通信部１４においてタッチ情報を受信することで、当該タッチ情報を受け付ける。制御部１１はタッチ情報が示すタッチ入力の内容に基づき、第１アプリについて表示装置２への画像及び音声の出力を継続するか否かを判定する。具体的には、タッチ情報が「ナビ継続」の操作ボタン３１１へのタッチ入力を示す場合、制御部１１は第１アプリについて表示装置２への出力を継続するものと判断する。この場合に制御部１１は、第１通信部１４に転送される送信用の画像及び音声データの転送元を継続して第１バッファｂ１に設定する。これにより、情報処理装置１は第２アプリについて、表示装置２は第１アプリについて出力を行う（図４参照）。
【００８５】
タッチ情報が「ナビ終了」の操作ボタン３１１へのタッチ入力を示す場合、制御部１１は、第１アプリについて表示装置２への出力を継続せず、第２アプリについて表示装置２への出力を行うものと判断する。この場合に制御部１１は、第１通信部１４に転送される送信用の画像及び音声データの転送元を第２バッファｂ２に設定する。これにより、情報処理装置１だけでなく、表示装置２も第２アプリについて出力を行う（図５参照）。
【００８６】
図１４は、実施の形態３に係る転送元設定のサブルーチンの処理手順の一例を示すフローチャートである。図１４に基づいて、本実施の形態に係るステップＳ１３の転送元設定のサブルーチンについて説明する。
情報処理装置１の制御部１１は、第２アプリについて出力の可否に関する操作入力を受け付ける操作ボタン３１１を、第１アプリの画像と共に表示装置２に出力する（ステップＳ３０１）。具体的には、制御部１１は第１アプリの画像と操作ボタン３１１とを含む所定の画像データを表示装置２に送信する。当該画像データを受信した表示装置２の制御部２１は、第２アプリについて出力の可否に関する操作入力を受け付ける「ナビ継続」「ナビ終了」等の操作ボタン３１１を、第１アプリの画像と共に表示部２４に表示する。
【００８７】
制御部１１は、操作ボタン３１１へのタッチ入力を受け付ける（ステップＳ３０２）。具体的には、操作ボタン３１１へのタッチ入力が行われた場合、表示装置２の制御部２１は当該タッチ入力に係るタッチ情報を情報処理装置１に送信する。情報処理装置１の制御部１１は、第１通信部１４においてタッチ情報を受信することにより、操作ボタン３１１へのタッチ入力を受け付ける。
【００８８】
制御部１１は、操作ボタン３１１へのタッチ入力に基づき、第１アプリの画像及び音声について表示装置２への出力を継続するか否かを判定する（ステップＳ３０３）。例えば制御部１１は、タッチ入力が「ナビ継続」「ナビ終了」のいずれの操作ボタン３１１への入力であるかにより判定を行う。第１アプリについて表示装置２への出力を継続すると判定した場合（Ｓ３０３：ＹＥＳ）、制御部１１は、第１通信部１４に転送される送信用の画像及び音声データの転送元を継続して第１バッファｂ１に設定し（ステップＳ３０４）、処理をステップＳ３０６に移行する。第１アプリについて表示装置２への出力を継続しないと判定した場合（Ｓ３０３：ＮＯ）、制御部１１は第１通信部１４に転送される送信用の画像及び音声データの転送元を第２バッファｂ２に設定し（ステップＳ３０５）、処理をステップＳ３０６に移行する。制御部１１は、表示部１６及び音声出力部１８に転送される出力用の画像及び音声データの転送元を第２バッファｂ２に設定し（ステップＳ３０６）、処理をリターンする。
【００８９】
なお、上記において図１３に示したように、表示装置２は表示画面に第１アプリの画像と操作ボタン３１１とを別々の画像領域に表示することとしたが、本実施の形態はこれに限るものではない。例えば表示装置２は操作ボタン３１１を、第１アプリの画像に重畳して表示する形態であってもよい。この場合、例えば表示装置２は半透明の操作ボタン３１１を第１アプリの画像上に表示する。情報処理装置１の制御部１１は、表示装置２において半透明で表示された操作ボタン３１１へのタッチ入力に基づき、上記の判定処理を行う。
【００９０】
また、上記において情報処理装置１は操作ボタン３１１へのタッチ入力に基づいて判定を行うものとしたが、本実施の形態はこれに限るものではない。例えば情報処理装置１は、マイク３による音声入力に基づいて判定を行う形態としてもよい。また、表示装置２を外部の入力機器（例えばステアリングリモコン）と接続し、当該入力機器への操作入力を表示装置２が情報処理装置１に転送する形態であってもよい。つまり情報処理装置１は、表示装置２より取得した操作情報に基づいて判定を行う構成であればよい。
【００９１】
また、上記では情報処理装置１が着信を受けて通話アプリ（第２アプリ）を実行した場合に操作ボタン３１１へのタッチ入力を受け付ける形態について述べたが、本実施の形態はこれに限るものではない。例えば情報処理装置１は、表示装置２への操作入力に基づいて通話アプリを起動し、通話の発信をすることも可能な構成としてもよい。この場合、例えば情報処理装置１は第１アプリ（ナビアプリ）の画像上に所定の操作ボタン（例えば「発信」を示すアイコン）を表示装置２に表示しておき、当該操作ボタンへのタッチ入力を受け付けた場合、通話アプリを起動する。このように、情報処理装置１が表示装置２を介して受け付ける操作入力は、新たな第２アプリの実行に際する受動的な操作入力に限定されず、第２アプリを新たに実行する等、ユーザによる能動的な操作入力であってもよい。
また、情報処理装置１はＵＩＢＣ機能により、表示装置２を介して第１アプリ及第２アプリ以外に関する諸般の操作入力（例えば情報処理装置１の電源をオフにする、Ｍｉｒａｃａｓｔによる情報処理装置１及び表示装置２の間の通信自体をオフにする等）を受け付けてもよいことは勿論である。
【００９２】
また、上記において情報処理装置１は、第２アプリ実行の際に操作ボタン３１１を表示装置２に表示し、ユーザによるタッチ入力を促すものとしたが、本実施の形態はこれに限るものではない。例えば情報処理装置１は、第１アプリ及び第２アプリの組み合わせとユーザによる操作情報とを履歴として格納する所定のデータベース（以下、ＤＢという）を記憶しておく。情報処理装置１は第２アプリを実行する場合に当該ＤＢを参照し、第１アプリに関する外部出力を継続するか否かをデフォルトで判定してもよい。これにより、ユーザが第２アプリ実行の際に毎回操作を行うような不便が解消される。
【００９３】
以上より、本実施の形態３によれば、情報処理装置１は表示装置２（外部機器）を介して受け付けた操作情報に基づき、第１アプリの画像及び音声を継続して表示装置２に出力するか否かを判定する。これにより、表示装置２において出力するアプリケーションをユーザが個別に選択することができる。
【００９４】
また、本実施の形態３によれば、情報処理装置１は、第２アプリについて出力の可否に関する操作入力を受け付ける操作ボタン３１１を、第１アプリの画像と共に又は第１アプリの画像に重畳して表示装置２に表示し、操作ボタン３１１へのタッチ入力に基づいて判定を行う。これにより、ユーザは表示装置２における表示の切り替えを簡単に行うことができる。
【００９５】
（実施の形態４）
実施の形態３では、情報処理装置１は操作ボタン３１１へのタッチ入力に基づき第１アプリについて表示装置２への出力を継続するか否かを判定し、継続しないと判定した場合、表示装置２における出力を第２アプリに係る画像及び音声に切り替える形態について述べた。本実施の形態では、情報処理装置１は第１アプリの画像と、第２アプリに係る操作メニューを示すメニュー表示とを合成し、合成した合成画像を表示装置２に表示し、第１アプリ及び第２アプリの両方に対してタッチ入力を受け付ける形態について述べる。なお、実施の形態１と重複する内容については同一の符号を付して説明を省略する。
【００９６】
実施の形態１と同様に、情報処理システムは情報処理装置１及び表示装置２を含む。図１５は、実施の形態４に係る情報処理装置１の構成例を示すブロック図である。本実施の形態に係る記憶部１２は、合成ＤＢ１２３及びメニューＤＢ１２４を記憶している。合成ＤＢ１２３は、制御部１１が合成画像を生成するために各アプリケーションに共通して必要な情報を記憶している。メニューＤＢ１２４は、制御部１１が各アプリケーションに応じて、後述するメニュー表示を生成するために必要な情報を記憶している。
【００９７】
また、本実施の形態に係る一時記憶部１３は、第１バッファｂ１、第２バッファｂ２のほかに第３バッファｂ３を備える。第３バッファｂ３は、制御部１１が生成する合成画像のデータを一時的に記憶するための記憶領域である。制御部１１は生成した合成画像のデータを第３バッファｂ３に一時的に記憶し、表示装置２に送信する。
【００９８】
図１６は、実施の形態４に係る合成ＤＢ１２３のレコードレイアウトの一例を示す説明図である。合成ＤＢ１２３は、縮小比率列、座標列、テキスト列を含む。縮小比率列は、第１アプリの画像を縮小する縮小比率を記憶している。座標列は、画像中の一部領域を示す座標を記憶している。テキスト列は、座標列に記憶された座標と対応付けて、上記の一部領域内に表示するテキストを記憶している。
【００９９】
図１７は、実施の形態４に係るメニューＤＢ１２４のレコードレイアウトの一例を示す説明図である。メニューＤＢ１２４は、アプリ列、座標列、テキスト列を含む。アプリ列は、記憶部１２に記憶されているアプリケーションを記憶している。座標列は、アプリ列に記憶されたアプリケーションと対応付けて、画像中の一部領域を示す座標を記憶している。テキスト列は、座標列に記憶された座標と対応付けて、上記の一部領域内に表示するテキストを記憶している。
【０１００】
図１８は、実施の形態４に係る情報処理システムの処理について説明するための説明図である。図１８に基づいて、本実施の形態に係る情報処理システムの処理動作について説明する。
第１アプリの実行中に第２アプリを実行した場合、情報処理装置１の制御部１１は第１バッファｂ１から第１アプリの画像を取得し、該画像を縮小した縮小画像４０１を生成する。また、制御部１１は合成ＤＢ１２３、メニューＤＢ１２４を参照し、第２アプリに係る操作メニューを示すメニュー表示４０２を生成する。制御部１１は縮小画像４０１及びメニュー表示４０２を用いて合成画像を生成する。制御部１１は当該合成画像のデータを第３バッファｂ３に一時的に記憶する。制御部１１は、第１通信部１４に転送される送信用の画像データの転送元を第３バッファｂ３に設定し、表示装置２に合成画像のデータを送信する。表示装置２の制御部２１は、受信したデータに基づき合成画像を表示部２４に表示する。
なお、制御部１１は第１アプリに係る音声データを継続して表示装置２に送信し、第１アプリに係る音声を表示装置２に出力させる。
【０１０１】
上述のごとく合成画像は、第１アプリの縮小画像４０１と、第２アプリに係る操作メニューを示すメニュー表示４０２とを合成した合成画像である。具体的には図１８に示すように、合成画像は、矩形状である第１アプリの画像を縮小した縮小画像４０１と、当該縮小画像４０１の矩形枠のうち、右枠及び上枠に沿ってＬ字状に形成されたメニュー表示４０２とを含む。例えば第１アプリがナビアプリである場合に、地図画像を縮小した縮小画像４０１が合成画像の左下領域に表示される。
【０１０２】
合成画像において、矩形状である縮小画像４０１の右側及び上側に亘ってＬ字状に形成されたメニュー表示４０２が表示される。例えば第２アプリが通話アプリである場合に、メニュー表示４０２は第２アプリに係る所定情報（例えば着信がある旨の通知、着信相手の氏名等の情報）と、第２アプリに対する操作入力を行うための「通話」「保留」「拒否」等の操作ボタン４１１とを含む。表示装置２の制御部２１は、各操作ボタン４１１に対するタッチ入力を受け付ける。タッチ入力を受け付けた場合、制御部２１は当該タッチ入力に係るタッチ情報を情報処理装置１に送信する。情報処理装置１の制御部１１はタッチ情報を受信することで、表示装置２を介した第２アプリに対する操作入力を受け付ける。
【０１０３】
また、図１８に示すように、本実施の形態においてメニュー表示４０２は非表示ボタン４１２及び表示切替ボタン４１３を含む。
非表示ボタン４１２への操作入力を受け付けた場合、制御部１１は表示装置２への合成画像の表示を中止し、再び第１アプリの画像を表示するものと判断する。この場合に制御部１１は、第１通信部１４に転送される送信用の画像データの転送元を第１バッファｂ１に設定する。これにより、表示装置２には第１アプリの画像が全画面表示される（図４参照）。
【０１０４】
表示切替ボタン４１３への操作入力を受け付けた場合、制御部１１は表示装置２への合成画像の表示を中止し、新たに実行された第２アプリの画像を表示するものと判断する。この場合に制御部１１は、第１通信部１４に転送される送信用の画像データの転送元を第２バッファｂ２に設定する。これにより、表示装置２には第２アプリの画像が全画面表示される。
【０１０５】
図１９は、実施の形態４に係る情報処理装置１の処理手順の一例を示すフローチャートである。以下では本実施の形態に係る情報処理装置１の処理内容について説明する。なお、実施の形態１と重複する内容については同一の符号を付して説明を省略する。
Ｍｉｒａｃａｓｔに係る機能がオンになっていると判定した場合（Ｓ１２：ＹＥＳ）、情報処理装置１の制御部１１は以下の処理を実行する。制御部１１は、第１アプリの画像と、第２アプリに係る操作メニューを示すメニュー表示４０２とを合成した合成画像を生成する（ステップＳ４０１）。合成画像は、例えば矩形状の第１アプリの縮小画像４０１と、縮小画像４０１に係る矩形枠に沿ってＬ字状に形成されたメニュー表示４０２とを含む。制御部１１は、合成画像を一時的に第３バッファｂ３に記憶する（ステップＳ４０２）。制御部１１は、ステップＳ１３以降の処理を行う。
【０１０６】
図２０は、実施の形態４に係る転送元設定のサブルーチンの処理手順の一例を示すフローチャートである。図２０に基づいて、ステップＳ１３の転送元設定のサブルーチンの処理内容について説明する。
制御部１１は、第１通信部１４に転送される送信用の画像データの転送元を第３バッファｂ３に設定すると共に、音声データの転送元は継続して第１バッファｂ１に設定する（ステップＳ４２１）。これにより制御部１１は、第３バッファｂ３に記憶された合成画像のデータと、第１バッファｂ１に記憶された第１アプリの音声データとを表示装置２に送信する。制御部１１は、表示部１６及び音声出力部１８に転送される出力用の画像及び音声データの転送元を、第２バッファｂ２に設定する（ステップＳ４２２）。これにより制御部１１は、情報処理装置１における出力を第２アプリの画像及び音声に切り替える。制御部１１は処理をリターンする。
【０１０７】
図２１は、実施の形態４に係る外部入力受付のサブルーチンの処理手順の一例を示すフローチャートである。図２１に基づいて、ステップＳ１４の外部入力受付のサブルーチンの処理内容について説明する。
制御部１１は、タッチパネル２５１へのタッチ入力に基づき、表示装置２（外部機器）を介して第１アプリに対する操作入力を受け付ける（ステップＳ４４１）。具体的には、合成画像に含まれる第１アプリの縮小画像４０１へのタッチ入力が行われた場合、表示装置２の制御部２１は当該タッチ入力に係るタッチ情報を取得し、情報処理装置１に送信する。情報処理装置１の制御部１１は、当該タッチ情報を受信することで第１アプリに対する操作入力を受け付ける。
【０１０８】
制御部１１は、タッチパネル２５１へのタッチ入力に基づき、表示装置２（外部機器）を介して第２アプリに対する操作入力を受け付ける（ステップＳ４４２）。具体的には、合成画像に含まれるメニュー表示４０２における操作ボタン４１１へのタッチ入力が行われた場合、表示装置２の制御部２１は当該タッチ入力に係るタッチ情報を取得し、情報処理装置１に送信する。情報処理装置１の制御部１１は、当該タッチ情報を受信することで第２アプリに対する操作入力を受け付ける。
【０１０９】
制御部１１は、タッチパネル２５１へのタッチ入力に基づいて、メニュー表示４０２を非表示とするか否かを判定する（ステップＳ４４３）。具体的には、制御部１１はメニュー表示４０２における非表示ボタン４１２へのタッチ入力が行われたか否かにより判定を行う。メニュー表示４０２を非表示とすると判定した場合（Ｓ４４３：ＹＥＳ）、制御部１１は、第１通信部１４に転送される送信用の画像及び音声データの転送元を第１バッファｂ１に設定する（ステップＳ４４４）。これにより、表示装置２における表示は第１アプリの全画面表示に切り替わる。
【０１１０】
メニュー表示４０２を非表示としないと判定した場合（Ｓ４４３：ＮＯ）、制御部１１は、タッチパネル２５１へのタッチ入力に基づいて、表示装置２における表示を第２アプリの画像に切り替えるか否かを判定する（ステップＳ４４５）。具体的には、制御部１１はメニュー表示４０２における表示切替ボタン４１３へのタッチ入力が行われたか否かにより判定を行う。第２アプリの画像に表示を切り替えると判定した場合（Ｓ４４５：ＹＥＳ）、制御部１１は、第１通信部１４に転送される送信用の画像及び音声データの転送元を第２バッファｂ２に設定する（ステップＳ４４６）。これにより、表示装置２における表示は第２アプリの画像に切り替わる。第２アプリの画像に表示を切り替えないと判定した場合（Ｓ４４５：ＮＯ）、又はステップＳ４４４、Ｓ４４６の処理を行った後、制御部１１は処理をリターンする。
【０１１１】
なお、上記において情報処理装置１は、第１アプリの画像と、第２アプリに係るメニュー表示４０２とを合成した合成画像を生成するものとしたが、本実施の形態はこれに限るものではない。例えば情報処理装置１は第１アプリの画像と第２アプリの画像とを合成した合成画像を生成し、表示装置２に表示する形態であってもよい。この場合、例えば情報処理装置１は第１アプリ、第２アプリの各画像を縮小して並べた合成画像を生成し、表示装置２に表示する。
【０１１２】
また、上記においてメニュー表示４０２はＬ字状であるものとしたが、本実施の形態はこれに限るものではない。メニュー表示４０２は第２アプリに対する操作入力を適切に入力可能な形態であればよく、例えば帯状等であってもよい。また、例えばメニュー表示４０２を半透明のオブジェクトとし、合成画像は、全画面で表示される第１アプリの画像上に当該メニュー表示４０２が重畳された形態であってもよい。
【０１１３】
以上より、本実施の形態４によれば、情報処理装置１は第１アプリの画像と、第２アプリに係る操作メニューを示すメニュー表示４０２とを合成した合成画像を生成し、表示装置２に出力する。また、情報処理装置１は表示装置２を介して合成画像に対するタッチ入力を受け付けることにより、第１アプリ及び第２アプリに対する操作入力を受け付ける。これにより、情報処理装置１は同時に実行している複数のアプリケーションについて外部出力を行うと共に、各アプリケーションに対する操作入力を外部から受け付けることができる。
【０１１４】
また、本実施の形態４によれば、情報処理装置１は縮小した矩形状の第１アプリの画像と、該画像に係る矩形枠に沿ってＬ字状に形成されたメニュー表示４０２とを含む合成画像を生成する。これによりユーザは、第１アプリの縮小画像４０１を見つつ、第２アプリに対する簡易的な操作が可能になる。
【０１１５】
本発明の実施態様１においては、実行中のアプリケーションの画像又は音声を出力する出力部（１６、１８）と、前記アプリケーションの画像又は音声を外部機器（２）に出力する外部出力部（１４）と、前記外部機器（２）を介して前記アプリケーションに対する操作入力を受け付ける受付部（１４）と、前記アプリケーションの実行中に他のアプリケーションが実行された場合、前記アプリケーション又は他のアプリケーションに関する情報に基づき、又は前記操作入力に係る操作情報に基づき、前記アプリケーションの画像又は音声について前記外部機器（２）への出力を継続するか否かを判定する判定部（１１）とを備えることを特徴とする。
【０１１６】
本発明によれば、複数のアプリケーションを同時に実行する場合であっても外部機器（２）に適切な画像及び音声を出力可能であり、かつ、実行中のアプリケーションに対する操作入力を外部機器（２）から入力可能である。
【０１１７】
本発明の実施態様２においては、出力を継続すると前記判定部（１１）が判定した場合、前記外部出力部（１４）は前記アプリケーションの画像又は音声を継続して前記外部機器（２）に出力すると共に、前記出力部（１６、１８）は前記他のアプリケーションの画像又は音声を出力することを特徴とする。
【０１１８】
本発明によれば、情報処理装置（１）及び外部機器（２）はそれぞれ適切な画像及び音声を出力可能となる。
【０１１９】
本発明の実施態様３においては、複数のアプリケーションに応じて出力用の画像又は音声を一時的に記憶する複数の記憶領域（ｂ１、ｂ２、ｂ３）と、前記判定部（１１）による判定結果に基づき、前記出力部（１６、１８）又は外部出力部（１４）に転送される画像又は音声の転送元を、前記複数の記憶領域（ｂ１、ｂ２、ｂ３）のいずれかに設定する設定部（１１）とを備えることを特徴とする
【０１２０】
本発明によれば、情報処理装置（１）及び外部機器（２）それぞれが別々のアプリケーションに係る画像及び音声を出力する処理を適切に行うことができる。
【０１２１】
本発明の実施態様４においては、複数のアプリケーションについて画像又は音声を前記外部機器（２）に出力する優先順位を定めた優先テーブル（１２１）を備え、前記判定部（１１）は、前記優先テーブル（１２１）を参照し、前記アプリケーションが前記他のアプリケーションよりも優先順位が高いか否かを判定し、前記アプリケーションが前記他のアプリケーションよりも優先順位が高いと前記判定部（１１）が判定した場合、前記外部出力部（１４）は前記アプリケーションの画像又は音声の出力を継続することを特徴とする
【０１２２】
本発明によれば、各アプリケーションの内容に応じて適切な優先順位を予め定めることで、実行中のアプリケーションに係る画像及び音声の外部出力を継続するか否かを適切に判断することができる。
【０１２３】
本発明の実施態様５においては、複数のアプリケーションについて、前記外部機器（２）への画像又は音声の出力の可否又は出力継続の可否を定めた管理テーブル（１２２）を備え、前記判定部（１１）は、前記管理テーブル（１２２）を参照し、前記他のアプリケーションに関する前記外部機器（２）への出力の可否に基づき、又は前記アプリケーションに関する前記外部機器（２）への出力継続の可否に基づき、前記アプリケーションの画像又は音声について前記外部機器（２）への出力を継続するか否かを判定することを特徴とする。
【０１２４】
本発明によれば、プライバシー保護等の観点から外部出力をするのに適さないアプリケーションを予め管理テーブル（１２２）に定めておくことで、当該アプリケーションに係る画像及び音声の外部出力を排除することができる。また、例えば外部出力を中断するのに適さないアプリケーションを予め管理テーブル（１２２）に定めておくことで、当該アプリケーションの外部出力の中断を防止することができる。
【０１２５】
本発明の実施態様６においては、前記外部機器（２）は、前記外部出力部（１４）により出力された画像を表示する表示部（２４）と、該表示部（２４）に重ねて設けられたタッチパネル（２５１）とを有する表示装置であり、前記受付部（１４）は、前記タッチパネル（２５１）においてタッチ入力が行われた画像上の座標を示すタッチ情報を受け付けることを特徴とする。
【０１２６】
本発明によれば、タッチ入力された画像上の座標を判別することにより、操作内容を判断することができる。
【０１２７】
本発明の実施態様７においては、前記アプリケーションの実行中に前記他のアプリケーションが実行された場合、前記外部出力部（１４）は、前記他のアプリケーションについて出力の可否に関する操作入力を受け付ける操作ボタン（３１１）を、前記アプリケーションの画像と共に又は前記アプリケーションの画像に重畳して前記外部機器に表示し、前記判定部（１１）は、前記操作ボタン（３１１）へのタッチ入力に基づいて判定を行うことを特徴とする。
【０１２８】
本発明によれば、外部機器（２）において出力するアプリケーションをユーザが個別に選択することができる。
【０１２９】
本発明の実施態様８においては、前記アプリケーションの実行中に前記他のアプリケーションが実行された場合、前記アプリケーションの画像（４０１）と、前記他のアプリケーションの画像、又は前記他のアプリケーションに係る操作メニューを示すメニュー表示（４０２）とを合成した合成画像を生成する生成部（１１）を備え、前記外部出力部（１４）は、前記生成部（１１）が生成した前記合成画像を前記外部機器（２）に出力し、前記受付部（１４）は、前記タッチパネル（２５１）へのタッチ入力に基づき、前記アプリケーション及び他のアプリケーションに対する操作入力を受け付けることを特徴とする。
【０１３０】
本発明によれば、同時に実行している複数のアプリケーションについて外部出力を行うと共に、各アプリケーションに対する操作入力を外部から受け付けることができる。
【０１３１】
本発明の実施態様９においては、コンピュータ（１１）に、実行中のアプリケーションの画像又は音声を出力部（１５、１８）に出力し、前記アプリケーションの画像又は音声を外部機器（２）に出力し、前記外部機器（２）を介して前記アプリケーションに対する操作入力を受け付け、前記アプリケーションの実行中に他のアプリケーションが実行された場合、前記アプリケーション又は他のアプリケーションに関する情報に基づき、又は前記操作入力に係る操作情報に基づき、前記アプリケーションの画像又は音声について前記外部機器（２）への出力を継続するか否かを判定する処理を実行させることを特徴とする。
【０１３２】
本発明によれば、複数のアプリケーションを同時に実行する場合であっても外部機器（２）に適切な画像及び音声を出力可能であり、かつ、実行中のアプリケーションに対する操作入力を外部機器（２）から入力可能である。
【０１３３】
今回開示された実施の形態はすべての点で例示であって、制限的なものではないと考えられるべきである。本発明の範囲は、上記した意味ではなく、特許請求の範囲によって示され、特許請求の範囲と均等の意味及び範囲内でのすべての変更が含まれることが意図される。
【符号の説明】
【０１３４】
１  情報処理装置
１１  制御部（判定部）
１２  記憶部
Ｐ  プログラム
１２１  優先テーブル
１２２  管理テーブル
１２３  合成ＤＢ
１２４  メニューＤＢ
１３  一時記憶部
ｂ１  第１バッファ（記憶領域）
ｂ２  第２バッファ（記憶領域）
ｂ３  第３バッファ（記憶領域）
１４  第１通信部（外部出力部、受付部）
１５  第２通信部
１６  表示部（出力部）
１７  入力部
１７１  タッチパネル
１８  音声出力部（出力部）
１９  音声入力部
２  表示装置（外部機器）
２１  制御部
２２  記憶部
２３  通信部
２４  表示部
２５  入力部
２５１  タッチパネル
２６  音声出力部
３１１  操作ボタン
４０１  縮小画像
４０２  メニュー表示
４１１  操作ボタン
４１２  非表示ボタン
４１３  表示切替ボタン
【図１】
2017118256.tif 000003
【図２】
2017118256.tif 000004
【図３】
2017118256.tif 000005
【図４】
2017118256.tif 000006
【図５】
2017118256.tif 000007
【図６】
2017118256.tif 000008
【図７】
2017118256.tif 000009
【図８】
2017118256.tif 000010
【図９】
2017118256.tif 000011
【図１０】
2017118256.tif 000012
【図１１】
2017118256.tif 000013
【図１２】
2017118256.tif 000014
【図１３】
2017118256.tif 000015
【図１４】
2017118256.tif 000016
【図１５】
2017118256.tif 000017
【図１６】
2017118256.tif 000018
【図１７】
2017118256.tif 000019
【図１８】
2017118256.tif 000020
【図１９】
2017118256.tif 000021
【図２０】
2017118256.tif 000022
【図２１】
2017118256.tif 000023