(57)【要約】【課題】画像音声出力機器に対してミラーリング動作を行いながら、画像音声出力機器に対して音声調整等のリモコン操作を行うことが可能な情報処理機器および操作システムを提供する。【解決手段】このスマートフォン１は、無線ＬＡＮ通信部１４を介して、ミラーリング用画像およびミラーリング用音声を送信して、ＴＶ２にミラーリング用画像を表示させるミラーリング動作を行いながら、表示部１２にはリモコン操作入力用画像を表示し、受け付けたリモコン操作の操作情報に基づいて、スマートフォン１自身に対して操作制御を行うとともに、ＴＶに対して操作制御を行うように構成されている、【選択図】図１
2015133637.tif 000002
【特許請求の範囲】
【請求項１】
外部の画像音声出力機器に対してミラーリング用画像およびミラーリング用音声をミラーリングする機能およびリモコンとしての機能を有する情報処理機器であって、
前記外部の画像音声出力機器と通信する通信部と、
前記ミラーリング用画像および前記ミラーリング用画像とは異なるリモコン操作入力用画像を表示する表示部と、
前記表示部に表示された前記リモコン操作入力用画像上においてユーザによる操作を受け付ける操作受付部と、
前記操作受付部が受け付けたリモコン操作の操作情報に基づいて、前記リモコン操作制御を行う制御部とを備え、
前記制御部は、前記通信部を介して、前記ミラーリング用画像および前記ミラーリング用音声を送信して、前記外部の画像音声出力機器に前記ミラーリング用画像を表示させるミラーリング動作を行いながら、前記表示部には前記リモコン操作入力用画像を表示し、受け付けた前記リモコン操作の操作情報に基づいて、前記情報処理機器自身に対して操作制御を行うとともに、前記外部の画像音声出力機器に対して操作制御を行うように構成されている、情報処理機器。
【請求項２】
前記制御部は、非ミラーリング動作時には、前記ミラーリング動作時と同様、前記表示部に前記リモコン操作入力用画像を表示可能であり、受け付けた前記リモコン操作の操作情報に基づいて、前記情報処理機器自身に対して操作制御を行うとともに、前記外部の画像音声出力機器に対して操作制御を行うように構成されている、請求項１に記載の情報処理機器。
【請求項３】
前記操作受付部は、タッチパネルを含み、
前記タッチパネルは、前記表示部に表示された前記リモコン操作入力用画像において、ユーザによるタッチ操作を受け付けるように構成されている、請求項１または２に記載の情報処理機器。
【請求項４】
前記制御部は、前記タッチパネルが前記タッチ操作を検出した場合に、前記タッチ操作を、前記タッチパネルのタッチパネル面上の空中での操作であるホバリング操作として３次元の位置座標情報を生成するとともに、前記タッチ操作が検出された後に、所定の操作を受け付けた場合には、前記タッチ操作を、前記タッチパネルの前記タッチパネル面上での前記タッチ操作として２次元の前記位置座標情報を生成する制御と、前記３次元の位置座標情報および前記２次元の位置座標情報のうちの少なくとも前記３次元の位置座標情報に対応した位置座標を示すホバリングカーソルを、前記ミラーリング用画像に重畳させて、前記外部の画像音声出力機器に表示させる制御を行うように構成されている、請求項３に記載の情報処理機器。
【請求項５】
前記操作受付部は、タッチパネルを含み、
前記タッチパネルは、前記表示部に表示された前記リモコン操作入力用画像において、ユーザによる前記タッチパネルのタッチパネル面上の空中での操作であるホバリング操作を受け付けるように構成されており、
前記制御部は、前記ホバリング操作に対応した位置座標を示すホバリングカーソルを、前記ミラーリング用画像に重畳させて、前記外部の画像音声出力機器に表示させる制御を行うように構成されている、請求項１〜４のいずれか１項に記載の情報処理機器。
【請求項６】
前記制御部は、前記通信部を介して、前記ミラーリング用画像および前記ミラーリング用音声を送信して、前記外部の画像音声出力機器に前記ミラーリング用画像を表示させるミラーリング動作を行う第１アプリケーションソフトを実行しながら、前記表示部に前記リモコン操作入力用画像を表示し、受け付けた前記リモコン操作の操作情報に基づいて、前記情報処理機器自身に対して操作制御を行うとともに、前記外部の画像音声出力機器に対して操作制御を行う第２アプリケーションソフトを実行するように構成されている、請求項１〜５のいずれか一項に記載の情報処理機器。
【請求項７】
前記第１アプリケーションソフトおよび前記第２アプリケーションソフトは、互いに一体化された単一のアプリケーションソフトにより構成されている、請求項６に記載の情報処理機器。
【請求項８】
前記制御部は、前記外部の画像音声出力機器に前記ミラーリング用画像を表示させながら、前記表示部に、前記ミラーリング用画像を表示せずに、前記リモコン操作入力用画像を表示してユーザによる操作を受け付けるように構成されている、請求項６または７に記載の情報処理機器。
【請求項９】
画像音声出力機器と、
前記画像音声出力機器に対してミラーリング用画像およびミラーリング用音声をミラーリングする機能およびリモコンとしての機能を有する情報処理機器とを備え、
前記画像音声出力機器は、前記情報処理機器と通信する画像音声出力機器側通信部と、前記ミラーリング用画像を表示する画像音声出力機器側表示部と、前記ミラーリング用音声を出力する画像音声出力機器側音声出力部とを含み、
前記情報処理機器は、前記画像音声出力機器と通信する情報処理機器側通信部と、前記ミラーリング用画像および前記ミラーリング用画像とは異なるリモコン操作入力用画像を表示する情報処理機器側表示部と、前記情報処理機器側表示部に表示された前記リモコン操作入力用画像上においてユーザによる操作を受け付ける情報処理機器側操作受付部と、前記情報処理機器側操作受付部が受け付けたリモコン操作の操作情報に基づいて、前記リモコン操作制御を行う情報処理機器側制御部とを含み、
前記情報処理機器側制御部は、前記情報処理機器側通信部および前記画像音声出力機器側通信部を介して、前記ミラーリング用画像および前記ミラーリング用音声を、前記画像音声出力機器に送信して、前記画像音声出力機器側表示部に前記ミラーリング用画像を表示させるミラーリング動作を行いながら、前記情報処理機器側表示部には前記リモコン操作入力用画像を表示して受け付けた前記リモコン操作の操作情報に基づいて、前記情報処理機器自身に対して操作制御を行うとともに、前記画像音声出力機器側音声出力部に対して操作制御を行うように構成されている、操作システム。
【請求項１０】
画像音声出力機器と、
前記画像音声出力機器のリモコン機能を有する第１情報処理機器と、
前記画像音声出力機器に対してミラーリング用画像およびミラーリング用音声をミラーリングする機能を有する第２情報処理機器とを備え、
前記画像音声出力機器は、前記第１情報処理機器および前記第２情報処理機器と通信する画像音声出力機器側通信部と、前記ミラーリング用画像を表示する画像音声出力機器側表示部と、前記ミラーリング用音声を出力する画像音声出力機器側音声出力部とを含み、
前記第１情報処理機器は、前記画像音声出力機器および前記第２情報処理機器と通信する第１情報処理機器側通信部と、ユーザによる操作を受け付けるリモコン操作受付部と、前記リモコン操作受付部が受け付けたリモコン操作の操作情報に基づいて、前記リモコン操作制御を行う第１情報処理機器側制御部とを含み、
前記第２情報処理機器は、前記画像音声出力機器および前記第１情報処理機器と通信する第２情報処理機器側通信部と、前記ミラーリング用画像を表示する第２情報処理機器側表示部と、前記第２情報処理機器側通信部および前記画像音声出力機器側通信部を介して、前記ミラーリング用画像および前記ミラーリング用音声を、前記画像音声出力機器に送信して、前記画像音声出力機器側表示部に前記ミラーリング用画像を表示させるミラーリング動作を行うように構成されている第２情報処理機器側制御部とを含み、
前記第１情報処理機器側制御部は、前記第２情報処理機器と前記画像音声出力機器とが、前記ミラーリング動作を行っている場合には、前記第１情報処理機器の前記リモコン操作受付部が受け付けた前記リモコン操作の操作情報に基づいて、前記第２情報処理機器に対して操作制御を行うとともに、前記画像音声出力機器側音声出力部に対して操作制御を行うように構成されている、操作システム。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、情報処理機器および操作システムに関し、特に、画像を表示する表示部を備える情報処理機器および操作システムに関する。
【背景技術】
【０００２】
従来、画像を表示する表示部を備える情報処理機器および操作システムが知られている（たとえば、特許文献１参照）。
【０００３】
上記特許文献１には、第１のフレームバッファ内に記憶された画像データを出力して表示する内部ディスプレイ（表示部）とスケーラーとを備えた装置（情報処理機器）が開示されている。この装置は、画像データを第１のフレームバッファに記憶して、第１のフレームバッファ内の画像データを出力して装置の内部ディスプレイに表示するように構成されている。そして、スケーラーは、第１のフレームバッファ内の画像データに対してスケーリング動作を実行し、スケーリングされた画像データを第２のフレームバッファに記憶して、第２のフレームバッファ内のスケーリングされた画像データを外部ディスプレイ装置に出力するとともに表示して、画像データ（画像コンテンツ）をミラーリング動作するように構成されている。
【０００４】
ここで、この特許文献１に記載された装置では、アプリケーションソフトを動作させる場合、動作させているアプリケーションソフトの画像が外部ディスプレイ装置にミラーリング動作して表示されるように構成されていると考えられる。たとえば、外部ディスプレイ装置に対してミラーリング動作している最中に、外部ディスプレイ装置の音声調整等のリモコン機能を作用させるためにリモコンとしての機能を有するアプリケーションソフトを動作させた場合には、リモコン操作するための画像が、外部ディスプレイ装置にミラーリング動作して表示されると考えられる。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２０１２−１７７９０２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、上記のように、特許文献１に記載のような装置では、外部ディスプレイ装置に対してミラーリング動作しながら、外部ディスプレイ装置の音声調整等のリモコン機能を作用させるためにリモコンとしての機能を有するアプリケーションソフトを動作させた場合には、リモコン操作するための画像が、外部ディスプレイ装置にミラーリング動作して表示されるため、ユーザは、画像音声コンテンツの内容を確認しながら、外部ディスプレイ装置の音声調整等のリモコン操作を行うことはできないという問題点がある。
【０００７】
この発明は、上記のような課題を解決するためになされたものであり、この発明の１つの目的は、画像音声出力機器に対してミラーリング動作を行いながら、画像音声出力機器に対して音声調整等のリモコン操作を行うことが可能な情報処理機器および操作システムを提供することである。
【課題を解決するための手段】
【０００８】
上記目的を達成するために、この発明の第１の局面による情報処理機器は、外部の画像音声出力機器に対してミラーリング用画像およびミラーリング用音声をミラーリングする機能およびリモコンとしての機能を有する情報処理機器であって、外部の画像音声出力機器と通信する通信部と、ミラーリング用画像およびミラーリング用画像とは異なるリモコン操作入力用画像を表示する表示部と、表示部に表示されたリモコン操作入力用画像上においてユーザによる操作を受け付ける操作受付部と、操作受付部が受け付けたリモコン操作の操作情報に基づいて、リモコン操作制御を行う制御部とを備え、制御部は、通信部を介して、ミラーリング用画像およびミラーリング用音声を送信して、外部の画像音声出力機器にミラーリング用画像を表示させるミラーリング動作を行いながら、表示部にはリモコン操作入力用画像を表示し、受け付けたリモコン操作の操作情報に基づいて、情報処理機器自身に対して操作制御を行うとともに、外部の画像音声出力機器に対して操作制御を行うように構成されている。なお、ミラーリング動作とは、一般的には、情報処理機器の制御部が、ミラーリング用画像およびミラーリング用音声を情報処理機器の制御部に含まれる第１の記憶部（バッファ）に記憶するとともに、情報処理機器の表示部に第１の記憶部に記憶されたミラーリング用画像を表示させながら、ミラーリング用画像およびミラーリング用音声を情報処理機器の制御部に含まれる第２の記憶部に記憶するとともに、外部の画像音声出力機器の表示部に第２の記憶部に記憶されたミラーリング用画像を表示させる制御であるが、本願におけるミラーリング動作とは、上記内容に、情報処理機器の表示部に第１の記憶部に記憶されたミラーリング用画像を表示させない場合も含む、より広い概念の制御を表す。
【０００９】
この発明の第１の局面による情報処理機器では、上記のように、外部の画像音声出力機器にミラーリング用画像を表示させるミラーリング動作を行いながら、表示部にはリモコン操作入力用画像を表示し、受け付けたリモコン操作の操作情報に基づいて、情報処理機器自身に対して操作制御を行うとともに、外部の画像音声出力機器に対して操作制御を行うことによって、ユーザは、外部の画像音声出力機器に出力されているミラーリング用画像およびミラーリング用音声を確認しながら、ミラーリング用画像およびミラーリング用音声の内容を操作することができるとともに、画像音声出力機器に対して操作制御を行うためのリモコン操作を行うことができる。その結果、情報処理機器から外部の画像音声出力機器に付属のリモコン機器に持ち替えを行わなくても、画像音声出力機器に対してミラーリング動作を行いながら、画像音声出力機器に対して音声調整等のリモコン操作を行うことができる。
【００１０】
上記第１の局面による情報処理機器において、好ましくは、制御部は、非ミラーリング動作時には、ミラーリング動作時と同様、表示部にリモコン操作入力用画像を表示可能であり、受け付けたリモコン操作の操作情報に基づいて、情報処理機器自身に対して操作制御を行うとともに、外部の画像音声出力機器に対して操作制御を行うように構成されている。このように構成すれば、ユーザは、非ミラーリング動作時、ミラーリング動作時に関わらず、同一の操作機器（情報処理機器）および操作方法によって、情報処理機器自身に対する操作制御および外部の画像音声出力機器に対する操作制御を行うことができる。
【００１１】
上記第１の局面による情報処理機器において、好ましくは、操作受付部は、タッチパネルを含み、タッチパネルは、表示部に表示されたリモコン操作入力用画像においてユーザによるタッチ操作を受け付けるように構成されている。このように構成すれば、タッチパネルは、ユーザの指の動きに合わせた操作を受け付けることができるので、ユーザは、容易にリモコン操作入力を行うことができる。
【００１２】
この場合、好ましくは、操作受付部は、制御部は、タッチパネルがタッチ操作を検出した場合に、タッチ操作を、タッチパネルのタッチパネル面上の空中での操作であるホバリング操作として３次元の位置座標情報を生成するとともに、タッチ操作が検出された後に、所定の操作を受け付けた場合には、タッチ操作を、タッチパネルのタッチパネル面上でのタッチ操作として２次元の位置座標情報を生成する制御と、３次元の位置座標情報および２次元の位置座標情報のうちの少なくとも３次元の位置座標情報に対応した位置座標を示すホバリングカーソルを、ミラーリング用画像に重畳させて、外部の画像音声出力機器に表示させる制御を行うように構成されている。このように構成すれば、タッチパネルがタッチパネル面上の空中にあるユーザの指を検出する性能を有しない場合であっても、ホバリング操作を受け付けることができる。その結果、外部の画像音声出力機器に表示されたホバリング操作に対応した位置座標を示すホバリングカーソルをユーザに視認させることができるので、ユーザは、情報処理機器の表示部を視認しなくても、外部の画像音声出力機器に対して操作制御を行うことができる。
【００１３】
上記第１の局面による情報処理機器において、好ましくは、操作受付部は、タッチパネルを含み、タッチパネルは、表示部に表示されたリモコン操作入力用画像において、ユーザによるタッチパネルのタッチパネル面上の空中での操作であるホバリング操作を受け付けるように構成されており、制御部は、ホバリング操作に対応した位置座標を示すホバリングカーソルを、ミラーリング用画像に重畳させて、外部の画像音声出力機器に表示させる制御を行うように構成されている。このように構成すれば、外部の画像音声出力機器に表示されたホバリング操作に対応した位置座標を示すホバリングカーソルをユーザに視認させることができる。その結果、ユーザは、情報処理機器の表示部を視認しなくても、外部の画像音声出力機器に対して操作制御を行うことができる。
【００１４】
上記第１の局面による情報処理機器において、好ましくは、制御部は、通信部を介して、ミラーリング用画像およびミラーリング用音声を送信して、外部の画像音声出力機器にミラーリング用画像を表示させるミラーリング動作を行う第１アプリケーションソフトを実行しながら、表示部にリモコン操作入力用画像を表示し、受け付けたリモコン操作の操作情報に基づいて、情報処理機器自身に対して操作制御を行うとともに、外部の画像音声出力機器に対して操作制御を行う第２アプリケーションソフトを実行するように構成されている。このように構成すれば、第１アプリケーションソフトを実行して、ミラーリング動作しながら、並行して第２アプリケーションソフトを実行して、情報処理機器自身に対する操作制御および外部の画像音声出力機器に対する操作制御を行うことができる。
【００１５】
この場合、好ましくは、第１アプリケーションソフトおよび第２アプリケーションソフトは、互いに一体化された単一のアプリケーションソフトにより構成されている。このように構成すれば、２つのアプリケーションソフトを同時に動作させる必要がない分、制御部が行う処理を簡略化することができる。
【００１６】
上記第１アプリケーションソフトを実行しながら第２アプリケーションソフトを実行するように構成されている情報処理機器において、好ましくは、制御部は、外部の画像音声出力機器にミラーリング用画像を表示させながら、表示部に、ミラーリング用画像を表示せずに、リモコン操作入力用画像を表示してユーザによる操作を受け付けるように構成されている。このように構成すれば、情報処理機器の表示部には、ミラーリング用画像を表示しないので、ユーザは、リモコン操作の際、情報処理機器の表示部に表示されたリモコン操作入力用画像を容易に視認することができ、操作性を向上させることができる。
【００１７】
この発明の第２の局面による操作システムは、画像音声出力機器と、画像音声出力機器に対してミラーリング用画像およびミラーリング用音声をミラーリングする機能およびリモコンとしての機能を有する情報処理機器とを備え、画像音声出力機器は、情報処理機器と通信する画像音声出力機器側通信部と、ミラーリング用画像を表示する画像音声出力機器側表示部と、ミラーリング用音声を出力する画像音声出力機器側音声出力部とを含み、情報処理機器は、画像音声出力機器と通信する情報処理機器側通信部と、ミラーリング用画像およびミラーリング用画像とは異なるリモコン操作入力用画像を表示する情報処理機器側表示部と、情報処理機器側表示部に表示されたリモコン操作入力用画像上においてユーザによる操作を受け付ける情報処理機器側操作受付部と、情報処理機器側操作受付部が受け付けたリモコン操作の操作情報に基づいて、リモコン操作制御を行う情報処理機器側制御部とを含み、情報処理機器側制御部は、情報処理機器側通信部および画像音声出力機器側通信部を介して、ミラーリング用画像およびミラーリング用音声を、画像音声出力機器に送信して、画像音声出力機器側表示部にミラーリング用画像を表示させるミラーリング動作を行いながら、情報処理機器側表示部にはリモコン操作入力用画像を表示して受け付けたリモコン操作の操作情報に基づいて、情報処理機器自身に対して操作制御を行うとともに、画像音声出力機器側音声出力部に対して操作制御を行うように構成されている。
【００１８】
この発明の第２の局面による操作システムでは、上記のように、画像音声出力機器側表示部にミラーリング用画像を表示させるミラーリング動作を行いながら、情報処理機器側表示部にはリモコン操作入力用画像を表示し、受け付けたリモコン操作の操作情報に基づいて、情報処理機器自身に対して操作制御を行うとともに、画像音声出力機器側音声出力部に対して操作制御を行うことによって、ユーザは、画像音声出力機器側表示部に出力されているミラーリング用画像およびミラーリング用音声を確認しながら、ミラーリング用画像およびミラーリング用音声の内容を操作することができるとともに、画像音声出力機器側音声出力部に対して操作制御を行うためのリモコン操作を行うことができる。その結果、情報処理機器から画像音声出力機器に付属のリモコン機器の持ち替えを行わなくても、画像音声出力機器に対してミラーリング動作を行いながら、画像音声出力機器に対して音声調整等のリモコン操作を行うことができる。
【００１９】
この発明の第３の局面による操作システムは、画像音声出力機器と、画像音声出力機器のリモコン機能を有する第１情報処理機器と、画像音声出力機器に対してミラーリング用画像およびミラーリング用音声をミラーリングする機能を有する第２情報処理機器とを備え、画像音声出力機器は、第１情報処理機器および第２情報処理機器と通信する画像音声出力機器側通信部と、ミラーリング用画像を表示する画像音声出力機器側表示部と、ミラーリング用音声を出力する画像音声出力機器側音声出力部とを含み、第１情報処理機器は、画像音声出力機器および第２情報処理機器と通信する第１情報処理機器側通信部と、ユーザによる操作を受け付けるリモコン操作受付部と、リモコン操作受付部が受け付けたリモコン操作の操作情報に基づいて、リモコン操作制御を行う第１情報処理機器側制御部とを含み、第２情報処理機器は、画像音声出力機器および第１情報処理機器と通信する第２情報処理機器側通信部と、ミラーリング用画像を表示する第２情報処理機器側表示部と、第２情報処理機器側通信部および画像音声出力機器側通信部を介して、ミラーリング用画像およびミラーリング用音声を、画像音声出力機器に送信して、画像音声出力機器側表示部にミラーリング用画像を表示させるミラーリング動作を行うように構成されている第２情報処理機器側制御部とを含み、第１情報処理機器側制御部は、第２情報処理機器と画像音声出力機器とが、ミラーリング動作を行っている場合には、第１情報処理機器のリモコン操作受付部が受け付けたリモコン操作の操作情報に基づいて、第２情報処理機器に対して操作制御を行うとともに、画像音声出力機器側音声出力部に対して操作制御を行うように構成されている。
【００２０】
この発明の第３の局面による操作システムでは、上記のように、第１情報処理機器側制御部を、第２情報処理機器と画像音声出力機器とが、ミラーリング動作を行っている場合には、リモコン操作受付部が受け付けたリモコン操作の操作情報に基づいて、第２情報処理機器に対して操作制御を行うとともに、画像音声出力機器側音声出力部に対して操作制御を行うように構成することによって、ユーザは、画像音声出力機器側表示部に出力されているミラーリング用画像およびミラーリング用音声を確認しながら、ミラーリング用画像およびミラーリング用音声の内容を通常のリモコン操作と同様の操作で第１情報処理機器を用いてリモコン操作することができるとともに、画像音声出力機器側音声出力部に対して操作制御を行うためのリモコン操作を通常のリモコン操作と同様の操作で第１情報処理機器を用いて行うことができる。
【発明の効果】
【００２１】
本発明によれば、上記のように、画像音声出力機器に対してミラーリング動作を行いながら、画像音声出力機器に対して音声調整等のリモコン操作を行うことが可能な情報処理機器および操作システムを提供することができる。
【図面の簡単な説明】
【００２２】
【図１】本発明の第１実施形態による操作システムの全体構成を示したブロック図である。
【図２】本発明の第１実施形態による操作システムによるミラーリング動作時の画像表示を説明するための図である。
【図３】本発明の第１実施形態による操作システムによる非ミラーリング動作時の画像表示を説明するための図である。
【図４】本発明の第１実施形態による操作システムによる画像生成を説明するための図である。
【図５】本発明の第１実施形態による操作システムの操作処理を説明するためのフローチャート（１）である。
【図６】本発明の第１実施形態による操作システムの操作処理を説明するためのフローチャート（２）である。
【図７】本発明の第２実施形態による操作システムによる画像生成を説明するための図である。
【図８】本発明の第２実施形態による操作システムによるミラーリング動作時の画像表示を説明するための図である。
【図９】本発明の第２実施形態による操作システムの操作処理を説明するためのフローチャートである。
【図１０】本発明の第３実施形態による操作システムの全体構成を示したブロック図である。
【図１１】本発明の第３実施形態による操作システムによるミラーリング動作時の画像表示を説明するための図である。
【図１２】本発明の第３実施形態による操作システムによる非ミラーリング動作時の画像表示を説明するための図である。
【図１３】本発明の第３実施形態による操作システムによる画像生成を説明するための図である。
【図１４】本発明の第３実施形態による操作システムの操作処理を説明するためのフローチャート（１）である。
【図１５】本発明の第３実施形態による操作システムの操作処理を説明するためのフローチャート（２）である。
【図１６】本発明の第４実施形態による操作システムによるミラーリング動作時のホバリングカーソル表示を説明するための図（１）である。
【図１７】本発明の第４実施形態による操作システムによるミラーリング動作時のホバリングカーソル表示を説明するための図（２）である。
【図１８】本発明の第５実施形態による操作システムによるミラーリング動作時のホバリングカーソル表示を説明するための図（１）である。
【図１９】本発明の第５実施形態による操作システムによるミラーリング動作時のホバリングカーソル表示を説明するための図（２）である。
【発明を実施するための形態】
【００２３】
以下、本発明を具体化した実施形態を図面に基づいて説明する。
【００２４】
（第１実施形態）
図１〜図４を参照して、本発明の第１実施形態による操作システム１００の構成を説明する。
【００２５】
本発明の第１実施形態による操作システム１００は、図１に示すように、スマートフォン１と、ＴＶ２とを備えている。なお、スマートフォン１は、本発明の「情報処理機器」の一例である。また、ＴＶ２は、本発明の「画像音声出力機器」の一例である。
【００２６】
また、図１に示すように、スマートフォン１は、ＳＯＣ（Ｓｙｓｔｅｍ  Ｏｎ  ａ  ｃｈｉｐ）１１と、表示部１２と、タッチパネル１３と、無線ＬＡＮ（Ｌｏｃａｌ  Ａｒｅａ  Ｎｅｔｗｏｒｋ）通信部１４と、音声制御回路１５と、スピーカ１６とを備えている。なお、ＳＯＣ１１は、本発明の「制御部」の一例である。また、タッチパネル１３は、「操作受付部」の一例である。また、無線ＬＡＮ通信部１４は、「通信部」の一例である。
【００２７】
また、図１に示すように、ＴＶ２は、ＣＰＵ２１と、表示部２２と、スピーカ２３と、表示制御回路２４と、音声制御回路２５と、無線ＬＡＮ通信部２６と、放送受信部２７と、通信Ｉ／Ｆ２８と、受信Ｉ／Ｆ２９とを備えている。なお、スピーカ２３および音声制御回路２５は、本発明の「画像音声出力機器側音声出力部」の一例である。また、無線ＬＡＮ通信部２６は、本発明の「画像音声出力機器側通信部」の一例である。
【００２８】
そして、図１に示すように、ＴＶ２の表示部２２は、液晶パネル等で構成されており、ＣＰＵ２１から出力された画像データを、表示制御回路２４を介して、表示可能に構成されている。また、スピーカ２３は、ＣＰＵ３０から出力された音声データを、音声制御回路２５を介して、音声出力可能に構成されている。また、無線ＬＡＮ通信部２６は、スマートフォン１と通信可能に構成されている。また、放送受信部２７は、ＴＶ放送画像信号およびＴＶ放送音声信号を受信可能に構成されている。そして、通信Ｉ／Ｆ２８は、無線ＬＡＮ通信部２６とＣＰＵ２１とを接続するように構成されている。また、受信Ｉ／Ｆ２９は、放送受信部２７とＣＰＵ２１とを接続するように構成されている。
【００２９】
そして、ＴＶ２のＣＰＵ２１は、無線ＬＡＮ通信部２６および通信Ｉ／Ｆ２８を介して、スマートフォン１よりミラーリング用画像データおよびミラーリング用音声データを取得するように構成されており、取得したミラーリング用画像を表示部２２に表示するとともに、取得したミラーリング用音声をスピーカ２３に出力させるように構成されている。また、ＣＰＵ２１は、リモコン操作の操作情報に基づいて、操作制御を行うように構成されている。
【００３０】
そして、図１に示すように、スマートフォン１の表示部１２は、液晶パネル等で構成されており、ＳＯＣ１１から出力された画像を表示するように構成されている。また、タッチパネル１３は、透明の投影型静電容量式タッチパネルを含み、表示部１２と一体的に構成されている。これにより、タッチパネル１３は、表示部１２に表示される操作部画像の位置に対応したタッチ操作を受け付け可能に構成されている。また、タッチ操作は、タッチペンやユーザの指などを用いて行われるように構成されている。そして、音声制御回路１５は、ＳＯＣ１１から出力された音声信号を、スピーカ１６によって音声出力させるための信号に変換するように構成されている。たとえば、スピーカ１６は、他のスマートフォンとの通話時には、通話音声を出力し、画像音声コンテンツを再生時には、画像音声コンテンツの音声を出力するように構成されている。そして、無線ＬＡＮ通信部１４は、無線通信によって、ＴＶ２と通信可能に構成されている。
【００３１】
そして、図１に示すように、スマートフォン１のＳＯＣ１１は、ＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）３０と、画像生成部３１と、ＲＡＭ（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）３２と、フラッシュメモリ３３と、座標情報生成部３４と、表示制御回路３５と、タッチパネルＩ／Ｆ（インターフェース）３６と、通信Ｉ／Ｆ３７と、音声Ｉ／Ｆ３８と、内部バス３９とを備えている。
【００３２】
そして、図１に示すように、スマートフォン１のＳＯＣ１１内の部品は、内部バス３９によってそれぞれ結合可能に構成されている。そして、タッチパネルＩ／Ｆ３６は、タッチパネル１３とＳＯＣ１１とを接続するように構成されている。また、通信Ｉ／Ｆ３７は、無線ＬＡＮ通信部１４とＳＯＣ１１とを接続するように構成されている。また、音声Ｉ／Ｆ３８は、音声制御回路１５とＳＯＣ１１とを接続するように構成されている。
【００３３】
また、図１に示すように、表示制御回路３５は、表示部１２に画像を表示させるための制御を行う回路である。たとえば、表示制御回路３５は、画像信号に基づいて、表示部１２の液晶パネルの液晶分子の向きを制御することにより、表示部１２に画像を表示させる。
【００３４】
そして、スマートフォン１のフラッシュメモリ３３には、オペレーティングシステムを構成するソフトと、無線ＬＡＮ通信部１４を介して、ミラーリング用画像およびミラーリング用音声を送信して、ＴＶ２にミラーリング用画像およびミラーリング用音声を出力させてミラーリング動作を行う画像音声アプリケーションソフト（以下、画像音声アプリとする）を構成するプログラムと、表示部１２にリモコン操作入力用画像を表示し、受け付けたリモコン操作の操作情報に基づいて、スマートフォン１自身に対する操作制御を行うとともに、ＴＶ２に対する操作制御を行うリモコンアプリケーションソフト（以下、リモコンアプリとする）を構成するプログラムとが予め記憶（インストール）されている。また、フラッシュメモリ３３には、ミラーリング用画像と、ミラーリング用音声と、リモコン操作入力用画像とを含む、画像音声データが記憶されている。そして、スマートフォン１のＣＰＵ３０は、フラッシュメモリ３３に記憶されているオペレーティングシステムソフトおよびアプリケーションソフトを読み出して、実行することによって後述する処理が行われるように構成されている。なお、画像音声アプリは、本発明の「第１アプリケーションソフト」の一例である。また、リモコンアプリは、本発明の「第２アプリケーションソフト」の一例である。
【００３５】
また、第１実施形態では、図２および図４に示すように、スマートフォン１のＣＰＵ３０は、画像音声アプリを実行することによって、ＴＶ２にミラーリング用画像を表示させるミラーリング動作を行いながら、スマートフォン１自身に対する操作制御を行うように構成されている。具体的には、画像音声アプリは、スマートフォン１の表示部１２およびＴＶ２の表示部２２にミラーリング用画像およびミラーリング用音声を出力させるミラーリング動作を行う際、スマートフォン１のタッチパネル１３がユーザの操作により受け付けた操作情報に基づいて、画像音声の種類の選択や再生開始、停止などを操作可能に構成されている。
【００３６】
また、第１実施形態では、図２および図４に示すように、スマートフォン１のＣＰＵ３０は、リモコンアプリを実行することによって、スマートフォン１の表示部１２にリモコン操作入力用画像を表示し、タッチパネル１３が受け付けたリモコン操作の操作情報に基づいて、ＴＶ２に対する音声調整制御するように構成されている。たとえば、ＣＰＵ３０は、スマートフォン１の表示部１２に表示される表示部画像である「音量大」ボタン（図２の符号Ａ）に対するユーザのタッチ操作をタッチパネル１３が受け付けた場合、ＴＶ２の音声出力を大きくする制御を行うためのリモコン操作情報信号を、無線ＬＡＮ通信部１４を介して、送信するように構成されている。そして、ＴＶ２のＣＰＵ２１は、無線ＬＡＮ通信部２６を介して、ＴＶ２の音声出力を大きくする制御を行うためのリモコン操作情報信号を取得する。そして、ＴＶ２のＣＰＵ２１は、取得したリモコン操作情報信号に基づいて、ＴＶ２の音声制御回路２５の音声信号の増幅を大きくして、スピーカ２３から出力される音声を大きくするように構成されている。なお、音声調整制御は、本発明の「操作制御」の一例である。
【００３７】
また、図１に示すように、スマートフォン１のＲＡＭ３２は、第１フレームバッファ３２ａと、第２フレームバッファ３２ｂと、第３フレームバッファ３２ｃとを含み、画像生成部３１によって、スマートフォン１の表示部１２またはＴＶ２の表示部２２に適した形式（解像度等）に変換された画像データを記録可能に構成されている。
【００３８】
ここで、第１実施形態では、図２および図４に示すように、スマートフォン１とＴＶ２とが、ミラーリング動作を行っている場合には、スマートフォン１のＣＰＵ３０は、スマートフォン１の表示部１２に、ミラーリング用画像を表示せずに（バックグラウンドでミラーリング動作を実行して）、リモコン操作入力用画像を表示させるように構成されているとともに、ＴＶ２のＣＰＵ２１は、ＴＶ２の表示部２２にミラーリング用画像を表示させるように構成されている。
【００３９】
具体的には、図４（ａ）に示すように、画像生成部３１は、フラッシュメモリ３３に記憶されているミラーリング用画像をスマートフォン１の表示部１２の表示に適したミラーリング用画像データに変換（スケーリング）するとともに、第１フレームバッファ３２ａに記録するように構成されている。そして、画像生成部３１は、第１フレームバッファ３２ａに記憶されているスマートフォン１の表示部１２の表示に適したミラーリング用画像データを、ＴＶ２の表示部２２の表示に適したミラーリング用画像データに変換するとともに、第２フレームバッファ３２ｂに記憶するように構成されている。そして、スマートフォン２のＣＰＵ３０は、無線ＬＡＮ通信部１４を介して、第２フレームバッファ３２ｂに記憶されているＴＶ２の表示部２２の表示に適したミラーリング用画像データをＴＶ２に送信するように構成されている。
【００４０】
ここで、第１実施形態では、画像生成部３１は、フラッシュメモリ３３に記憶されているリモコン操作入力用画像を、スマートフォン１の表示部１２の表示に適したリモコン操作入力用画像データに変換するとともに第３フレームバッファ３２ｃに記憶して、第３フレームバッファ３２ｃに記憶されているスマートフォン１の表示部１２の表示に適したリモコン操作入力用画像をスマートフォン１の表示部１２に表示するように構成されている。
【００４１】
また、スマートフォン１のＣＰＵ３０は、スマートフォン１の表示部１２に表示されたリモコン操作入力用画像上の操作部画像に対して、ユーザのタッチ操作を受け付けた場合には、後述するミラーリング動作をしないでリモコンアプリを実行させた場合と同様に、操作部画像の所定の操作を行うように構成されている。たとえば、「音量大」の表示（図２の符号Ａ）が操作された場合、スマートフォン１のＣＰＵ３０は、無線ＬＡＮ通信部１４を介して、ＴＶ２の音声出力を大きくするためのリモコン操作情報信号を送信するように構成されている。ＴＶ２のＣＰＵ２１は、無線ＬＡＮ通信部２６を介して、リモコン操作情報を取得して、取得したリモコン操作の操作情報に基づいて、音声制御回路２５を制御して、スピーカ２３による音声出力の大きさを大きくするように構成されている。
【００４２】
また、第１実施形態では、図３および図４に示すように、スマートフォン１とＴＶ２とが、非ミラーリング動作時には、スマートフォン１のＣＰＵ３０は、スマートフォン１の表示部１２にリモコン操作入力用画像を表示させるように構成されているとともに、ＴＶ２のＣＰＵ２１は、ＴＶ２の表示部２２に放送受信部２７より受信したＴＶ放送画像を表示させるように構成されている。
【００４３】
具体的には、図４（ｂ）に示すように、スマートフォン１の画像生成部３１は、フラッシュメモリ３３に記憶されているリモコン操作入力用画像を、スマートフォン１の表示部１２の表示に適したリモコン操作入力用画像データに変換するとともに第３フレームバッファ３２ｃに記憶して、第３フレームバッファ３２ｃに記憶されているスマートフォン１の表示部１２の表示に適したリモコン操作入力用画像をスマートフォン１の表示部１２に表示するように構成されている。一方、図１および図３に示すように、ＴＶ２のＣＰＵ２１は、放送受信部２７より受信したＴＶ放送画像信号およびＴＶ放送音声信号を受信Ｉ／Ｆ２９を介して取得して、表示部２２にＴＶ放送画像を表示するとともに、スピーカ２３に放送音声を出力するように構成されている。
【００４４】
次に、図５および図６を参照して、第１実施形態による操作システム１００の操作処理フローについて説明する。スマートフォン１における処理は、ＣＰＵ３０により行われる。また、ＴＶ２における処理は、ＣＰＵ２１により行われる。
【００４５】
まず、図５に示すように、スマートフォン１では、ステップＳ１において、画像音声アプリを起動するためのユーザの入力操作を受け付けたか否かが判断される。画像音声アプリを起動する入力操作を受け付けるまでこの判断は繰り返され、入力操作を受け付けた場合、ステップＳ２に進む。
【００４６】
次に、ステップＳ２において、フラッシュメモリ３３に記憶されている画像音声アプリの読み出しが行われ、画像音声アプリが起動される。その後、ステップＳ３に進み、ステップＳ３において、フラッシュメモリ３３に記憶されている画像音声データの読み出しが行われる。その後、ステップＳ４に進む。そして、ステップＳ４において、読み出された音声データがＲＡＭ３２に記憶される。その後、ステップＳ５に進む。
【００４７】
次に、ステップＳ５において、画像データが第１フレームバッファ３２ａに記憶される。画像生成部３１は、読み出された画像データをスマートフォン１の表示部１２に適した形式に変換して、第１フレームバッファ３２ａに記憶を行う。その後、ステップＳ６に進む。そして、ステップＳ６において、画像データが第２フレームバッファ３２ｂに記憶される。画像生成部３１は、読み出された画像データをＴＶ２の表示部２２に適した形式に変換して、第２フレームバッファ３２ｂに記憶を行う。その後、ステップＳ７に進む。
【００４８】
そして、ステップＳ７において、第２フレームバッファ３２ｂに記憶された画像データ（ミラーリング用画像データ）およびＲＡＭ３２に記憶された音声データ（ミラーリング用音声データ）がＴＶ２に送信される。その後、ステップＳ８に進む。
【００４９】
そして、ステップＳ８において、フラッシュメモリ３３に記憶されているリモコンアプリの読み出しが行われ、リモコンアプリが起動される。その後、ステップＳ９に進む。
【００５０】
そして、ステップＳ９において、フラッシュメモリ３３に記憶されているリモコン操作入力用画像データの読み出しが行われる。その後、ステップＳ１０に進む。そして、ステップＳ１０において、読み出したリモコン操作入力用画像データが第３フレームバッファ３２ｃに記憶される。その後、ステップＳ１１（図６参照）に進む。
【００５１】
一方、ＴＶ２では、ステップＳ２１において、画像音声データを受信したか否かが判断される。画像音声データを受信した場合、ステップＳ２２に進み、画像音声データを取得しない場合、ステップＳ２３（図６参照）に進む。
【００５２】
そして、ステップＳ２２において、取得したミラーリング用画像がＴＶ２の表示部２２に表示され、取得したミラーリング用音声がＴＶのスピーカ２３から出力される。その後、ステップＳ２３（図６参照）に進む。
【００５３】
また、図６に示すように、スマートフォン１では、ステップＳ１１において、第３フレームバッファ３２ｃに記憶されているリモコン操作入力用画像が、スマートフォン１の表示部１２に表示される。ここで、第１実施形態では、ステップＳ７において行われた第２フレームバッファ３２ｂに記憶された画像データ（ミラーリング用画像データ）およびＲＡＭ３２に記憶された音声データ（ミラーリング用音声データ）のＴＶ２への送信は、継続して行われている。そして、ステップＳ１２に進む。
【００５４】
そして、ステップＳ１２において、ユーザのリモコン操作入力を受け付けたか否かが判断される。リモコン操作入力を受け付けるまでこの判断は繰り返され、リモコン操作入力を受け付けた場合、ステップＳ１３に進む。
【００５５】
そして、ステップＳ１３において、ＴＶ２の操作制御を行うためのリモコン操作情報信号が送信される。その後、ステップＳ１２に戻る。
【００５６】
一方、図６に示すように、ＴＶ２では、ステップＳ２３において、スマートフォン１より送信されたリモコン操作情報信号を取得したか否かが判断される。リモコン操作情報信号を取得した場合、ステップＳ２４に進み、リモコン操作情報信号を取得しない場合、ステップＳ２１（図５参照）に戻る。
【００５７】
そして、ステップＳ２４において、取得したリモコン操作入力信号に基づいて、スピーカ２３からの音声出力が調整される。その後、ステップＳ２１（図５参照）に戻る。
【００５８】
第１実施形態では、以下のような効果を得ることができる。
【００５９】
第１実施形態では、上記のように、スマートフォン１のＳＯＣ１１を、無線ＬＡＮ通信部１４を介して、ミラーリング用画像およびミラーリング用音声を送信して、ＴＶ２にミラーリング用画像を表示させるミラーリング動作を行いながら、表示部１２にはリモコン操作入力用画像を表示し、受け付けたリモコン操作の操作情報に基づいて、スマートフォン１自身に対する操作制御を行うとともに、ＴＶ２に対する操作制御を行うように構成する。これにより、ユーザは、ＴＶ２に出力されているミラーリング用画像およびミラーリング用音声を確認しながら、ミラーリング用画像およびミラーリング用音声の内容を操作することができるとともに、ＴＶ２に対する操作制御を行うためのリモコン操作を行うことができる。その結果、スマートフォン１からＴＶ２に付属のリモコン機器に持ち替えを行わなくても、ＴＶ２に対するミラーリング動作を行いながら、ＴＶ２に対する音声調整等の操作をすることができる。
【００６０】
また、第１実施形態では、上記のように、スマートフォン１のＳＯＣ１１を、非ミラーリング動作時には、ミラーリング動作時と同様、表示部１２にリモコン操作入力用画像を表示可能であり、受け付けたリモコン操作の操作情報に基づいて、スマートフォン１自身に対する操作制御を行うとともに、ＴＶ２に対する操作制御を行うように構成する、これにより、ユーザは、非ミラーリング動作時、ミラーリング動作時に関わらず、同一の操作機器（スマートフォン１）および操作方法によって、スマートフォン１自身に対する操作制御およびＴＶ２に対する操作制御を行うことができる。
【００６１】
また、第１実施形態では、上記のように、スマートフォン１のタッチパネル１３を、表示部１２に表示されたリモコン操作入力用画像においてユーザによるタッチ操作を受け付けるように構成する。これにより、タッチパネル１３は、ユーザの指の動きに合わせた操作を受け付けることができる。その結果、ユーザは、容易にリモコン操作入力を行うことができる。
【００６２】
また、第１実施形態では、上記のように、スマートフォン１のＳＯＣ１１を、無線ＬＡＮ通信部１４を介して、ミラーリング用画像およびミラーリング用音声を送信して、ＴＶ２にミラーリング用画像を表示させるミラーリング動作を行う画像音声アプリを実行しながら、表示部１２にリモコン操作入力用画像を表示し、受け付けたリモコン操作の操作情報に基づいて、スマートフォン１自身に対する操作制御を行うとともに、ＴＶ２に対する操作制御を行うリモコンアプリを実行するように構成する。これにより、画像音声アプリを実行して、ミラーリング動作しながら、並行してリモコンアプリを実行して、スマートフォン１自身に対する操作制御およびＴＶ２に対する操作制御を行うことができる。
【００６３】
また、第１実施形態では、上記のように、スマートフォン１のＳＯＣ１１を、ＴＶ２にミラーリング用画像を表示させながら、表示部１２に、ミラーリング用画像を表示せずに、リモコン操作入力用画像を表示してユーザによる操作を受け付けるように構成する。これにより、スマートフォン１の表示部１２には、ミラーリング用画像を表示しないので、ユーザは、リモコン操作の際、スマートフォン１の表示部１２に表示されたリモコン操作入力用画像を容易に視認することができ、操作性を向上させることができる。
【００６４】
（第２実施形態）
次に、図１、図７および図８を参照して、第２実施形態による操作システム１０１の構成ついて説明する。画像音声アプリとリモコンアプリとが異なるアプリケーションソフトとして構成されていた、第１実施形態による操作システム１００と異なり、画像音声アプリおよびリモコンアプリは、互いに一体化された単一のアプリケーションソフト（リモコン機能付き画像音声アプリ）により構成されている。
【００６５】
図１に示すように、第２実施形態による操作システム１０１は、スマートフォン５とＴＶ２とを備えている。そして、スマートフォン５は、ＳＯＣ５１を含み、ＳＯＣ５１は、ＣＰＵ５２と、リモコン機能付き画像音声アプリが予め記憶（インストール）されたフラッシュメモリ５３と、画像生成部５４とを含む。
【００６６】
ここで、第２実施形態では、図７および図８に示すように、スマートフォン５とＴＶ２とがミラーリング動作している場合（リモコン機能付き画像音声アプリを実行している場合）には、スマートフォン５のＣＰＵ５２およびＴＶ２のＣＰＵ２１は、スマートフォン５の表示部１２およびＴＶ２の表示部２２にミラーリング用画像を表示するように構成されている。そして、スマートフォン５の表示部１２には、ミラーリング用画像に加えて、リモコン操作入力用画像が表示されるように構成されている。
【００６７】
具体的には、図７（ａ）に示すように、画像生成部５４は、フラッシュメモリ５３に記憶されているミラーリング用画像およびリモコン操作入力用画像をスマートフォン５の表示部１２の表示に適した画像データに変換するとともに、第１フレームバッファ３２ａに記録するように構成されている。そして、画像生成部５４は、第１フレームバッファ３２ａに記憶されているスマートフォン１の表示部１２の表示に適した画像データを、ＴＶ２の表示部２２に適したミラーリング用画像データに変換するとともに、第２フレームバッファ３２ｂに記憶するように構成されている。
【００６８】
ここで、第２実施形態では、図８に示すように、リモコン機能付き画像音声アプリは、画像データの変換の際、ＴＶ２の表示部２２には、リモコン操作入力用画像を表示しないように変換（スケーリング）するように構成されている。また、スマートフォン５とＴＶ２とが非ミラーリング動作時には、第１実施形態による操作システムの非ミラーリング動作時（図３参照）と同様に、スマートフォン５の表示部１２には、リモコン操作入力用画像が表示され、ＴＶ２の表示部２２には、ＴＶ放送画像が表示されるように構成されている。また、第２実施形態による操作システム１０１のその他の構成は、第１実施形態における操作システム１００と同様である。
【００６９】
次に、図９を参照して、第２実施形態による操作システム１０１の操作処理フローについて説明する。スマートフォン５における処理は、ＣＰＵ５２により行われる。また、ＴＶ２における処理は、ＣＰＵ２１により行われる。
【００７０】
まず、図９に示すように、スマートフォン５では、ステップＳ３１において、リモコン機能付き画像音声アプリを起動するためのユーザの入力操作を受け付けたか否かが判断される。リモコン機能付き画像音声アプリを起動する入力操作を受け付けるまでこの判断は繰り返され、入力操作を受け付けた場合、ステップＳ３２に進む。
【００７１】
次に、ステップＳ３２において、フラッシュメモリ５３に記憶されているリモコン機能付き画像音声アプリの読み出しが行われ、リモコン機能付き画像音声アプリが起動される。その後、ステップＳ３３に進み、ステップＳ３３において、フラッシュメモリ５３に記憶されている画像音声データの読み出しが行われる。その後、ステップＳ３４に進む。そして、ステップＳ３４において、読み出された音声データがＲＡＭ３２に記憶される。その後、ステップＳ３５に進む。
【００７２】
次に、ステップＳ３５において、画像データが第１フレームバッファ３２ａに記憶される。画像生成部５４は、読み出された画像データをスマートフォン５の表示部１２に適した形式に変換して、第１フレームバッファ３２ａに記憶を行う。その後、ステップＳ３６に進む。そして、ステップＳ３６において、画像データが第２フレームバッファ３２ｂに記憶される。画像生成部５４は、読み出された画像データをＴＶ２の表示部２２に適した形式に変換して、第２フレームバッファ３２ｂに記憶を行う。その後、ステップＳ３７に進む。
【００７３】
そして、ステップＳ３７において、第１フレームバッファ３２ａに記憶された画像がスマートフォン５の表示部１２に表示され、ＲＡＭ３２に記憶された音声がスマートフォン５のスピーカ１６から出力される。その後、ステップＳ３８に進む。そして、ステップＳ３８において、第２フレームバッファ３２ｂに記憶された画像データおよびＲＡＭ３２に記憶された音声データがＴＶ２に送信される。その後、ステップＳ３９に進む。
【００７４】
そして、ステップＳ３９において、ＴＶ２のリモコン操作のためのユーザのリモコン操作入力を受け付けたか否かが判断される。受け付けた場合、ステップＳ４０に進み、受け付けない場合は、ステップＳ３７に戻る。
【００７５】
次に、ステップＳ４０において、ＴＶ２の操作制御を行うためのリモコン操作情報信号が送信される。その後、ステップＳ３７に戻る。
【００７６】
一方、図９に示すように、ＴＶ２におけるステップＳ２１〜Ｓ２４では、第１実施形態と同様の処理であるステップＳ２１〜Ｓ２４の処理が行われる。
【００７７】
第２実施形態では、以下のような効果を得ることができる。
【００７８】
第２実施形態では、上記のように、画像音声アプリおよびリモコンアプリを、互いに一体化された単一のアプリケーションソフト（リモコン機能付き画像音声アプリ）により構成する。これにより、２つのアプリケーションソフトを同時に動作させる必要がない分、ＳＯＣ５１が行う処理を簡略化することができる。第２実施形態による操作システム１０１のその他の効果は、第１実施形態における操作システム１００と同様である。
【００７９】
（第３実施形態）
次に、図１０〜図１３を参照して、第３実施形態による操作システム１０２の構成について説明する。第３実施形態では、操作システム１０２は、タッチパネル７３および表示部７４を含むリモコン７をさらに備え、ユーザが、リモコン７を操作することによって、スマートフォン６とＴＶ８とがミラーリング動作を行いながら、スマートフォン６に対する操作制御を行うとともに、ＴＶ８の操作制御を行うように構成されている。なお、リモコン７は、本発明の「第１情報処理機器」の一例である。
【００８０】
図１０に示すように、第３実施形態による操作システム１０２は、スマートフォン６とリモコン７とＴＶ８とを備えている。そして、スマートフォン６は、ＳＯＣ６１を含み、ＳＯＣ６１は、ＣＰＵ６２と、画像生成部６３とを含む。そして、スマートフォン６は、リモコン７と通信可能な無線ＬＡＮ通信部６４を含み、リモコン７は、ＳＯＣ７１と、スマートフォン６およびＴＶ８と通信可能な無線ＬＡＮ通信部７２と、ユーザからのタッチ操作を受け付けるタッチパネル７３と、表示部７４とを備えている。また、ＴＶ８は、ＣＰＵ８１と、スマートフォン６およびリモコン７と通信可能な無線ＬＡＮ通信部８２とを含む。なお、ＳＯＣ７１は、本発明の「第１情報処理機器側制御部」の一例である。また、無線ＬＡＮ通信部７２は、本発明の「第１情報処理機器側通信部」の一例である。また、タッチパネル７３は、本発明の「リモコン操作受付部」の一例である。
【００８１】
そして、リモコン７のＳＯＣ７１は、タッチパネル７３によって受け付けたユーザによるタッチ操作の操作情報を取得して、無線ＬＡＮ通信部６４および無線ＬＡＮ通信部７２を介して、スマートフォン６およびＴＶ８に送信するように構成されている。すなわち、スマートフォン６とＴＶ８とがミラーリング動作時は、リモコン７は、スマートフォン６およびＴＶ８に対して操作可能に構成されており、スマートフォン６とＴＶ８とが非ミラーリング動作時には、無線ＬＡＮ通信部７２および無線ＬＡＮ通信部８２を介して、リモコン操作情報信号を送信することによって、ＴＶ８に対してリモコン操作可能に構成されている。
【００８２】
ここで、第３実施形態では、図１１に示すように、スマートフォン６とＴＶ８とが、ミラーリング動作している場合には、スマートフォン６のＣＰＵ６２およびＴＶ８のＣＰＵ８１は、スマートフォン６の表示部１２およびＴＶ８の表示部２２にミラーリング用画像を表示するように構成されている。一方、リモコン７のＳＯＣ７１は、リモコン７の表示部７４に、リモコン操作入力用画像を表示するように構成されている。
【００８３】
具体的には、図１１および図１３に示すように、スマートフォン６の画像生成部６３は、フラッシュメモリ３３に記憶されているミラーリング用画像をスマートフォン６の表示部１２の表示に適したミラーリング用画像データに変換するとともに、第１フレームバッファ３２ａに記録するように構成されている。そして、画像生成部６３は、第１フレームバッファ３２ａに記憶されているスマートフォン６の表示部１２の表示に適したミラーリング用画像データを、ＴＶ８の表示部２２の表示に適したミラーリング用画像データに変換するとともに、第２フレームバッファ３２ｂに記憶するように構成されている。そして、スマートフォン６のＣＰＵ６２は、無線ＬＡＮ通信部６４を介して、第２フレームバッファ３２ｂに記憶されているＴＶ８に表示部２２の表示に適したミラーリング用画像データを送信するように構成されている。そして、ＴＶ８のＣＰＵ８１は、表示部２２にミラーリング用画像を表示するように構成されている。
【００８４】
そして、第３実施形態では、図１１および図１３（ａ）に示すように、リモコン７のＳＯＣ７１内の画像生成部は、ＳＯＣ７１内のフラッシュメモリに記憶されているリモコン操作入力用画像を、リモコン７の表示部７４の表示に適したリモコン操作入力用画像データに変換するとともにＳＯＣ７１内のフレームバッファに記憶するように構成されている。そして、リモコン７のＳＯＣ７１は、ＳＯＣ７１内のフレームバッファに記憶されているリモコン７の表示部７４の表示に適したリモコン操作入力用画像を表示するように構成されている。
【００８５】
また、図１２および図１３（ｂ）に示すように、スマートフォン６とＴＶ８とが、ミラーリング動作していない場合（非ミラーリング動作時）には、ＴＶ８のＣＰＵ８１は、ＴＶ８の表示部２２にＴＶ放送画像を表示するように構成されている。一方、リモコン７のＳＯＣ７１は、リモコン７の表示部７４に、リモコン操作入力用画像を表示するように構成されている。第３実施形態による操作システム１０２のその他の構成は、第１実施形態における操作システム１００と同様である。
【００８６】
次に、図１４および図１５を参照して、第３実施形態による操作システム１０２の操作処理フローについて説明する。スマートフォン６における処理は、ＣＰＵ６２により行われる。また、ＴＶ８における処理は、ＣＰＵ８１により行われる。そして、リモコン７における処理は、ＳＯＣ７１により行われる。
【００８７】
まず、図１４に示すように、スマートフォン６におけるステップＳ１〜Ｓ７、および、ＴＶ８のステップＳ２１およびステップＳ２２の処理は、第１実施形態におけるスマートフォン１におけるステップＳ１〜Ｓ７、および、ＴＶ２のステップＳ２１およびステップＳ２２の処理と同様である。そして、ステップＳ７の処理の後、ステップＳ５１（図１５参照）に進む。
【００８８】
そして、図１５に示すように、スマートフォン６では、ステップＳ５１において、リモコンアプリを起動させるためのリモコンアプリ起動信号がリモコン７に送信される。その後、ステップＳ５２に進む。そして、ステップＳ５２において、リモコン７よりリモコン操作入力信号を取得したか否かが判断される。リモコン操作入力を取得するまでこの判断は繰り返され、リモコン操作入力を取得した場合には、ステップＳ５３に進む。
【００８９】
そして、ステップＳ５３において、リモコン操作情報信号（操作内容）に基づいた操作制御が実行され、ステップＳ５２に戻る。
【００９０】
一方、図１５に示すように、リモコン７では、ステップＳ６１において、スマートフォン６により送信されたリモコンアプリ起動信号を受信したか否かが判断される。リモコンアプリ起動信号を受信するまでこの判断は繰り返され、リモコンアプリ起動信号を受信した場合、ステップＳ６２に進む。そして、ステップＳ６２において、ＳＯＣ７１内のフラッシュメモリに記憶されているリモコン操作入力用画像データの読み出しが行われ、リモコンアプリが起動される。そして、ステップＳ６３に進む。
【００９１】
そして、ステップＳ６３において、読み出されたリモコン操作入力用画像がリモコン７の表示部７４に表示される。その後、ステップＳ６４に進む。そして、ステップＳ６４において、リモコン操作入力を受け付けたか否かが判断される。リモコン操作入力を受け付けるまでこの判断は繰り返され、リモコン操作入力を受け付けた場合、ステップＳ６５に進む。そして、ステップＳ６５において、リモコン操作情報信号がスマートフォン６およびＴＶ８に送信される。その後、ステップＳ６４に戻る。
【００９２】
また、図１５に示すように、ＴＶ２では、ステップＳ２３およびステップＳ２４の処理がなされる。第３実施形態におけるステップＳ２３およびステップＳ２４は、第１実施形態におけるステップＳ２３およびステップＳ２４と同様の処理がなされる。
【００９３】
第３実施形態では、以下のような効果を得ることができる。
【００９４】
第３実施形態では、上記のように、リモコン７のＳＯＣ７１を、スマートフォン６とＴＶ２とが、ミラーリング動作を行っている場合には、タッチパネル７３が受け付けたリモコン操作の操作情報に基づいて、スマートフォン６に対する操作制御を行うとともに、ＴＶ２のスピーカ２３に対する操作制御を行うように構成する。これにより、ユーザは、ＴＶ２の表示部２２に出力されているミラーリング用画像およびミラーリング用音声を確認しながら、ミラーリング用画像およびミラーリング用音声の内容を通常のリモコン操作と同様の操作でリモコン７を用いてリモコン操作することができるとともに、ＴＶ２のスピーカ２３に対する操作制御を行うためのリモコン操作を通常のリモコン操作と同様の操作でリモコン７を用いて行うことができる。第３実施形態による操作システム１０２のその他の効果は、第１実施形態における操作システム１００と同様である。
【００９５】
（第４実施形態）
次に、図１、図１６および図１７を参照して、第４実施形態による操作システム１０３の構成について説明する。第４実施形態では、ユーザによるタッチパネル９５のタッチパネル９５面上の空中での操作であるホバリング操作を受け付けるとともに、３次元の位置座標情報に対応した位置座標を示すホバリングカーソル（図１６符号Ｂ）を、ミラーリング用画像に重畳させて、ＴＶ２に表示させるように構成されている。
【００９６】
図１に示すように、第４実施形態による操作システム１０３は、スマートフォン９を含み、スマートフォン９は、ＳＯＣ９１を含む。そして、ＳＯＣ９１は、ＣＰＵ９２と、座標情報生成部９３と、画像生成部９４と、タッチパネル９５とを含む。
【００９７】
ここで、第４実施形態では、図１および図１６に示すように、タッチパネル９５は、投影型静電容量式タッチパネルを含み、静電容量を検出することによって、ユーザによるタッチパネル９５のタッチパネル９５面上の空中での操作であるホバリング操作を受け付けるように構成されている。
【００９８】
そして、図１および図１６に示すように、座標情報生成部９３は、タッチパネル１３がホバリング操作を受け付けた場合には、３次元の位置座標情報（ユーザの指等の位置に対応するＸＹＺ座標）を生成するように構成されている。そして、画像生成部９４は、３次元の位置座標情報に対応した位置座標を示すホバリングカーソル（図１６符号Ｂおよび図１７符号Ｃ）を、ミラーリング用画像に重畳させるように構成されており、ＣＰＵ９２は、ミラーリング用画像およびホバリングカーソルをＴＶ２に表示させる制御を行うように構成されている。
【００９９】
そして、図１７に示すように、ＣＰＵ９２は、タッチパネル９５面上をユーザによりタッチされた場合（Ｚ座標が０の場合）には、２次元の位置座標情報に対応した位置座標を示すホバリングカーソル（図１７符号Ｃ）を、ミラーリング用画像に重畳させるように構成されている。また、図１７に示すように、ＣＰＵ９２は、音量大ボタン（図１７符号Ａ）上で、タッチパネル９５面上をユーザによりタッチされた場合（Ｚ座標が０の場合）には、ＴＶ２の音量を大きくする制御を行う一方、音量大ボタン（図１７符号Ａ）上で、タッチパネル９５面上の空間で、ホバリング操作（Ｚ座標が０以外の場合）されている場合には、ＴＶ２の音量を大きくしない制御を行うように構成されている。第４実施形態による操作システム１０３のその他の構成は、第１実施形態における操作システム１００と同様である。
【０１００】
第４実施形態では、以下のような効果を得ることができる。
【０１０１】
第４実施形態では、上記のように、タッチパネル９５を、表示部１２に表示されたリモコン操作入力用画像において、ユーザによるタッチパネル９５のタッチパネル９５面上の空中での操作であるホバリング操作を受け付けるように構成して、ＳＯＣ９１を、ホバリング操作に対応した位置座標を示すホバリングカーソル（図１６符号Ｂおよび図１７符号Ｃ）を、ミラーリング用画像に重畳させて、ＴＶ２に表示させる制御を行うように構成する。これにより、ＴＶ２に表示されたホバリング操作に対応した位置座標を示すホバリングカーソルをユーザに視認させることができる。その結果、ユーザは、スマートフォン９の表示部１２を視認しなくても、ＴＶ２に対して操作制御を行うことができる。第４実施形態による操作システム１０３のその他の効果は、第１実施形態における操作システム１００と同様である。
【０１０２】
（第５実施形態）
次に、図１、図１８および図１９を参照して、第５実施形態による操作システム１０４の構成について説明する。第５実施形態では、ユーザによるタッチパネルのタッチパネル面上の空中での操作であるホバリング操作を受け付けるように構成されている第４実施形態による操作システム１０３と異なり、タッチパネル面上のタッチ操作に基づいて、３次元の位置座標情報を生成するように構成されている。
【０１０３】
図１に示すように、第５実施形態による操作システム１０４は、スマートフォン９ａを含み、スマートフォン９ａは、ＳＯＣ９１ａを含む。そして、ＳＯＣ９１ａは、ＣＰＵ９２ａと、座標情報生成部９３ａと、画像生成部９４と、タッチパネル１３とを含む。
【０１０４】
図１８に示すように、第１実施形態による操作システム１００と同様に、タッチパネル１３は、表示部１２に表示された画像において、ユーザによるタッチパネル１３のタッチパネル１３面上のタッチ操作を受け付けるように構成されている。
【０１０５】
ここで、第５実施形態では、図１８に示すように、座標情報生成部９３ａは、タッチパネル１３が受け付けたタッチ操作の位置情報に基づいて、タッチパネル１３面上の空中での操作であるホバリング操作として、３次元（ＸＹ座標はタッチ位置に対応して、Ｚ軸座標は予め設定された０ではない値に対応する）の座標情報を生成するように構成されている。そして、所定の時間経過するまでは、座標情報生成部９３ａは、３次元の座標情報を生成するように構成されている一方、タッチパネル１３がタッチ操作された後に、所定の時間継続して同じ位置へのタッチ操作が行われた場合には、タッチ操作を、タッチパネル１３のタッチパネル１３面上でのタッチ操作として２次元（ＸＹ座標はタッチ位置に対応して、Ｚ軸座標は０とする）の位置座標情報を生成するように構成されている。なお、所定の時間継続して同じ位置へのタッチ操作することは、本発明の「所定の操作」の一例である。
【０１０６】
また、図１８および図１９に示すように、第４実施形態による操作システム１０３と同様に、ＳＯＣ９１ａは、３次元の位置座標情報（タッチパネル１３から離間した位置）および２次元の位置座標情報（タッチパネル１３と接する位置）に対応した位置座標を示すホバリングカーソル（図１８符号Ｂおよび図１９符号Ｃ）を、ミラーリング用画像に重畳させて、ＴＶ２に表示させる制御を行うように構成されている。第５実施形態による操作システム１０４のその他の構成は、第１実施形態における操作システム１００と同様である。
【０１０７】
第５実施形態では、以下のような効果を得ることができる。
【０１０８】
第５実施形態では、上記のように、ＳＯＣ９１ａを、タッチパネル１３がタッチ操作を検出した場合に、タッチ操作を、タッチパネル１３のタッチパネル１３面上の空中での操作であるホバリング操作として３次元の位置座標情報を生成するとともに、タッチ操作が検出された後に、所定の操作を受け付けた場合には、タッチ操作を、タッチパネル１３のタッチパネル１３面上でのタッチ操作として２次元の位置座標情報を生成する制御と、３次元の位置座標情報および２次元の位置座標情報のうちの少なくとも３次元の位置座標情報に対応した位置座標を示すホバリングカーソル（図１８符号Ｂおよび図１９符号Ｃ）を、ミラーリング用画像に重畳させて、ＴＶ２に表示させる制御を行うように構成する。これにより、タッチパネル１３がタッチパネル１３面上の空中にあるユーザの指を検出する性能を有しない場合であっても、ホバリング操作を受け付けることができる。その結果、ＴＶ２に表示されたホバリング操作に対応した位置座標を示すホバリングカーソルをユーザに視認させることができるので、ユーザは、スマートフォン９ａの表示部１２を視認しなくても、ＴＶ２に対して操作制御を行うことができる。第５実施形態による操作システム１０４のその他の効果は、第１実施形態における操作システム１００と同様である。
【０１０９】
なお、今回開示された実施形態は、すべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は、上記した実施形態の説明ではなく特許請求の範囲によって示され、さらに特許請求の範囲と均等の意味および範囲内でのすべての変更が含まれる。
【０１１０】
たとえば、第１〜第５実施形態では、本発明を情報処理機器の一例として、スマートフォンに適用する例を示したが、本発明はこれに限らない。本発明は、スマートフォン以外の情報処理機器にも適用可能である。たとえば、タブレットなどにも適用可能である。
【０１１１】
また、第１〜第５実施形態では、本発明を画像音声出力機器の一例として、ＴＶに適用する例を示したが、本発明はこれに限らない。本発明は、ＴＶ以外の画像音声出力機器にも適用可能である。たとえば、プロジェクターや、セットトップボックスと表示機器と音声出力機器とを組み合わせた装置でもよい。
【０１１２】
また、第１実施形態および第３実施形態では、スマートフォンとＴＶとがミラーリング動作時、スマートフォンの表示部に表示される画像を、ミラーリング用画像およびリモコン操作入力用画像のいずれか一方を表示するように構成する例を示したが、本発明はこれに限られない。本発明では、スマートフォンの表示部に表示される画像を、ミラーリング用画像を表示しながら、リモコン操作入力用画像を半透明に変換して重ねて表示するように構成してもよい。
【０１１３】
また、第３実施形態では、本発明を第１情報処理機器の一例として、リモコンに適用する例を示したが、本発明はこれに限らない。本発明は、リモコン以外の第１情報処理機器にも適用可能であるとして構成してもよい。たとえば、ミラーリング動作しているスマートフォンとは別個のスマートフォンを設けて第１情報処理機器として適用してもよい。
【０１１４】
また、第１〜第５実施形態では、本発明の被操作機器側通信部および操作機器側通信部として、無線ＬＡＮ通信部を用いる例を示したが、本発明はこれに限らない。たとえば、有線の通信部を含む構成にしてもよい。
【０１１５】
また、第１〜第５実施形態では、本発明の操作受付部が受け付けるユーザの操作入力方法として、タッチ操作およびホバリング操作を用いる例を示したが、本発明はこれに限らない。たとえば、ジャイロセンサ等をさらに含んで、スマートフォン本体の動きを検知して操作を受け付けるように構成にしてもよい。
【０１１６】
また、第１〜第５実施形態では、タッチパネル部として投影型静電容量式タッチパネルを含む例を示したが、本発明はこれに限られない。本発明では、投影型静電容量式タッチパネル以外のタッチパネルを用いて構成してもよい。たとえば、電磁誘導方式タッチパネルや抵抗膜方式タッチパネルを用いて構成してもよい。
【０１１７】
また、第１〜第５実施形態では、スマートフォンまたはリモコンが、リモコン操作情報信号として、ＴＶの音声調整を行うための信号を送信する例を示したが、本発明はこれに限られない。本発明では、リモコン操作情報信号がスマートフォン自身を制御する信号の場合には、リモコン操作情報信号がＴＶ２に送信されないように構成してもよい。
【０１１８】
また、第１〜第５実施形態では、スマートフォンまたはリモコンが、ＴＶの操作制御として、ＴＶの音声調整制御を行う例を示したが、本発明はこれに限られない。本発明では、ＴＶの操作制御としてＴＶの音声調整以外の制御を行うように構成してもよい。たとえば、ＴＶの画質調整を制御するように構成してもよい。
【０１１９】
また、第１〜第５実施形態では、説明の便宜上、本発明の制御部の処理を処理フローに沿って順番に処理を行うフロー駆動型のフローチャートを用いて説明したが、本発明はこれに限られない。本発明では、制御部の処理動作を、イベントごとに処理を実行するイベント駆動型（イベントドリブン型）の処理により行ってもよい。この場合、完全なイベント駆動型で行ってもよいし、イベント駆動およびフロー駆動を組み合わせて行ってもよい。
【符号の説明】
【０１２０】
１、５、６、９、９ａ  スマートフォン（情報処理機器）
２、８  ＴＶ（画像音声出力機器）
７  リモコン（第１情報処理機器）
１１、５１、６１、９１、９１ａ  ＳＯＣ（制御部）
１２  表示部
１３、９５  タッチパネル（操作受付部）
１４、６５  無線ＬＡＮ通信部（通信部）
２６  無線ＬＡＮ通信部（画像音声出力機器側通信部）
２２  表示部（画像音声出力機器側表示部）
２３  スピーカ（画像音声出力機器側音声出力部）
７１  ＳＯＣ（第１情報処理機器側制御部）
７２  無線ＬＡＮ通信部（第１情報処理機器側通信部）
７３  タッチパネル（リモコン操作受付部）
１００、１０１、１０２、１０３，１０４  操作システム
【図１】
2015133637.tif 000003
【図２】
2015133637.tif 000004
【図３】
2015133637.tif 000005
【図４】
2015133637.tif 000006
【図５】
2015133637.tif 000007
【図６】
2015133637.tif 000008
【図７】
2015133637.tif 000009
【図８】
2015133637.tif 000010
【図９】
2015133637.tif 000011
【図１０】
2015133637.tif 000012
【図１１】
2015133637.tif 000013
【図１２】
2015133637.tif 000014
【図１３】
2015133637.tif 000015
【図１４】
2015133637.tif 000016
【図１５】
2015133637.tif 000017
【図１６】
2015133637.tif 000018
【図１７】
2015133637.tif 000019
【図１８】
2015133637.tif 000020
【図１９】
2015133637.tif 000021