(57)【要約】【課題】プラットフォーム端末による遠隔操作に関する利便性を向上させることを実現した情報処理装置を提供する。【解決手段】実施形態によれば、情報処理装置は、第１情報受信手段と、操作画面送信手段と、第２情報受信手段と、制御手段とを具備する。第１情報受信手段は、無線通信によって外部デバイスから表示機能に関する第１情報を受信する。操作画面送信手段は、第１情報受信手段により受信された第１情報に基づき、自装置を操作するための操作画面を生成し、当該操作画面の映像信号を無線通信によって外部デバイスに送信する。第２情報受信手段は、操作画面送信手段により送信された映像信号によって表示される操作画面上での操作内容に関する第２情報を無線通信によって外部デバイスから受信する。制御手段は、第２情報受信手段により受信された第２情報に基づき、自装置の動作を制御する。【選択図】図３
2014149610.tif 000002
【特許請求の範囲】
【請求項１】
無線通信手段と、
前記無線通信手段による無線通信によって外部デバイスから前記外部デバイスの表示機能に関する第１情報を受信する第１情報受信手段と、
前記第１情報受信手段により受信された第１情報に基づき、自装置を操作するための操作画面を生成し、前記生成した操作画面の映像信号を前記無線通信手段による無線通信によって外部デバイスに送信する操作画面送信手段と、
前記操作画面送信手段により送信された映像信号によって表示される操作画面上での操作内容に関する第２情報を前記無線通信手段による無線通信によって前記外部デバイスから受信する第２情報受信手段と、
前記第２情報受信手段により受信された第２情報に基づき、自装置の動作を制御する制御手段と、
を具備する情報処理装置。
【請求項２】
前記第１情報は、画面サイズ、アスペクト比または解像度のうちの少なくとも１つを含み、
前記操作画面送信手段は、前記第１情報に含まれる画面サイズ、アスペクト比または解像度のうちの少なくとも１つに基づき、前記操作画面を生成する、
請求項１に記載の情報処理装置。
【請求項３】
前記第２情報は、前記操作画面上での操作位置を示す座標データを含み、
前記制御手段は、前記第２情報に含まれる座標データに基づき、前記操作画面上での操作内容を解釈する、
請求項１または２に記載の情報処理装置。
【請求項４】
前記操作画面送信手段は、前記第１情報に基づき、前記操作画面上に配置する操作用オブジェクトの配置を決定する請求項１、２または３に記載の情報処理装置。
【請求項５】
画像を含むコンテンツを再生する再生手段を具備し、
前記操作画面送信手段は、前記第１情報に基づき、前記再生手段の再生対象となるコンテンツに含まれる画像の表示領域を前記操作画面上に配置し、前記コンテンツに含まれる画像を含む前記操作画面の映像信号を前記無線通信手段による無線通信によって前記外部デバイスに送信する請求項１、２、３または４に記載の情報処理装置。
【請求項６】
前記操作画面送信手段は、前記第１情報に基づき、前記表示領域の前記操作画面上への配置有無または配置数を決定する請求項５に記載の情報処理装置。
【請求項７】
前記操作画面送信手段は、前記表示領域を操作用オブジェクトとして前記操作画面上に配置する請求項５または６に記載の情報処理装置。
【請求項８】
テレビジョン放送番組データを受信するＴＶデータ受信手段を具備し、
前記操作画面送信手段は、前記表示領域に表示する画像の映像信号として、前記ＴＶデータ受信手段により受信されたテレビジョン放送番組データに含まれる画像を含む前記操作画面の映像信号を前記無線通信手段による無線通信によって前記外部デバイスに送信する請求項５、６または７に記載の情報処理装置。
【請求項９】
情報処理装置の遠隔操作支援方法であって、
無線通信によって外部デバイスから前記外部デバイスの表示機能に関する第１情報を受信し、
前記受信した第１情報に基づき、自装置を操作するための操作画面を生成し、前記生成した操作画面の映像信号を無線通信によって外部デバイスに送信し、
前記送信した映像信号によって表示される操作画面上での操作内容に関する第２情報を無線通信によって前記外部デバイスから受信し、
前記受信した第２情報に基づき、前記情報処理装置の動作を制御する、
遠隔操作支援方法。
【請求項１０】
コンピュータを、
無線通信手段による無線通信によって外部デバイスから前記外部デバイスの表示機能に関する第１情報を受信する第１情報受信手段、
前記第１情報受信手段により受信された第１情報に基づき、前記コンピュータを操作するための操作画面を生成し、前記生成した操作画面の映像信号を前記無線通信手段による無線通信によって外部デバイスに送信する操作画面送信手段、
前記操作画面送信手段により送信された映像信号によって表示される操作画面上での操作内容に関する第２情報を前記無線通信手段による無線通信によって前記外部デバイスから受信する第２情報受信手段、
前記第２情報受信手段により受信された第２情報に基づき、前記コンピュータの動作を制御する制御手段、
として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明の実施形態は、無線通信機能を有する情報処理装置に好適なユーザインタフェース技術に関する。
【背景技術】
【０００２】
テレビジョン受像機（以下、ＴＶ装置という）の多くは、リモートコントローラによる遠隔操作が可能である。最近では、専用のリモートコントローラではなく、タブレット端末やスマートフォンを使って、ＴＶ装置を操作するといったことが行われ始めている。
【０００３】
そして、ＴＶ装置を含む情報処理装置の遠隔操作に関しては、これまでも様々な提案がなされている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００９−６５６００号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
ＴＶ装置をタブレット端末やスマートフォン等で操作できるようにするために、ＴＶ装置の製造業者は、タブレット端末やスマートフォン等をリモートコントローラとして動作させるためのアプリケーションプログラムを提供している（以下、リモートコントローラとして用いられるタブレット端末やスマートフォン等を、プラットフォーム端末と称することがある）。
【０００６】
しかしながら、製造業者側においては、プラットフォーム端末毎に（ＴＶ装置を遠隔操作するための）アプリケーションプログラムを開発しなければならない。一方、ユーザ側においては、例えば複数種のＴＶ装置の操作を１つのタブレット端末で行いたいと考えた場合、複数種のＴＶ装置毎に提供される複数のアプリケーションプログラムをインストールしなければならない。
【０００７】
本発明は、プラットフォーム端末による遠隔操作に関する利便性を向上させることを実現した情報処理装置、遠隔操作支援方法およびプログラムを提供することを目的とする。
【課題を解決するための手段】
【０００８】
実施形態によれば、情報処理装置は、無線通信手段と、第１情報受信手段と、操作画面送信手段と、第２情報受信手段と、制御手段とを具備する。第１情報受信手段は、前記無線通信手段による無線通信によって外部デバイスから前記外部デバイスの表示機能に関する第１情報を受信する。操作画面送信手段は、前記第１情報受信手段により受信された第１情報に基づき、自装置を操作するための操作画面を生成し、前記生成した操作画面の映像信号を前記無線通信手段による無線通信によって外部デバイスに送信する。第２情報受信手段は、前記操作画面送信手段により送信された映像信号によって表示される操作画面上での操作内容に関する第２情報を前記無線通信手段による無線通信によって前記外部デバイスから受信する。制御手段は、前記第２情報受信手段により受信された第２情報に基づき、自装置の動作を制御する。
【図面の簡単な説明】
【０００９】
【図１】実施形態の情報処理装置（ＴＶ装置）の遠隔操作に関する動作原理の概要を説明するための図。
【図２】実施形態の情報処理装置の構成を概略的に示す図。
【図３】実施形態の情報処理装置上で動作する遠隔操作支援プログラムの機能ブロックを示す図。
【図４】実施形態の情報処理装置をプラットフォーム端末で遠隔操作する場合における情報処理装置とプラットフォーム端末との間の通信シーケンスを示す図。
【図５】実施形態の情報処理装置によるプラットフォーム端末の画面環境情報に基づく操作画面の生成例を示す図。
【図６】実施形態の情報処理装置の遠隔操作に関する動作の流れを示すフローチャート。
【発明を実施するための形態】
【００１０】
以下、実施の形態について図面を参照して説明する。
【００１１】
図１は、本実施形態に係る情報処理装置１の遠隔操作に関する動作原理の概要を説明するための図である。本情報処理装置１は、例えば、ＴＶ装置として実現され得る。
【００１２】
ＴＶ装置１は、例えばWi-Fi（登録商標）規格に準拠した無線通信機能を有し、Wi-Fi Display規格に準拠した手順で映像信号を無線通信で送信することができる。Wi-Fi Display規格では、ＥＤＩＤ（Extended display identification data）の送信が可能である。また、スマートフォン２ａやタブレット端末２ｂも、例えばWi-Fi（登録商標）規格に準拠した無線通信機能を有し、Wi-Fi Display規格に準拠した手順で映像信号を無線通信で受信することができ、かつ、ディスプレイ上でのタッチ操作が可能なタッチスクリーンディスプレイを備えている。
【００１３】
そこで、例えばスマートフォン２ａとの間で無線通信のためのセッションが確立されると、ＴＶ装置１は、スマートフォン２ａからＥＤＩＤを受信し、このＥＤＩＤからスマートフォン２ａが備えるタッチスクリーンディスプレイの画面サイズ、アスペクト比、解像度等の画面環境情報を取得する（図１のａ１）。換言すると、スマートフォン２ａは、ＴＶ装置１との間で無線通信のためのセッションが確立されると、ＥＤＩＤをＴＶ装置１に送信する。
【００１４】
スマートフォン２ａの画面環境情報を取得すると、ＴＶ装置１は、スマートフォン２ａが備えるタッチスクリーンディスプレイに適した（ＴＶ装置１を操作するための）操作画面を生成し、その映像信号をスマートフォン２ａに送信する（図１のａ２）。スマートフォン２ａは、この映像信号を使って、タッチスクリーンディスプレイ上に操作画面を表示する。ここで、画面環境情報に基づく操作画面の生成とは、例えば画面サイズに適合させるための単なる拡大・縮小に止まらず、例えば画面サイズを考慮した操作ボタン（操作用オブジェクト）の配置等を含む。
【００１５】
なお、スマートフォン２ａやタブレット端末２ｂが備えるタッチスクリーンディスプレイの種類はある程度限定されるので、操作画面の生成を、予め用意された複数の操作画面からの選択としてもよい。
【００１６】
また、Wi-Fi Display規格に準拠した手順によれば、タッチ操作等の操作情報を含むＵＩＢＣ（User interface back channel）を送受信することができる。そこで、操作画面を表示したタッチスクリーンディスプレイ上でタッチ操作が行われると、スマートフォン２ａは、操作情報をＴＶ装置１に送信する（図１のａ３）。この操作情報は、より具体的には、操作画面上における座標データである。
【００１７】
そして、ＴＶ装置１は、この操作情報から操作画面上での操作内容を解析し、例えばチャンネルを替える、番組表を表示する、といった動作制御を実行する。
【００１８】
同様に、例えばタブレット端末２ｂとの間で無線通信のためのセッションが確立されると、ＴＶ装置１は、タブレット端末２ｂからＥＤＩＤを受信し、このＥＤＩＤからタブレット端末２ｂが備えるタッチスクリーンディスプレイの画面環境情報を取得する（図１のａ１´）。この画面環境情報に基づき、ＴＶ装置１は、タブレット端末２ｂが備えるタッチスクリーンディスプレイに適した操作画面を生成し、その映像信号をタブレット端末２ｂに送信する（図１のａ２´）。ＴＶ装置１は、タブレット端末２ｂから送信されてくる操作情報に基づき（図１のａ３´）、ＴＶ装置１の動作制御を実行する。
【００１９】
ここでは、スマートフォン２ａが備えるタッチスクリーンディスプレイと、タブレット端末２ｂが備えるタッチスクリーンディスプレイとでは、画面サイズが大きく異なっているものと想定する。この時、スマートフォン２ａには、スマートフォン２ａが備えるタッチスクリーンディスプレイの画面サイズに応じて操作ボタンが配置された（ＴＶ装置１を操作するための）操作画面が表示され、一方、タブレット端末２ｂには、タブレット端末２ｂが備えるタッチスクリーンディスプレイの画面サイズに応じて操作ボタンが配置された（ＴＶ装置１を操作するための）操作画面が表示されることになる。
【００２０】
スマートフォン２ａおよびタブレット端末２ｂには、前述のような動作を行うための同一のアプリケーションプログラムがインストールされる。つまり、本実施形態のＴＶ装置１によれば、第１に、プラットフォーム端末毎にアプリケーションプログラムを開発することが不要となる。
【００２１】
また、このアプリケーションプログラムをインストールすれば、１つのプラットフォーム端末で（前述のような動作が可能な）複数種のＴＶ装置１を操作できるので、複数のアプリケーションプログラムをインストールすることが不要となる。
【００２２】
即ち、本実施形態のＴＶ装置１は、プラットフォーム端末による遠隔操作に関する利便性を向上させることを実現する。以下、本実施形態のＴＶ装置１が提供する遠隔操作支援のための仕組みについて詳述する。
【００２３】
図２は、ＴＶ装置１の構成を概略的に示す図である。
【００２４】
図２に示すように、ＴＶ装置１は、プロセッサ１１、主メモリ１２、外部記憶装置１３、表示装置１４、入力装置１５、ＴＶチューナ１６、音声出力装置１７、無線通信装置１８等を有している。
【００２５】
プロセッサ１１は、ＴＶ装置１の動作制御を司るモジュールであり、各種プログラムを外部記憶装置１３から主メモリ１２にロードして実行することで、ＴＶ装置１を様々な手段として機能させる。各種プログラムの中には、プラットフォーム端末による遠隔操作を可能とするための遠隔操作支援プログラム１００が含まれる。外部記憶装置１３は、例えば不揮発性メモリ等である。
【００２６】
表示装置１４は、ＴＶ装置１が提供するユーザインタフェースのアウトプット側を担うモジュールである。一方、入力装置１５は、ＴＶ装置１が提供するユーザインタフェースのインプット側を担うモジュールである。即ち、入力装置１５によってユーザの指示を受け付け、この指示に応じて例えば各種プログラムが実行した処理の結果を表示装置１４に提示する。また、表示装置１４には、ＴＶチューナ１６によって受信されたテレビジョン番組データをデコードして得られる画像も表示される。テレビジョン番組データのデコードは、ソフトウェアで実行しても良いし、ハードウェアで実行しても良い。テレビジョン番組データをデコードして得られる音声は、音声出力装置１７から出力される。
【００２７】
そして、無線通信装置１８は、前述した例えばWi-Fi（登録商標）規格に準拠した無線通信を実行するモジュールである。
【００２８】
図３は、以上のような構成を持つＴＶ装置１上で動作する遠隔操作支援プログラム１００の機能ブロックを示す図である。
【００２９】
図３に示すように、遠隔操作支援プログラム１００は、画面環境情報受信部１０１、操作画面生成部１０２、操作画面送信部１０３、操作情報受信部１０４、操作内容解析部１０５、動作制御部１０６等を有している。
【００３０】
画面環境情報受信部１０１は、プラットフォーム端末の画面環境情報を無線通信装置１８による無線通信によって受信するモジュールである。操作画面生成部１０２は、画面環境情報受信部１０１によって受信された画面環境情報に基づき、プラットフォーム端末に適した操作画面を生成するモジュールである。操作画面送信部１０３は、操作画面生成部１０２によって生成された操作画面（画像データ）をプラットフォーム端末に送信するモジュールである。
【００３１】
また、操作情報受信部１０４は、プラットフォーム端末からの操作情報を無線通信装置１８による無線通信によって受信するモジュールである。操作内容解析部１０５は、操作情報受信部１０４によって受信された操作情報に基づき、操作画面上での操作内容を解析するモジュールである。そして、動作制御部１０６は、操作内容解析部１０５によって解析された操作内容に基づき、ＴＶ装置１を動作制御するモジュールである。
【００３２】
図４に、ＴＶ装置１をタブレット端末２ｂで遠隔操作する場合におけるＴＶ装置１とタブレット端末２ｂとの間の通信シーケンスを示す。
【００３３】
タブレット端末２ｂでＴＶ装置１を操作する場合、ユーザは、タブレット端末２ｂにインストールされた（ＴＶ装置１を含む外部デバイスを操作するための）アプリケーションプログラムを起動する。タブレット端末２ｂ上のアプリケーションプログラムは、起動されると、ＴＶ装置１との間で無線通信を行うためのセッションの確立を試みる（図４のｂ１）。Wi-Fi Display規格では、画像データの送信側をSource、画像データの受信側をSinkと定義する。そのため、タブレット端末２ｂとＴＶ装置１との間で無線通信のためのセッションを確立する際には、操作画面用の画像データを受信するタブレット端末２ｂがSink、操作画面用の画像データを送信するＴＶ装置１がSourceとなるように、タブレット端末２ｂとＴＶ装置１との間で、予め定められた手順によるネゴシエーションが行われる。
【００３４】
このセッッションが確立されると、タブレット端末２ｂは、ＴＶ装置１にＥＤＩＤを送信する（図４のｂ２）。このＥＤＩＤに基づき、ＴＶ装置１は、タブレット端末２ｂ側での表示に適した操作画面を生成し（図４のｂ３）、その映像信号をタブレット端末２ｂに送信する（図４のｂ４）。
【００３５】
タブレット端末２ｂは、この映像信号を用いて操作画面を表示し、操作画面上でタッチ操作が行われたら、そのタッチ位置を示す座標データを操作情報としてＴＶ装置１に送信する（図４のｂ５）。ＴＶ装置１は、この操作情報に基づき、タブレット端末２ｂで行われた操作画面上での操作内容を解析し（図４のｂ６）、その解析結果に基づき、ＴＶ装置１の動作制御を実行する（図６のｂ７）。
【００３６】
図５は、ＴＶ装置１によるプラットフォーム端末の画面環境情報に基づく操作画面の生成例を示す図である。
【００３７】
図５中、（Ａ）は、スマートフォン２ａ向けにＴＶ装置１が生成する（ＴＶ装置１を操作するための）操作画面の一例を示しており、（Ｂ）は、（スマートフォン２ａよりも画面サイズの大きいタッチスクリーンディスプレイを備える）タブレット端末２ｂ向けにＴＶ装置１が生成する（ＴＶ装置１を操作するための）操作画面の一例を示している。
【００３８】
（Ａ）に示すように、スマートフォン２ａ向けの操作画面では、例えばＴＶ装置１で表示中の画像を表示するための表示領域ｃ１と、例えばチャンネルを選択するための操作ボタン群ｃ２とが配置されている。ＴＶ装置１とスマートフォン２ａを含むプラットフォーム端末とは、Wi-Fi Display規格に準拠した手順で映像信号を送受信することができるので、ＴＶ装置１は、例えば受信中のテレビジョン放送番組データに含まれる画像を表示するための表示領域ｃ１を操作画面上に配置し、かつ、当該表示領域ｃ１に表示する画像の映像信号を送信することが可能である。ユーザは、操作ボタン群ｃ２を操作して、任意のチャンネルを選択する。選択されたチャンネルの映像が、表示領域ｃ１に表示されるので、ユーザは、各チャンネルの映像をスマートフォン２ａ側で確認しながら、チャンネルを選択することができる。
【００３９】
一方、（Ｂ）に示すように、タブレット端末２ｂ向けの操作画面では、各チャンネルの映像を表示するための表示領域ｄ１が、各チャンネルを選択するための操作用オブジェクトとして配置されている。ここでは、ＴＶ装置１が、ＴＶチューナ１６を複数搭載しているものと想定する。図５では、１５チャンネル分の映像が表示されているが、必ずしもＴＶチューナ１６を１５個搭載する必要はなく、例えば、１つのＴＶチューナ１６で複数チャンネル分の映像を順次取得していき、１５個の静止画像用の映像信号をタブレット端末２ｂに送信するようにしてもよい。勿論、（Ａ）に示すスマートフォン２ａ向けの操作画面上の表示領域ｃ１に表示する映像も、静止画像であってもよい。
【００４０】
ユーザは、視聴したいと思う映像上でタッチ操作を行うことで、その映像を放送中のチャンネルを選択することができる。つまり、ユーザは、各チャンネルの映像をタブレット端末２ｂ側で確認しながら、チャンネルを選択することができる。
【００４１】
このような複数の映像の同時表示は、画面サイズの大きいタッチスクリーンディスプレイを備えるタブレット端末２ｂだからこそ行えるものであり、この点からも、画面サイズやアスペクト比に応じて、操作用オブジェクトの配置を含む操作画面の生成を実行することの有効性が窺える。
【００４２】
なお、言うまでもなく、例えばＴＶチューナ１６で受信中のチャンネルの映像を表示するための表示領域を操作画面上に配置することは必須ではない。
【００４３】
また、例えば図５の（Ａ）に示すスマートフォン２ａ向けの操作画面上において、（表示領域ｃ１を含む）操作ボタン群ｃ２以外の位置でタッチ操作が行われた場合も、スマートフォン２ａからＴＶ装置１に対して操作情報が送信される。ＴＶ装置１側での解析によって、操作ボタン群ｃ２に対する操作ではなかったことが認識される。つまり、プラットフォーム端末側では、操作画面の構成を何ら意識する必要がない。
【００４４】
図６は、ＴＶ装置１の遠隔操作に関する動作の流れを示すフローチャートである。
【００４５】
ＴＶ装置１は、プラットフォーム端末との間で無線通信を行うためのセッションを確立すると（ブロックＡ１）、まず、画面環境情報をプラットフォーム端末から受信する（ブロックＡ２）。ＴＶ装置１は、受信した画面環境情報に基づき、（ＴＶ装置１を操作するための）操作画面を生成し（ブロックＡ３）、その映像データをプラットフォーム端末に送信する（ブロックＡ４）。
【００４６】
ＴＶ装置１は、操作情報をプラットフォーム端末から受信すると（ブロックＡ５）、その操作情報に基づき、操作画面上での操作内容を解析する（ブロックＡ６）。この解析結果に基づき、ＴＶ装置１は、ＴＶ装置１の動作制御を実行する（ブロックＡ７）。
【００４７】
このように、本ＴＶ装置１によれば、（ａ）プラットフォーム端末毎にアプリケーションプログラムを開発することが不要となり、また、（ｂ）プラットフォーム端末に複数のアプリケーションプログラムをインストールすることが不要となる。
【００４８】
即ち、本ＴＶ装置１によれば、プラットフォーム端末による遠隔操作に関する利便性を向上させることが実現できる。
【００４９】
本実施形態の動作手順はソフトウェアによって実現することができるので、このソフトウェアをコンピュータ読み取り可能な記憶媒体を通じて通常のコンピュータに導入することにより、本実施形態と同様の効果を容易に実現することができる。
【００５０】
また、本発明は、上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。更に、異なる実施形態に構成要素を適宜組み合わせてもよい。
【符号の説明】
【００５１】
１…ＴＶ装置（情報処理装置）、２ａ…スマートフォン、２ｂ…タブレット端末、１１…プロセッサ、１２…主メモリ、１３…外部記憶装置、１４…表示装置、１５…入力装置、１６…ＴＶチューナ、１７…音声出力装置、１８…無線通信装置、１００…遠隔操作支援プログラム、１０１…画面環境情報受信部、１０２…操作画面生成部、１０３…操作画面送信部、１０４…操作情報受信部、１０５…操作内容解析部、１０６…動作制御部。
【図１】
2014149610.tif 000003
【図２】
2014149610.tif 000004
【図３】
2014149610.tif 000005
【図４】
2014149610.tif 000006
【図５】
2014149610.tif 000007
【図６】
2014149610.tif 000008