(57)【要約】【課題】応答性に優れた遠隔操作システムを実現する。【解決手段】本発明のタブレット１００は、テレビ２００を撮像した画像データを自身の表示部に表示し、画像データからテレビ２００の表示部を表す第１領域の位置を特定する位置特定部２０と、第１領域の位置に基づき、自身の表示部に対する操作の操作位置座標を、上記表示装置の表示部における操作位置座標に変換する座標処理部２１と、変換された操作位置座標をテレビ２００の入力信号として出力する信号出力部２２とを備えている。【選択図】図１
2013161247.tif 000002
【特許請求の範囲】
【請求項１】
表示装置を遠隔操作する操作装置であって、
上記表示装置を撮像した画像データを上記操作装置の表示部に表示する表示制御手段と、
上記操作装置の表示部における、上記表示装置の表示部を表す第１領域の位置を、表示された上記画像データから特定する位置特定手段と、
上記第１領域に対して入力された操作信号を受け付ける入力受付手段と、
上記位置特定手段によって特定された上記第１領域の位置に基づいて、上記操作装置の表示部における上記操作信号を受け付けた位置を示す操作位置座標を、上記表示装置の表示部における操作位置座標に変換する座標処理手段と、
上記表示装置に対する入力信号として、上記座標処理手段によって変換された操作位置座標を出力する信号出力手段とを備えていることを特徴とする操作装置。
【請求項２】
上記操作装置の上記表示部は、上記操作信号を入力するための入力部と一体に形成され、タッチパネルを構成し、
上記入力受付手段は、上記タッチパネルに対する接触操作によって入力された操作信号を受け付け、
上記座標処理手段は、上記接触操作の上記タッチパネルにおける操作位置座標を、上記表示装置の表示部における操作位置座標に変換することを特徴とする請求項１に記載の操作装置。
【請求項３】
上記信号出力手段は、上記座標処理手段によって変換された操作位置座標に重なる、上記表示装置の表示部に表示されたオブジェクトを選択することを上記表示装置に対して指示する入力信号を出力することを特徴とする請求項１または２に記載の操作装置。
【請求項４】
上記信号出力手段は、上記表示装置の表示部に表示されている選択されたオブジェクトを、上記座標処理手段によって変換された操作位置座標が示す位置に移動させることを上記表示装置に対して指示する入力信号を出力することを特徴とする請求項１から３までのいずれか１項に記載の操作装置。
【請求項５】
上記入力受付手段は、上記第１領域に加えて、さらに、上記操作装置の表示部における、上記第１領域以外の第２領域に対して入力された操作信号を受け付け、
上記信号出力手段は、
上記座標処理手段によって変換された操作位置座標に重なる、上記表示装置の表示部に表示されたオブジェクトを、上記操作装置に送信することを上記表示装置に対して指示する入力信号、および、
上記操作装置の表示部の上記第２領域において、上記操作信号によって選択されたオブジェクトを、上記座標処理手段によって変換された操作位置座標が示す位置に移動させることを上記表示装置に対して指示する入力信号、の少なくともいずれか一方を出力することを特徴とする請求項１から４までのいずれか１項に記載の操作装置。
【請求項６】
上記入力受付手段は、上記第１領域から上記第２領域へのドラッグ操作によって入力された操作信号を受け付けることを特徴とする請求項５に記載の操作装置。
【請求項７】
上記操作装置は、
当該操作装置の表示部に表示されるオブジェクトを処理するオブジェクト処理手段を備え、
上記入力受付手段が、上記第１領域において操作信号を受け付けている間、
上記座標処理手段は、上記操作装置の表示部における上記ドラッグ操作の操作位置座標を、上記表示装置の画面における操作位置座標に変換し、
上記信号出力手段は、
上記座標処理手段によって変換された操作位置座標に重なる、上記表示装置の表示部に表示されたオブジェクトを選択し、上記操作装置に送信することを上記表示装置に対して指示する第１入力信号を出力し、
上記表示装置の表示部に表示されている選択されたオブジェクトを、上記座標処理手段によって変換された操作位置座標が示す位置に移動させることを上記表示装置に対して指示する第２入力信号を出力し、
上記入力受付手段が、上記第２領域において操作信号を受け付けている間、
上記オブジェクト処理手段は、上記第１入力信号に応答した上記表示装置から受信したオブジェクトを、上記操作装置の表示部における上記ドラッグ操作の操作位置座標が示す位置に表示し、移動させることを特徴とする請求項６に記載の操作装置。
【請求項８】
上記入力受付手段が、上記第２領域において操作信号を受け付けなくなったときに、
上記信号出力手段は、上記第１入力信号にしたがって選択されたオブジェクトに関連付けられた実体データを、上記操作装置に送信することを上記表示装置に対して指示する第３入力信号を出力することを特徴とする請求項７に記載の操作装置。
【請求項９】
上記入力受付手段は、上記第２領域から上記第１領域へのドラッグ操作によって入力された操作信号を受け付けることを特徴とする請求項５に記載の操作装置。
【請求項１０】
上記操作装置は、
当該操作装置の表示部に表示されるオブジェクトを処理するオブジェクト処理手段と、
当該操作装置に記憶されているオブジェクトを、上記表示装置に送信する送信手段とを備え、
上記入力受付手段が、上記第２領域において操作信号を受け付けている間、
上記オブジェクト処理手段は、上記操作装置の表示部における上記ドラッグ操作の操作位置座標に重なるオブジェクトを選択して、該選択したオブジェクトを、上記操作装置の表示部における上記ドラッグ操作の操作位置座標が示す位置に移動させ、
上記送信手段は、上記オブジェクト処理手段によって選択されたオブジェクトを、上記表示装置に送信し、
上記入力受付手段が、上記第１領域において操作信号を受け付けている間、
上記座標処理手段は、上記操作装置の表示部における上記ドラッグ操作の操作位置座標を、上記表示装置の表示部における操作位置座標に変換し、
上記信号出力手段は、
上記選択されたオブジェクトを、上記座標処理手段によって変換された操作位置座標が示す、上記表示装置の表示部の位置に表示することを上記表示装置に対して指示する第４入力信号を出力し、
上記第４入力信号にしたがって表示されたオブジェクトを、上記座標処理手段によって変換された操作位置座標が示す位置に移動させることを上記表示装置に対して指示する第５入力信号を出力することを特徴とする請求項９に記載の操作装置。
【請求項１１】
上記入力受付手段が、上記第１領域において操作信号を受け付けなくなったときに、
上記送信手段は、上記オブジェクト処理手段によって選択されたオブジェクトに関連付けられた実体データを、上記表示装置に送信することを特徴とする請求項１０に記載の操作装置。
【請求項１２】
上記入力受付手段は、上記第１領域上で開始される第１ドラッグ操作によって入力された操作信号を受け付けるとともに、上記第２領域上で開始される第２ドラッグ操作によって入力された操作信号を受け付けることを特徴とする請求項５に記載の操作装置。
【請求項１３】
上記操作装置は、
当該操作装置の表示部に表示されるオブジェクトを処理するオブジェクト処理手段と、
当該操作装置に記憶されているオブジェクトを、上記表示装置に送信する送信手段とを備え、
上記位置特定手段は、上記第１ドラッグ操作に伴って上記第１領域から上記第２領域へと移動する第１オブジェクトの、上記操作装置の表示部における位置を特定するとともに、上記第２ドラッグ操作に伴って上記第２領域から上記第１領域へと移動する第２オブジェクトの、上記操作装置の表示部における位置を特定し、
上記位置特定手段が、上記第１オブジェクトと上記第２オブジェクトとが重なったと判定するまでの間に、
上記信号出力手段は、
上記座標処理手段によって変換された上記第１ドラッグ操作の操作位置座標に重なる、上記表示装置の表示部に表示された第１オブジェクトを、上記操作装置に送信することを上記表示装置に対して指示する第６入力信号を出力し、
上記表示装置の表示部に表示されている選択された第１オブジェクトを、上記座標処理手段によって変換された操作位置座標が示す位置に移動させることを上記表示装置に対して指示する第７入力信号を出力し、
上記送信手段は、上記第２ドラッグ操作によって選択された第２オブジェクトを、上記表示装置に送信し、
上記位置特定手段が、上記第１オブジェクトと上記第２オブジェクトとが重なったと判定した場合に、
上記信号出力手段は、
上記操作装置の表示部に表示されていた上記第２オブジェクトを、上記表示装置の表示部に表示することを上記表示装置に対して指示する第８入力信号を出力し、
上記オブジェクト処理手段は、上記第６入力信号に応答した上記表示装置から受信した第１オブジェクトを、上記操作装置の表示部に表示することを特徴とする請求項１２に記載の操作装置。
【請求項１４】
上記入力受付手段が、上記第１領域および上記第２領域において操作信号を受け付けなくなったときに、
上記信号出力手段は、上記第１オブジェクトに関連付けられた実体データを、上記操作装置に送信することを上記表示装置に対して指示する第９入力信号を出力し、
上記送信手段は、上記第２オブジェクトに関連付けられた実体データを、上記表示装置に送信することを特徴とする請求項１３に記載の操作装置。
【請求項１５】
上記操作装置は、
当該操作装置の表示部に表示されるオブジェクトを処理するオブジェクト処理手段を備え、
上記入力受付手段が、上記第２領域に対して入力された操作信号を受け付けた場合には、
上記オブジェクト処理手段は、上記操作装置の表示部の上記第２領域において、上記操作信号によって選択されたオブジェクトを非表示にし、
上記信号出力手段は、上記選択されたオブジェクトを上記表示装置の表示部に表示することを上記表示装置に対して指示する第１０入力信号を出力することを特徴とする請求項５から１４までのいずれか１項に記載の操作装置。
【請求項１６】
上記操作装置は、
当該操作装置の表示部に表示されるオブジェクトを処理するオブジェクト処理手段を備え、
上記入力受付手段は、上記第１領域上のオブジェクトに対する操作によって入力された操作信号を受け付け、
上記信号出力手段は、
上記座標処理手段によって変換された操作位置座標に重なる、上記表示装置の表示部に表示されたオブジェクトを選択し、上記操作装置に送信することを上記表示装置に対して指示する第１入力信号を出力し、
上記表示装置の表示部に表示されている選択されたオブジェクトに対して、形状を変化または縮小する視覚的効果を付与することを上記表示装置に対して指示する第１１入力信号を出力し、
上記オブジェクト処理手段は、上記第１入力信号に応答した上記表示装置から受信したオブジェクトを、上記操作装置の表示部における上記操作の操作位置座標が示す位置に表示し、形状を変化または拡大する視覚的効果を付与することを特徴とする請求項１から１５までのいずれか１項に記載の操作装置。
【請求項１７】
請求項１から１６までのいずれか１項に記載の操作装置から出力される入力信号にしたがって動作することを特徴とする表示装置。
【請求項１８】
請求項１から１６までのいずれか１項に記載の操作装置と、
上記操作装置から出力される入力信号にしたがって動作する表示装置とを含むことを特徴とする遠隔操作システム。
【請求項１９】
表示装置を遠隔操作する操作装置の制御方法であって、
上記表示装置を撮像した画像データを上記操作装置の表示部に表示する表示制御ステップと、
上記操作装置の表示部における、上記表示装置の表示部を表す第１領域の位置を、上記表示制御ステップにて表示された上記画像データから特定する位置特定ステップと、
上記第１領域に対して入力された操作信号を受け付ける入力受付ステップと、
上記位置特定ステップにて特定された上記第１領域の位置に基づいて、上記操作装置の表示部における上記操作信号を受け付けた位置を示す操作位置座標を、上記表示装置の表示部における操作位置座標に変換する座標処理ステップと、
上記表示装置に対する入力信号として、上記座標処理ステップにて変換された操作位置座標を出力する信号出力ステップとを含むことを特徴とする制御方法。
【請求項２０】
コンピュータを、請求項１から１６までのいずれか１項に記載の操作装置の各手段として機能させるための制御プログラム。
【請求項２１】
請求項２０に記載の制御プログラムを記録したコンピュータ読み取り可能な記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、操作装置が表示装置を遠隔操作するための、操作装置、表示装置、遠隔操作システム、操作装置の制御方法、制御プログラム、および、記録媒体に関するものである。
【背景技術】
【０００２】
従来、手元の操作装置を操作して、離れたところにある表示装置を遠隔操作する技術が広く使われている。
【０００３】
特許文献１には、表示装置に対するポインティングデバイスとして機能する携帯端末装置（表示装置を操作する側の装置、以下、操作装置と称する）が開示されている。具体的には、操作装置は自装置で作成した地図画像を表示装置に転送して、地図画像を表示装置に表示させる。操作装置は、地図画像が表示された表示装置をカメラで撮影し、撮影した画像と、自装置で作成した地図画像とを比較する。操作装置は、カメラで撮影した画像が、表示装置に表示された地図画像のどの部分に対応するのかを判定する。こうして、操作装置は、上記判定結果を表示装置上での入力位置や座標の指定として扱うことができる。これにより、操作装置（携帯電話）を表示装置に対するポインティングデバイスとして使用することを可能にしている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００８−１９１８６８号公報（２００８年８月２１日公開）
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、上述の従来の構成では、操作装置が表示装置のポインティングデバイスとして機能するためには、操作装置が内部で保持する映像（地図画像）を表示装置に複製しなければならない。あるいは、表示装置に表示されている映像（ユーザインターフェース）を操作装置に複製する必要がある。このように映像を共有するためのデータの送受信は、装置間の通信負荷を増大させるという問題がある。共有すべき映像が動画などの容量の大きいデータであればその分通信負荷が一層増大し、さらに応答性が悪化するため上記問題は特に深刻である。
【０００６】
また、上述の従来の構成では、表示装置に表示されている映像の所定位置を指定するために、操作装置自体を動かさなければならず、操作はユーザにとって煩わしいものになる。この問題は、操作装置が携帯可能な小型の装置でなければ、特に深刻な問題である。
【０００７】
本発明は、上記の問題点に鑑みてなされたものであり、その目的は、表示装置を遠隔操作する操作装置において、装置間の通信負荷を軽減し、応答性に優れた操作装置を実現する操作装置、表示装置、遠隔操作システム、操作装置の制御方法、制御プログラム、および、記録媒体を実現することにある。
【課題を解決するための手段】
【０００８】
本発明の操作装置は、上記課題を解決するために、表示装置を遠隔操作する操作装置であって、上記表示装置を撮像した画像データを上記操作装置の表示部に表示する表示制御手段と、上記操作装置の表示部における、上記表示装置の表示部を表す第１領域の位置を、表示された上記画像データから特定する位置特定手段と、上記第１領域に対して入力された操作信号を受け付ける入力受付手段と、上記位置特定手段によって特定された上記第１領域の位置に基づいて、上記操作装置の表示部における上記操作信号を受け付けた位置を示す操作位置座標を、上記表示装置の表示部における操作位置座標に変換する座標処理手段と、上記表示装置に対する入力信号として、上記座標処理手段によって変換された操作位置座標を出力する信号出力手段とを備えていることを特徴としている。
【０００９】
上記構成によれば、操作装置の表示制御手段は、通信相手である表示装置を撮像した画像データを操作装置の表示部に表示する。上記画像データには、表示装置の表示部が写っているはずである。画像データ中の表示装置の表示部を写している領域を第１領域と称する。位置特定手段は、表示された画像データに基づいて、操作装置の表示部における（タブレット座標系における）、第１領域の位置を特定する。これにより、入力受付手段が表示部に表示されている内容に関し、ユーザ操作を受け付けた場合には、操作された位置が、第１領域内であるのか、第１領域外であるのかを、操作装置が判断することができる。
【００１０】
入力受付手段が、上記第１領域に対するユーザ操作によって入力された操作信号を受け付けるとする。この場合、座標処理手段は、画像データから特定された第１領域のうち、どの位置が、ユーザ操作によって指定されたのかを特定する。
【００１１】
そして、座標処理手段は、操作装置の表示部において特定した操作位置座標を、表示装置の表示部における操作位置座標に変換する。座標処理手段は、ユーザ操作によって指定された位置と、画像データから特定された第１領域（表示装置の表示部の領域）との位置関係を把握しているので、上記の変換を実行することができる。
【００１２】
最後に、信号出力手段は、座標処理手段によって変換された、表示装置の表示部における操作位置座標を、表示装置の入力信号として、表示装置に対して出力する。
【００１３】
表示装置の表示部における操作位置座標を参照すれば、表示装置は、表示装置の表示部のどの位置が操作されたのかを理解することができる。つまり、操作装置から上記入力信号を受け取った表示装置は、上記表示装置の表示部における操作位置座標が示す位置が、ユーザによって操作されたということを理解する。そして、理解した入力信号の内容に応じて動作することが可能となる。
【００１４】
このように、操作装置は、操作位置座標を表示装置に対して送信するだけで、表示装置に対して、当該表示装置の表示部における所定の位置が操作されたことを伝達し、それに応答する何らかの動作を表示装置に実行させることができる。つまり、操作装置から入力信号を出力することにより表示装置を遠隔操作することが可能になる。操作装置は、表示装置を遠隔操作するに際し、表示装置に何が表示されているのかを理解する必要がない。反対に、表示装置も、操作を受け付けたときの操作装置に何が表示されていたのかを理解する必要がない。つまり、遠隔操作を実現するために、表示装置と操作装置との間で、表示内容に関して容量の大きいデータを共有する必要がない。
【００１５】
結果として、装置間の通信負荷を軽減し、応答性に優れた操作装置、および、遠隔操作システムを実現することができる。
【００１６】
本発明の操作装置において、上記操作装置の上記表示部は、上記操作信号を入力するための入力部と一体に形成され、タッチパネルを構成し、上記入力受付手段は、上記タッチパネルに対する接触操作によって入力された操作信号を受け付け、上記座標処理手段は、上記接触操作の上記タッチパネルにおける操作位置座標を、上記表示装置の表示部における操作位置座標に変換することが好ましい。
【００１７】
上記構成によれば、ユーザが、表示部に表示されている画像データ上の、表示装置の表示部をタッチ操作すると、座標処理手段が、そのタッチ位置に対応する、表示装置の表示部における操作位置の操作位置座標を求める。そして、操作位置座標が、入力信号として表示装置に出力される。
【００１８】
つまり、ユーザは、表示装置の表示部の画面上を直接タッチするかのような感覚で、表示装置を遠隔操作することができる。このように、タッチパネル対応の操作装置を用いることによって、表示装置がタッチパネル非対応の機器であっても、表示装置に対して、より自然な疑似タッチ操作を行うことが可能となる。
【００１９】
上記操作装置の上記信号出力手段は、上記座標処理手段によって変換された操作位置座標に重なる、上記表示装置の表示部に表示されたオブジェクトを選択することを上記表示装置に対して指示する入力信号を出力してもよい。
【００２０】
上記構成によれば、表示装置に対して、操作位置座標を入力信号として送信すると、表示装置が表示中の、ユーザが操作した位置に対応するオブジェクトを、表示装置に選択させることができる。
【００２１】
さらに、上記操作装置の上記信号出力手段は、上記表示装置の表示部に表示されている選択されたオブジェクトを、上記座標処理手段によって変換された操作位置座標が示す位置に移動させることを上記表示装置に対して指示する入力信号を出力してもよい。
【００２２】
上記構成によれば、表示装置が選択中のオブジェクトをユーザが操作した位置に移動させるという処理を、表示装置に行わせることができる。
【００２３】
さらに、上記操作装置の上記入力受付手段は、上記第１領域に加えて、さらに、上記操作装置の表示部における、上記第１領域以外の第２領域に対して入力された操作信号を受け付け、上記信号出力手段は、上記座標処理手段によって変換された操作位置座標に重なる、上記表示装置の表示部に表示されたオブジェクトを、上記操作装置に送信することを上記表示装置に対して指示する入力信号、および、上記操作装置の表示部の上記第２領域において、上記操作信号によって選択されたオブジェクトを、上記座標処理手段によって変換された操作位置座標が示す位置に移動させることを上記表示装置に対して指示する入力信号、の少なくともいずれか一方を出力してもよい。
【００２４】
ユーザは、表示装置の表示部を写している第１領域と、それ以外の第２領域との両方に対して操作する。上記第２領域は、画像データのうち、表示装置の表示部の外の周辺環境を写している領域であったり、操作装置の表示部に何らかの情報が表示されている領域あったりする。ユーザにとって、直感的に、第１領域は、上記表示装置を操作するための領域と理解され、第２領域は、表示装置の外、すなわち、当該操作装置を操作するための領域と理解されるのが自然である。したがって、上記の両方の領域に対する操作によって、操作装置と表示装置との間の情報の送受信が起きるということは、ユーザにとって自然に理解しやすい。
【００２５】
上記構成によれば、上記の両方の領域に対するユーザ操作を入力受付手段が受け付けると、第１に、信号出力手段は、ユーザ操作によって指定された位置に対応する、表示装置の表示部上のオブジェクトを操作装置に送信するように、表示装置に対して要求する。これにより、操作装置が表示装置から上記オブジェクトを受信することができる。つまり、上記の両方の領域に対するユーザ操作によって、表示装置から操作装置へオブジェクトの送受信が実行される。また、第２に、信号出力手段は、操作装置の表示部で表示しているオブジェクトのうち、ユーザ操作によって選択されたオブジェクトを、ユーザ操作によって指定された位置に対応する、表示装置の表示部の位置に表示するように、表示装置に対して指示する。これにより、表示装置は、操作装置に表示されていたオブジェクトを、表示装置の表示部に表示することができる。つまり、上記の両方の領域に対するユーザ操作によって、操作装置から表示装置へオブジェクトの送受信が実行される。信号出力手段は、上述の第１の要求、および、上述の第２の指示の両方を行うことができてもよいし、いずれか一方のみ行うことができる構成であってもよい。
【００２６】
以上のとおり、操作装置は、ユーザが直感的に理解しやすい操作を受け付けて、表示装置を遠隔操作し、その操作に合ったオブジェクトの送受信を実現することができる。ここで、遠隔操作を実現するためには、入力信号（操作位置座標）が必要なだけであり、表示装置と操作装置との間で、表示内容に関して容量の大きいデータを共有する必要がない。オブジェクトの送受信は、遠隔操作のタイミングとは関係なく適宜実施されればよいものである。
【００２７】
結果として、装置間の通信負荷を軽減し、応答性に優れた操作装置、および、遠隔操作システムを実現することができる。
【００２８】
なお、上記入力受付手段は、上記の両方の領域に対するユーザ操作として、上記第１領域から上記第２領域へのドラッグ操作によって入力された操作信号を受け付けることができる。
【００２９】
この操作は、表示装置から操作装置へのオブジェクトの送受信を連想させる操作である。上記操作を受け付けることにより、操作装置は、表示装置を遠隔操作して、表示装置から操作装置へのオブジェクトの送受信を実現すればよい。
【００３０】
具体的には、例えば、上記操作装置は、当該操作装置の表示部に表示されるオブジェクトを処理するオブジェクト処理手段を備え、上記入力受付手段が、上記第１領域において操作信号を受け付けている間、上記座標処理手段は、上記操作装置の表示部における上記ドラッグ操作の操作位置座標を、上記表示装置の画面における操作位置座標に変換し、上記信号出力手段は、上記座標処理手段によって変換された操作位置座標に重なる、上記表示装置の表示部に表示されたオブジェクトを選択し、上記操作装置に送信することを上記表示装置に対して指示する第１入力信号を出力し、上記表示装置の表示部に表示されている選択されたオブジェクトを、上記座標処理手段によって変換された操作位置座標が示す位置に移動させることを上記表示装置に対して指示する第２入力信号を出力し、上記入力受付手段が、上記第２領域において操作信号を受け付けている間、上記オブジェクト処理手段は、上記第１入力信号に応答した上記表示装置から受信したオブジェクトを、上記操作装置の表示部における上記ドラッグ操作の操作位置座標が示す位置に表示し、移動させることが考えられる。
【００３１】
さらに、上記入力受付手段が、上記第２領域において操作信号を受け付けなくなったときに、上記信号出力手段は、上記第１入力信号にしたがって選択されたオブジェクトに関連付けられた実体データを、上記操作装置に送信することを上記表示装置に対して指示する第３入力信号を出力してもよい。
【００３２】
あるいは、上記入力受付手段は、上記の両方の領域に対するユーザ操作として、上記第２領域から上記第１領域へのドラッグ操作によって入力された操作信号を受け付けることができる。
【００３３】
この操作は、操作装置から表示装置へのオブジェクトの送受信を連想させる操作である。上記操作を受け付けることにより、操作装置は、表示装置を遠隔操作して、操作装置から表示装置へのオブジェクトの送受信を実現すればよい。
【００３４】
具体的には、例えば、上記操作装置は、当該操作装置の表示部に表示されるオブジェクトを処理するオブジェクト処理手段と、当該操作装置に記憶されているオブジェクトを、上記表示装置に送信する送信手段とを備え、上記入力受付手段が、上記第２領域において操作信号を受け付けている間、上記オブジェクト処理手段は、上記操作装置の表示部における上記ドラッグ操作の操作位置座標に重なるオブジェクトを選択して、該選択したオブジェクトを、上記操作装置の表示部における上記ドラッグ操作の操作位置座標が示す位置に移動させ、上記送信手段は、上記オブジェクト処理手段によって選択されたオブジェクトを、上記表示装置に送信し、上記入力受付手段が、上記第１領域において操作信号を受け付けている間、上記座標処理手段は、上記操作装置の表示部における上記ドラッグ操作の操作位置座標を、上記表示装置の表示部における操作位置座標に変換し、上記信号出力手段は、上記選択されたオブジェクトを、上記座標処理手段によって変換された操作位置座標が示す、上記表示装置の表示部の位置に表示することを上記表示装置に対して指示する第４入力信号を出力し、上記第４入力信号にしたがって表示されたオブジェクトを、上記座標処理手段によって変換された操作位置座標が示す位置に移動させることを上記表示装置に対して指示する第５入力信号を出力することが考えられる。
【００３５】
さらに、上記入力受付手段が、上記第１領域において操作信号を受け付けなくなったときに、上記送信手段は、上記オブジェクト処理手段によって選択されたオブジェクトに関連付けられた実体データを、上記表示装置に送信してもよい。
【００３６】
あるいは、上記入力受付手段は、上記第１領域上で開始される第１ドラッグ操作によって入力された操作信号を受け付けるとともに、上記第２領域上で開始される第２ドラッグ操作によって入力された操作信号を受け付けることができる。
【００３７】
両方の領域で同時に開始されるドラッグ操作は、操作装置と表示装置との間における、双方向のオブジェクトの送受信（オブジェクトの交換）を連想させる操作である。上記操作を受け付けることにより、操作装置は、表示装置を遠隔操作して、操作装置と表示装置との間のオブジェクトの交換を実現すればよい。
【００３８】
具体的には、例えば、上記操作装置は、当該操作装置の表示部に表示されるオブジェクトを処理するオブジェクト処理手段と、当該操作装置に記憶されているオブジェクトを、上記表示装置に送信する送信手段とを備え、上記位置特定手段は、上記第１ドラッグ操作に伴って上記第１領域から上記第２領域へと移動する第１オブジェクトの、上記操作装置の表示部における位置を特定するとともに、上記第２ドラッグ操作に伴って上記第２領域から上記第１領域へと移動する第２オブジェクトの、上記操作装置の表示部における位置を特定し、上記位置特定手段が、上記第１オブジェクトと上記第２オブジェクトとが重なったと判定するまでの間に、上記信号出力手段は、上記座標処理手段によって変換された上記第１ドラッグ操作の操作位置座標に重なる、上記表示装置の表示部に表示された第１オブジェクトを、上記操作装置に送信することを上記表示装置に対して指示する第６入力信号を出力し、上記表示装置の表示部に表示されている選択された第１オブジェクトを、上記座標処理手段によって変換された操作位置座標が示す位置に移動させることを上記表示装置に対して指示する第７入力信号を出力し、上記送信手段は、上記第２ドラッグ操作によって選択された第２オブジェクトを、上記表示装置に送信し、上記位置特定手段が、上記第１オブジェクトと上記第２オブジェクトとが重なったと判定した場合に、上記信号出力手段は、上記操作装置の表示部に表示されていた上記第２オブジェクトを、上記表示装置の表示部に表示することを上記表示装置に対して指示する第８入力信号を出力し、上記オブジェクト処理手段は、上記第６入力信号に応答した上記表示装置から受信した第１オブジェクトを、上記操作装置の表示部に表示することが考えられる。
【００３９】
さらに、上上記入力受付手段が、上記第１領域および上記第２領域において操作信号を受け付けなくなったときに、上記信号出力手段は、上記第１オブジェクトに関連付けられた実体データを、上記操作装置に送信することを上記表示装置に対して指示する第９入力信号を出力し、上記送信手段は、上記第２オブジェクトに関連付けられた実体データを、上記表示装置に送信してもよい。
【００４０】
さらに、上記操作装置は、当該操作装置の表示部に表示されるオブジェクトを処理するオブジェクト処理手段を備え、上記入力受付手段が、上記第２領域に対して入力された操作信号を受け付けた場合には、上記オブジェクト処理手段は、上記操作装置の表示部の上記第２領域において、上記操作信号によって選択されたオブジェクトを非表示にし、上記信号出力手段は、上記選択されたオブジェクトを上記表示装置の表示部に表示することを上記表示装置に対して指示する第１０入力信号を出力してもよい。
【００４１】
あるいは、上記操作装置は、当該操作装置の表示部に表示されるオブジェクトを処理するオブジェクト処理手段を備え、上記入力受付手段は、上記第１領域上のオブジェクトに対する操作によって入力された操作信号を受け付け、上記信号出力手段は、上記座標処理手段によって変換された操作位置座標に重なる、上記表示装置の表示部に表示されたオブジェクトを選択し、上記操作装置に送信することを上記表示装置に対して指示する第１入力信号を出力し、上記表示装置の表示部に表示されている選択されたオブジェクトに対して、形状を変化または縮小する視覚的効果を付与することを上記表示装置に対して指示する第１１入力信号を出力し、上記オブジェクト処理手段は、上記第１入力信号に応答した上記表示装置から受信したオブジェクトを、上記操作装置の表示部における上記操作の操作位置座標が示す位置に表示し、形状を変化または拡大する視覚的効果を付与してもよい。
【００４２】
操作装置の表示部上で、第１領域または第２領域が十分に確保されていないために、第１領域から第２領域へ、あるいは、第２領域から第１領域へと移動する操作が受け付けられないような状況が考えられる。
【００４３】
上記構成によれば、上記のような状況であっても、一方の領域についてユーザ操作を受け付けるだけで、操作装置は、表示装置を遠隔操作して、操作装置と表示装置の間のオブジェクトの送受信を実施することができる。
【００４４】
本発明の操作装置によって遠隔操作される表示装置は、本発明の操作装置から受信した入力信号にしたがって動作する。このような表示装置も本発明の範疇に入る。
【００４５】
上述した本発明の操作装置と上述した本発明の表示装置とによって構築される遠隔操作システムも本発明の範疇に入る。
【００４６】
本発明の操作装置の制御方法は、上記課題を解決するために、表示装置を遠隔操作する操作装置の制御方法であって、上記表示装置を撮像した画像データを上記操作装置の表示部に表示する表示制御ステップと、上記操作装置の表示部における、上記表示装置の表示部を表す第１領域の位置を、上記表示制御ステップにて表示された上記画像データから特定する位置特定ステップと、上記第１領域に対して入力された操作信号を受け付ける入力受付ステップと、上記位置特定ステップにて特定された上記第１領域の位置に基づいて、上記操作装置の表示部における上記操作信号を受け付けた位置を示す操作位置座標を、上記表示装置の表示部における操作位置座標に変換する座標処理ステップと、上記表示装置に対する入力信号として、上記座標処理ステップにて変換された操作位置座標を出力する信号出力ステップとを含むことを特徴としている。
【００４７】
なお、上記操作装置は、コンピュータによって実現してもよく、この場合には、コンピュータを上記各手段として動作させることにより上記操作装置をコンピュータにて実現させる操作装置の制御プログラム、およびそれを記録したコンピュータ読み取り可能な記録媒体も、本発明の範疇に入る。また、上記表示装置は、コンピュータによって実現してもよく、この場合には、コンピュータを表示装置の各手段として動作させることにより上記表示装置をコンピュータにて実現させる表示装置の制御プログラム、およびそれを記録したコンピュータ読み取り可能な記録媒体も、本発明の範疇に入る。
【発明の効果】
【００４８】
本発明の操作装置は、上記課題を解決するために、表示装置を遠隔操作する操作装置であって、上記表示装置を撮像した画像データを上記操作装置の表示部に表示する表示制御手段と、上記操作装置の表示部における、上記表示装置の表示部を表す第１領域の位置を、表示された上記画像データから特定する位置特定手段と、上記第１領域に対して入力された操作信号を受け付ける入力受付手段と、上記位置特定手段によって特定された上記第１領域の位置に基づいて、上記操作装置の表示部における上記操作信号を受け付けた位置を示す操作位置座標を、上記表示装置の表示部における操作位置座標に変換する座標処理手段と、上記表示装置に対する入力信号として、上記座標処理手段によって変換された操作位置座標を出力する信号出力手段とを備えていることを特徴としている。
【００４９】
本発明の操作装置の制御方法は、上記課題を解決するために、表示装置を遠隔操作する操作装置の制御方法であって、上記表示装置を撮像した画像データを上記操作装置の表示部に表示する表示制御ステップと、上記操作装置の表示部における、上記表示装置の表示部を表す第１領域の位置を、上記表示制御ステップにて表示された上記画像データから特定する位置特定ステップと、上記第１領域に対して入力された操作信号を受け付ける入力受付ステップと、上記位置特定ステップにて特定された上記第１領域の位置に基づいて、上記操作装置の表示部における上記操作信号を受け付けた位置を示す操作位置座標を、上記表示装置の表示部における操作位置座標に変換する座標処理ステップと、上記表示装置に対する入力信号として、上記座標処理ステップにて変換された操作位置座標を出力する信号出力ステップとを含むことを特徴としている。
【００５０】
結果として、装置間の通信負荷を軽減し、応答性に優れた操作装置、および、遠隔操作システムを実現できるという効果を奏する。
【図面の簡単な説明】
【００５１】
【図１】本発明の一実施形態におけるタブレットの要部構成を示すブロック図である。
【図２】本発明の一実施形態における遠隔操作システムの概要を示す図である。
【図３】本発明のタブレット背面の外観を示す図である。
【図４】タブレットの表示部に表示される表示画面の一例を示す図である。
【図５】タブレットの位置特定部が保持する座標系の情報の一例を示す図である。
【図６】タブレットの表示部に表示される表示画面の一例を示す図である。
【図７】タブレットの位置特定部が保持する座標系の情報の一例を示す図である。
【図８】タブレットの表示部に表示される表示画面の一例を示す図である。
【図９】本発明の一実施形態におけるタブレットの処理の流れを示すフローチャートである。
【図１０】本発明の一実施形態におけるタブレットの要部構成を示すブロック図である。
【図１１】本発明の一実施形態におけるテレビの要部構成を示すブロック図である。
【図１２】タブレットの表示部に表示される表示画面の一例を示す図である。
【図１３】タブレットの位置特定部が保持する座標系の情報の一例を示す図である。
【図１４】タブレットの表示部に表示される表示画面の一例を示す図である。
【図１５】タブレットの位置特定部が保持する座標系の情報の一例を示す図である。
【図１６】タブレットの表示部に表示される表示画面の一例を示す図である。
【図１７】タブレットの位置特定部が保持する座標系の情報の一例を示す図である。
【図１８】タブレットの表示部に表示される表示画面の一例を示す図である。
【図１９】本発明の一実施形態におけるタブレットおよびテレビの処理の流れを示すフローチャートである。
【図２０】タブレットの表示部に表示される表示画面の一例を示す図である。
【図２１】タブレットの位置特定部が保持する座標系の情報の一例を示す図である。
【図２２】タブレットの表示部に表示される表示画面の一例を示す図である。
【図２３】タブレットの位置特定部が保持する座標系の情報の一例を示す図である。
【図２４】タブレットの表示部に表示される表示画面の一例を示す図である。
【図２５】タブレットの位置特定部が保持する座標系の情報の一例を示す図である。
【図２６】タブレットの表示部に表示される表示画面の一例を示す図である。
【図２７】本発明の一実施形態におけるタブレットおよびテレビの処理の流れを示すフローチャートである。
【図２８】タブレットの表示部に表示される表示画面の一例を示す図である。
【図２９】タブレットの位置特定部が保持する座標系の情報の一例を示す図である。
【図３０】タブレットの表示部に表示される表示画面の一例を示す図である。
【図３１】タブレットの表示部に表示される表示画面の一例を示す図である。
【図３２】タブレットの位置特定部が保持する座標系の情報の一例を示す図である。
【図３３】タブレットの表示部に表示される表示画面の一例を示す図である。
【図３４】本発明の一実施形態におけるタブレットおよびテレビの処理の流れを示すフローチャートである。
【図３５】タブレットの表示部に表示される表示画面の一例を示す図である。
【図３６】タブレットの表示部に表示される表示画面の一例を示す図である。
【図３７】タブレットの表示部に表示される表示画面の一例を示す図である。
【図３８】タブレットの表示部に表示される表示画面の一例を示す図である。
【図３９】タブレットの表示部に表示される表示画面の一例を示す図である。
【図４０】タブレットの表示部に表示される表示画面の一例を示す図である。
【図４１】タブレットの表示部に表示される表示画面の一例を示す図である。
【図４２】タブレットの表示部に表示される表示画面の一例を示す図である。
【発明を実施するための形態】
【００５２】
≪実施形態１≫
本発明の一実施形態について、図１〜図９に基づいて説明すると以下の通りである。
【００５３】
以下で説明する実施形態では、一例として、本発明の操作装置がタブレットＰＣなどの多機能端末装置（タブレットと称する）であって、本発明の操作装置によって遠隔操作される表示装置がデジタルテレビである場合について説明する。しかし、本発明の操作装置は、タブレットに限定されず、スマートフォン、携帯電話機、ＰＤＡ（Personal Digital Assistant）、ゲーム機、電子辞書、ノートパソコンなど、比較的小型のあらゆる情報処理装置に適用可能である。また、本発明の操作装置は、デジタルテレビに限定されず、デスクトップパソコン、ノートパソコン、ゲーム機、デジタルフォトフレームなど、情報を表示する表示部と、操作装置と通信する通信部とを備えたあらゆる表示装置を遠隔操作することができる。本発明の操作装置において、入力機構がタッチパネル式であることは必須の構成ではない。
【００５４】
なお、以下の図面において同一または相当する部分には、同一の参照符号を付すものとし、それらの説明は重複して行なわない。また、図面における長さ、大きさおよび幅などの寸法関係ならびに形状は、図面の明瞭化と簡略化のために適宜に変更されており、実際の寸法および形状を表してはいない。
【００５５】
〔遠隔操作システムの概要〕
本発明の遠隔操作システムは、互いに通信可能な複数の装置によって構成されている。複数の装置とは、１つは、オブジェクトを表示する機能を備えた表示装置であり、もう１つは、当該表示装置を遠隔操作する操作装置である。遠隔操作システムにおいて、表示装置は、１または複数存在する。操作装置もオブジェクトを表示する機能を備えており、他に操作装置が存在する場合には、その操作装置に対して、表示装置として機能してもよい。
【００５６】
図２は、本実施形態における遠隔操作システムの概要を示す図である。図２に示すとおり、本発明の遠隔操作システムは、少なくとも１台の操作装置（ここでは、タブレット１００）と、１または複数の表示装置（ここでは、テレビ２００、ノートパソコン２００ａ、および、デジタルフォトフレーム２００ｂ）とを含む構成である。タブレット１００と、各表示装置とは、ＩｒＤＡ、ＩｒＳＳなどの赤外線通信、Ｂｌｕｅｔｏｏｔｈ（登録商標）通信、ＷｉＦｉ（登録商標）通信、非接触型ＩＣカードなどの適宜の無線通信手段を介して、互いに通信可能である。本実施形態では、図示しないアクセスポイントおよび家庭内ＬＡＮ（Local Area Network）を介して、各装置は、互いに無線通信を行うことができる。
【００５７】
以下では、本発明の表示装置としての構成および機能について、テレビ２００を例に挙げて説明するが、他の表示装置も同様の構成および機能を備えているものとする。テレビ２００は、表示装置として、オブジェクトを表示するための表示部４２を備えている。
【００５８】
タブレット１００は、いわゆる拡張現実感（ＡＲ；Augmented Reality）を実現する機能を備えている。具体的には、例えば図３に示すように、タブレット１００は、背面に設けられた撮像部１３によって撮像された周辺環境の画像データ（ライブビュー画像）をリアルタイムで表示部１２に表示する。そして、タブレット１００は、画像データから認識された通信相手の装置と、無線通信手段を介して識別した各装置との対応付けを行って、画像データ内の通信相手となる装置に関する装置関連情報（装置名など）を重畳表示する。図２に示す例では、タブレット１００は、表示部１２にライブビュー画像を表示するとともに、例えば、当該ライブビュー画像に写る各装置の装置関連情報を重畳させてもよい。なお、装置関連情報を重畳させる構成は、本発明のタブレット１００において必須の構成ではない。ライブビュー画像に写る各装置とは、図２に示す例では、テレビ２００、ＢＤ（Blu-ray Disc(登録商標)）レコーダおよびノートパソコン２００ａである。装置関連情報は、ここでは、装置名であるが、他にも、その装置が実行できる機能を一覧表示したメニューリストなどが装置関連情報として重畳されてもよい。上記のＡＲを実現するための技術は、公知の適宜の技術を採用することができる。
【００５９】
なお、ライブビュー画像に写っている表示装置が複数であったり、通信相手としてタブレット１００が認識している表示装置が複数存在したりする場合には、タブレット１００は、予め登録された表示装置の情報を参照して、ライブビュー画像に写っている表示装置と、通信相手としてタブレット１００が認識している表示装置とを紐付けることができる。例えば、タブレット１００は、表示装置のモデル画像と、表示装置のネットワーク上のホスト名（またはネットワークアドレス）とを対応付けたテーブルを保持し、ライブビュー画像に写っている表示装置をモデル画像と比較して類似するモデル画像を検索することにより通信相手を認識することができる。
【００６０】
図２は、撮像部１３がタブレット１００の奥に広がる現実空間を撮影して得た画像データを、表示部１２に表示している例を示している。したがって、表示部１２に表示されている画像データと、奥に広がる現実空間とは、ユーザから見て必ずしもシームレスにつながらない。一方、タブレット１００が透明の表示部１２を備えており、表示部１２の奥に広がる現実空間を透かして見ることも考えられる。この場合には、タブレット１００の前面に設けられた別の撮像部（フロントカメラ）によって、ユーザの目の位置を検出し、ユーザが透かして見ている映像を、撮像部１３（メインカメラ）の映像を併せて用いて推定し、現実空間にマッチしたオブジェクトの表示を実現してもよい。
【００６１】
なお、以降、説明に用いる各図において、黒塗りのオブジェクトは、テレビ２００の表示部４２に表示されているオブジェクトを表す。網点模様のオブジェクトは、タブレット１００の表示部１２に表示されているオブジェクトを表す。黒塗りのオブジェクトのうち、白の網目模様が施されたオブジェクトは、テレビ２００の表示部４２に表示されているオブジェクトであって、それが、タブレット１００の撮像部１３で撮影され、タブレット１００の表示部１２に表示されている状態のオブジェクトを表す。つまり、オブジェクトに施された模様および色は、オブジェクトの異同を示さない。オブジェクトの異同は符号によって示される。
【００６２】
図２に示す例では、オブジェクトは、例えば、アイコン画像である。しかし、タブレット１００およびテレビ２００が表示するオブジェクトは、アイコン画像に限定されない。写真、動画、図形、ＧＵＩ（graphical user interface）部品など、ユーザが入力部１１を用いて選択できるあらゆる表示対象物がオブジェクトに含まれる。
【００６３】
ユーザは、タブレット１００に表示されたオブジェクト（網点模様）を選択するときには、従来どおり、入力部１１上の目的のオブジェクトが表示されている領域をタッチすればよい（図２のタッチシーン３ａなど）。また、上記オブジェクトをタッチしたままドラッグすれば、表示部１２上の他の位置にオブジェクトを移動させることができる。本発明のタブレット１００は、入力部１１において、テレビ２００の表示部４２の画面が表示されている領域が、ユーザによってタッチされること（図２のタッチシーン３ｂなど）に応じて、テレビ２００に対して所定の遠隔操作を行う点に特徴がある。テレビ２００を遠隔操作するためのタブレット１００の構成については、後に詳述する。
【００６４】
〔タブレットの構成〕
図１は、本発明の一実施形態におけるタブレットの要部構成を示すブロック図である。タブレット１００は、本発明の操作装置として機能するために、少なくとも、制御部１０、入力部１１、表示部１２、撮像部１３、通信部１４および記憶部１５を備えている構成である。また、図示しないが、タブレット１００は、多機能端末装置として従来備わっている機能を実現するために、外部インターフェース、音声出力部、音声入力部、通話処理部、放送受像部（チューナ・復調部など）、ＧＰＳ、センサ（加速度センサ、傾きセンサなど）、および、電源を入れるスイッチ・キーなどの操作部、他、タブレットＰＣが標準的に備えている各種部品を備えていてもよい。その他にも、タブレット１００について、タブレットＰＣの一般的な機能であって、本発明に直接関係の無い部分については記載を省略した。
【００６５】
制御部１０は、タブレット１００が備える各部を統括制御するものである。制御部１０は、機能ブロックとして、少なくとも、位置特定部２０、座標処理部２１および信号出力部２２を備えている構成である。制御部１０は、さらに必要に応じて、入力受付部２３および表示制御部２４を備えている。
【００６６】
上述した制御部１０の各機能ブロックは、ＣＰＵ（central processing unit）等が、ＲＯＭ（read only memory）、ＮＶＲＡＭ（non-Volatile random access memory）等で実現された記憶装置（記憶部１５）に記憶されているプログラムをＲＡＭ（random access memory）等に読み出して実行することで実現できる。制御部１０の各機能ブロックについての詳細は後述する。
【００６７】
記憶部１５は、（１）タブレット１００の制御部１０が実行する制御プログラム、（２）制御部１０が実行するＯＳプログラム、（３）制御部１０が、タブレット１００が有する各種機能を実行するためのアプリケーションプログラム、および、（４）該アプリケーションプログラムを実行するときに読み出す各種データを非一時的に記憶するものである。あるいは、（５）制御部１０が各種機能を実行する過程で演算に使用するデータおよび演算結果等を一時的に記憶するものである。例えば、上記の（１）〜（４）のデータは、ＲＯＭ（read only memory）、フラッシュメモリ、ＥＰＲＯＭ（Erasable Programmable ROM）、ＥＥＰＲＯＭ（Electrically EPROM）、ＨＤＤ（Hard Disc Drive）などの不揮発性記憶装置に記憶される。例えば、上記の（５）のデータは、ＲＡＭ（Random Access Memory）などの揮発性記憶装置に記憶される。どのデータをどの記憶装置に記憶するのかについては、タブレット１００の使用目的、利便性、コスト、物理的な制約などから適宜決定される。例えば、撮像部１３によって撮像されたライブビュー画像は、揮発性記憶装置にて実現された記憶部１５に一時的に保存される。あるいは、表示部１２に表示されるオブジェクト（アイコン画像）、および、当該オブジェクトに対応付けられた実体データなどは、不揮発性記憶装置にて実現された記憶部１５に非一時的に保存される。実体データとは、例えば、オブジェクトが、動画コンテンツのアイコンであるならば、その動画データそのものを表す。
【００６８】
入力部１１は、ユーザがタブレット１００を操作するための指示信号を、タッチパネルを介して入力するためのものである。入力部１１は、タッチ面とタッチセンサとで構成されている。タッチ面は、指示体（表示部１２の画面位置を指示するもの、ここでは、例えば、指またはペンなど）の接触を受け付けるものである。タッチセンサは、指示体とタッチ面との間の接触／非接触（接近／非接近）、および、その接触（接近）位置を検知するためものである。タッチセンサは、指示体とタッチ面との接触／非接触を検知できればどのようなセンサで実現されていてもかまわない。例えば、圧力センサ、静電容量センサ、光センサなどで実現される。
【００６９】
表示部１２は、タブレット１００が情報処理するオブジェクト、撮像部１３が撮像した周辺環境の画像データ（ライブビュー画像）、および、ユーザがタブレット１００を操作するためのＧＵＩ（Graphical User Interface）画面などを表示するものである。表示部１２は、例えば、ＬＣＤ（液晶ディスプレイ）などの表示装置で実現される。
【００７０】
本実施形態では、入力部１１と表示部１２とは一体に成形されており、これらがタッチパネルを構成している。
【００７１】
例えば、本発明のタブレット１００のタッチパネルを投影型静電容量方式のタッチパネルで実現する場合、具体的には、上記タッチセンサは、ＩＴＯ（Indium Tin Oxide）などによるマトリクス状の透明電極パターンを、ガラス、プラスチックなどの透明基板上に形成したものとなる。タッチセンサに指示体（ユーザの指またはペン等）が接触または接近すると、その付近の複数の透明電極パターンにおける静電容量が変化する。従って、制御部１０は、上記透明電極パターンの電流または電圧の変化を検出することにより、上記指示体が接触または接近した位置を検出することができる。
【００７２】
以下では、「接触」または「タッチ」という用語は、指示体とタッチ面とが完全に接する（接している）状態のみならず、指示体とタッチ面とが、タッチセンサが検知可能な程度に接近する（接近している）状態も含んでいる。
【００７３】
撮像部１３は、動画または静止画を撮像するものであり、レンズ、ミラー機構、撮像素子、Ａ／Ｄコンバータ、画像表示回路などの各種機構および回路で構成されている。なお、ライブビュー画像は、上記レンズを介して上記撮像素子において受光された像として取得される。本実施形態では、図３に示すとおり、撮像部１３は、タブレット１００の背面（タッチパネルがある側と反対の面）に設けられる。
【００７４】
通信部１４は、通信網を介して外部の装置と通信を行うものである。通信部１４は、通信網を介して各装置（ここでは特に、テレビ２００）に接続し、データの送受信を実現する。なお、通信部１４は、さらに、近距離無線通信部を含んでいてもよい。この場合、近距離無線通信部としての通信部１４は、無線で近距離の外部の装置との通信を行う。通信部１４は、特に限定されないが、ＩｒＤＡ、ＩｒＳＳなどの赤外線通信、Ｂｌｕｅｔｏｏｔｈ（登録商標）通信、ＷｉＦｉ（登録商標）通信、非接触型ＩＣカードのいずれかの無線通信技術を実現するものであってもよいし、これらの技術を複数実現するものであってもよい。
【００７５】
〔タブレットの機能構成-詳細〕
制御部１０の入力受付部２３は、タッチパネルに対するユーザのタッチ操作によってタブレット１００に入力される操作信号を受け付けるものである。入力受付部２３は、入力部１１のタッチセンサから出力される操作信号を取得して、表示部１２に表示されている各種情報に対して、どの位置でどのようなタッチ操作（タップ、フリック、ピンチ、ドラッグなど）がなされたのかを認識する。入力受付部２３は、認識結果、すなわち、入力部１１（表示部１２）におけるタッチ位置の情報を座標処理部２１に供給する。
【００７６】
表示制御部２４は、制御部１０の各部が情報処理した結果得られた情報を、表示部１２の画面に配置して映像信号に変換し、表示部１２に供給するものである。例えば、表示制御部２４は、撮像部１３が取得したライブビュー画像を表示部１２の画面の所定位置に配置して、その映像信号を表示部１２に出力する。これにより、表示部１２にライブビュー画像が表示される。
【００７７】
図４は、タブレット１００の表示部１２に表示されるライブビュー画像の一例（１コマ）を表す図である。図４に示す例では、テレビ２００の表示部４２は、５つのオブジェクト２ａ〜２ｅを表示している。そして、その様子がタブレット１００の撮像部１３によって撮影され、ライブビュー画像に写っており、表示制御部２４は、該ライブビュー画像を全画面配置で表示部１２に表示している。
【００７８】
位置特定部２０は、様々な情報が表示される表示部１２において、表示された各種情報の位置を特定するものである。具体的には、本実施形態では、位置特定部２０は、撮像部１３によって撮影されたライブビュー画像が表示部１２に表示されたとき、当該ライブビュー画像に写っているテレビ２００の表示部４２の画面領域の位置を特定する。さらに、位置特定部２０は、ライブビュー画像の中の表示部４２の画面領域上に表示されている各オブジェクトの位置を特定してもよい。位置特定部２０は、ライブビュー画像中の表示部４２の画面の領域またはオブジェクトの領域を特定するために、画像認識処理を実施する。本実施形態では、位置特定部２０は、さらに、表示部１２に表示される各種情報の位置を特定することができる。
【００７９】
図５は、位置特定部２０が扱う座標系の情報の一例を示す図である。図５は、表示部１２が図４に示すライブビュー画像を表示している時点において、位置特定部２０が、表示部４２の画面領域および該画面領域に表示されているオブジェクトの位置を特定した例を示している。以下では、ライブビュー画像において、表示部４２の画面を表している領域をテレビ領域４２０と称する。
【００８０】
位置特定部２０は、まず、タブレット１００の表示部１２の画面領域であるタブレット領域１２０を定義する。本実施形態では、タブレット１００は、このタブレット領域１２０の左上端Ｐを原点（Ｘ、Ｙ＝０、０）とするタブレット座標系を予め記憶部１５に保持している。位置特定部２０は、上記タブレット座標系における座標値によってタブレット領域１２０を定義することができる。
【００８１】
次に、位置特定部２０は、テレビ２００の表示部４２の画面領域、すなわち、テレビ領域４２０の位置を特定する。位置特定部２０は、図４に示すライブビュー画像の１コマに対して、画像認識処理を実行し、テレビの画面に特徴的な領域（図５のテレビ領域４２０）を検出する。位置特定部２０は、例えば、テレビ２００のモデル画像とのマッチングや、特徴量（エッジ検出による長方形または台形の形状）の抽出などを行うことにより、テレビ領域４２０を検出することができる。
【００８２】
位置特定部２０は、検出したテレビ領域４２０の位置を、タブレット座標系における座標値によって特定することができる。
【００８３】
図５に示すとおり、位置特定部２０は、図４に示すライブビュー画像から、さらに、表示部４２に表示されているオブジェクト２ａ〜２ｅの位置を特定してもよい。なお、この構成は、本実施形態では必須の構成ではない。
【００８４】
位置特定部２０は、各種情報の位置をタブレット座標系において特定した後、この位置特定の結果を座標処理部２１に供給する。
【００８５】
座標処理部２１は、入力受付部２３を介してユーザから受け付けられたタッチ操作の、入力部１１（表示部１２）における操作位置の座標値を、遠隔操作対象である他の表示装置の画面における操作位置の座標値に変換するものである。
【００８６】
本実施形態では、具体的には、座標処理部２１は、入力部１１上で受け付けたタッチ操作の操作位置座標（以下では、特に、タッチ操作による操作位置座標を、タッチ位置座標と呼称する）を、テレビ２００が理解可能なように、テレビ２００の表示部４２の画面における操作位置座標に変換する。
【００８７】
例えば、図４に示すとおり、入力部１１の任意の位置に対して、ユーザによるタッチ操作が行われたとする。図４に示す例では、ライブビュー画像の、テレビ２００によって表示されているオブジェクト２ｃの中央あたりがタッチされたとする。
【００８８】
入力受付部２３は、受け付けたタッチ操作のタッチ位置座標を座標処理部２１に通知する。例えば、図５に示すとおり、入力受付部２３は、タブレット座標系における点Ｒの座標値（Ｘｔａｂ_ｒ、Ｙｔａｂ_ｒ）を座標処理部２１に供給する。
【００８９】
座標処理部２１は、位置特定部２０によって特定されたテレビ領域４２０に基づいて、操作位置（点Ｒ）のタッチ位置座標（Ｘｔａｂ_ｒ、Ｙｔａｂ_ｒ）を、テレビ座標系における操作位置座標（Ｘｔｖ_ｒ、Ｙｔｖ_ｒ）に変換する。テレビ座標系は、表示部４２の画面の左上端Ｑを原点とする、テレビ２００が理解可能な座標系である。
【００９０】
座標処理部２１は、タブレット座標系において、テレビ領域４２０、点Ｑ、および、点Ｒの位置を把握することができる。そのため、座標処理部２１は、点Ｒの点Ｑとの相対的な位置関係、および、点Ｒのテレビ領域４２０との位置関係を把握することができる。これにより、座標処理部２１は、点Ｑを原点とした場合の、テレビ領域４２０における点Ｒの操作位置座標（Ｘｔｖ_ｒ、Ｙｔｖ_ｒ）を求めることが可能となる。
【００９１】
なお、座標処理部２１は、テレビ座標系にて求める操作位置座標（Ｘｔｖ_ｒ、Ｙｔｖ_ｒ）について、テレビ２００が、操作位置座標（Ｘｔｖ_ｒ、Ｙｔｖ_ｒ）に基づいて、テレビ２００の表示部４２における操作位置を特定できる座標値であれば、どのような座標値を求めても構わない。
【００９２】
例えば、点Ｒのテレビ座標系におけるＸ座標（Ｘｔｖ_ｒ）は、点ＱのＸ座標と点ＲのＸ座標との差分の、テレビ領域４２０の長辺の長さに対する比率によって明らかになる。また、点Ｒのテレビ座標系におけるＹ座標（Ｙｔｖ_ｒ）は、点ＱのＹ座標と点ＲのＹ座標との差分の、テレビ領域４２０の短辺の長さに対する比率によって明らかになる。つまり、座標処理部２１は、テレビ２００の画素数などの具体的な単位を無視して比率に基づいて操作位置座標（Ｘｔｖ_ｒ、Ｙｔｖ_ｒ）を求めることができる。
【００９３】
座標処理部２１は、受け付けたタッチ操作のテレビ座標系における操作位置座標（Ｘｔｖ_ｒ、Ｙｔｖ_ｒ）を信号出力部２２に供給する。
【００９４】
信号出力部２２は、座標処理部２１によって変換されたテレビ座標系における操作位置座標を含む信号を、遠隔操作対象の表示装置に対する入力信号として生成するものである。信号出力部２２は、生成した入力信号を、通信部１４を介してテレビ２００に送信する。
【００９５】
信号出力部２２から送信された入力信号を受け付けたテレビ２００は、入力信号において指定された操作位置座標に基づいて、ユーザが操作を行った位置が、テレビ２００の表示部４２の画面のどの位置かを特定することできる。そして、テレビ２００は、特定した位置がユーザによって仮想的に操作されたものと理解することができ、実際にその位置が操作されたときと同様の動作を行うことができる。
【００９６】
例えば、図４および図５に示す例では、テレビ２００は、操作位置点Ｒを特定して、点Ｒに重なるオブジェクト２ｃに対して、ユーザ操作が行われたものとみなし、タブレット１００から受信した入力信号に応じてオブジェクト２ｃに対する処理を実行する。
【００９７】
このように、タブレット１００は、操作位置座標をテレビ２００に対して送信するだけで、テレビ２００に対して所定のオブジェクトの処理するように遠隔操作することができる。結果として、操作位置座標を送信するだけであるので、装置間の通信負荷を軽減し、応答性に優れたタブレット１００を実現することができる。
【００９８】
さらに、タブレット１００のように、操作装置の入力および表示機構がタッチパネルにて実現されている場合には、以下のようなメリットがある。
【００９９】
タブレット１００は、タブレット１００上でタッチ操作されたライブビュー画像上のテレビ２００の画面の位置に対応する、実際のテレビ２００の画面の位置に、上記タッチ操作に応じた処理結果を反映させることができる。したがって、テレビ２００が、タッチ操作非対応の機器であっても、そのような機器に対して、疑似的にタッチ操作を行える操作装置を実現することができる。テレビ２００などは、通常構造的に制約が多いリモコン装置などを使って操作することが多い。そのため、タブレット１００を用いて、テレビ２００に対して疑似的にタッチ操作を実現できるということは、テレビ２００に対する操作性および操作の自由度を格段に向上させることが可能となり、特に効果が大きい。
【０１００】
〔疑似タッチ操作を実現するための動作説明−具体例〕
図４〜図８を参照しながら、タブレット１００を用いて、テレビ２００に表示されているオブジェクトを選択し、移動させるための方法について説明する。
【０１０１】
ユーザは、図４に示すライブビュー画像を見ながら、テレビ２００に表示されているオブジェクトの中で、動かしたいオブジェクトをタッチする（タッチシーン３ｃ）。タブレット１００の入力受付部２３は、このタッチ操作を受け付ける。上述したとおり、入力受付部２３は、タブレット領域１２０におけるタッチ位置点Ｒ（図５）のタッチ位置座標を座標処理部２１に通知する。
【０１０２】
一方、位置特定部２０は、入力部１１がタッチされた時点のライブビュー画像の１コマに基づいて、図５に示すとおり、テレビ領域４２０の位置（タブレット座標系における座標値）を特定し、座標処理部２１に通知する。
【０１０３】
座標処理部２１は、特定されたテレビ領域４２０の位置に基づいて、タブレット座標系における点Ｒのタッチ位置座標（Ｘｔａｂ_ｒ、Ｙｔａｂ_ｒ）を、テレビ座標系における操作位置座標（Ｘｔｖ_ｒ、Ｙｔｖ_ｒ）に変換する。
【０１０４】
信号出力部２２は、操作位置座標（Ｘｔｖ_ｒ、Ｙｔｖ_ｒ）を含む入力信号を生成し、テレビ２００に送信する。これにより、テレビ２００は、表示部４２の画面のどの位置が操作されたのかを理解することができる。テレビ２００は、この入力信号にしたがって、オブジェクト２ｃを選択する。
【０１０５】
ここで、さらに、図６のタッチシーン３ｄなどのように、ユーザのタッチ操作（ドラッグ）が続いている間は、座標処理部２１は、図７に示すように、ドラッグ開始点Ｒからの、現在のタッチ位置である点Ｒ’の相対座標をテレビ座標系における座標値に変換し、これを信号出力部２２が逐次送信する。
【０１０６】
図７に、点Ｒから点Ｒ’まで移動するタッチ位置の軌跡を記す。上記構成によれば、テレビ２００は、逐次受け付けた入力信号に基づいて、テレビ２００に対する操作位置が、上記軌跡のとおり移動していると理解することができ、この軌跡にしたがって、オブジェクト２ｃを移動させる。
【０１０７】
あるいは、座標処理部２１は、ドラッグの軌跡を構成するタッチ位置を、逐次タブレット座標系からテレビ座標系に変換することを避けるために、タッチ位置について、テレビ領域４２０における移動方向および移動距離を求める構成であってもよい。テレビ２００は、最初に特定された点Ｒを始点として、指定された移動方向および移動距離にしたがって始点にて選択したオブジェクト２ｃを移動させることができる。
【０１０８】
ユーザは、オブジェクト２ｃを所望の位置に移動させることができたらタッチ操作を終了する。これに伴い、座標処理部２１は、タブレット１００におけるタッチ位置座標をテレビ座標系における操作位置座標に変換することを止める。これにより、信号出力部２２は、入力信号の送信を停止する。テレビ２００は、入力信号の停止にしたがって、オブジェクト２ｃの移動を止める。図８に示すとおり、テレビ２００は、ユーザによって選択されたオブジェクト２ｃを、ユーザが所望する移動先にて表示することができる。
【０１０９】
〔疑似タッチ操作を実現するための処理の流れ〕
図９は、本発明の一実施形態におけるタブレットの処理の流れを示すフローチャートである。
【０１１０】
位置特定部２０は、表示部１２に表示されたライブビュー画像からテレビ領域４２０を特定し、これを追尾する（Ｓ１０１）。すなわち、タブレット座標系におけるテレビ領域４２０の位置座標を逐次（あるいは、所定コマごとに、所定ミリ秒ごとに）、記憶部１５に一時的に記憶する。ここでは、テレビ領域４２０の位置座標は、タブレット座標系における座標値によって表される。
【０１１１】
入力受付部２３が、入力部１１に対するタッチ操作を受け付けると（Ｓ１０２においてＹＥＳ）、位置特定部２０は、Ｓ１０２においてタッチ操作を受け付けた時点（またはその時点に最も近い時点）で特定されたテレビ領域４２０の位置座標を記憶部１５から取得する（Ｓ１０３）。
【０１１２】
座標処理部２１は、Ｓ１０２にて受け付けられたタッチ操作のタッチ位置を示すタッチ位置座標を入力受付部２３から取得する（Ｓ１０４）。タッチ位置座標は、タブレット座標系における座標値によって表される。
【０１１３】
次に、座標処理部２１は、Ｓ１０１およびＳ１０３にて特定されたテレビ領域４２０の位置座標に基づいて、タブレット座標系におけるタッチ位置座標（Ｘｔａｂ_ｒ、Ｙｔａｂ_ｒ）を、テレビ座標系における操作位置座標（Ｘｔｖ_ｒ、Ｙｔｖ_ｒ）に変換する（Ｓ１０５）。テレビ座標系における操作位置座標は、タブレット１００がタッチ操作されることによって、テレビ２００が表示部４２の画面のどの位置が仮想的に操作されたのかを理解するための位置情報である。
【０１１４】
上記操作位置座標が示す位置は、ユーザがタブレット１００の入力部１１をタッチした位置であって、表示部１２に表示されたテレビ２００のテレビ領域４２０がタッチされた位置に対応している。
【０１１５】
信号出力部２２は、座標処理部２１によって変換されたテレビ座標系における操作位置座標（Ｘｔｖ_ｒ、Ｙｔｖ_ｒ）をテレビ２００に対する入力信号として生成し、これを、テレビ２００に送信する（Ｓ１０６）。これにより、例えば、図４に示すとおり、タブレット１００においてタッチシーン３ｃのタッチ操作が発生した場合には、テレビ２００において、テレビ２００の表示部４２に表示されているオブジェクト２ｃを選択するという動作が行われる。
【０１１６】
入力受付部２３が、引き続き、タッチ操作を受け付けている場合には（Ｓ１０７においてＹＥＳ）、座標処理部２１および信号出力部２２は、テレビ２００に対する入力信号出力の動作を継続する（Ｓ１０８）。具体的には、座標処理部２１は、タッチ操作が開始された時のタッチ位置（例えば、図７の点Ｒ）を始点として、Ｓ１０７にて現在ドラッグ操作が行われているタッチ位置（例えば、図７の点Ｒ’）を、上記始点からの相対座標で表現する。座標処理部２１は、上記相対座標を、テレビ領域４２０の位置および大きさの比率に基づいてテレビ座標系における相対座標に変換する。そして、信号出力部２２が、上記テレビ座標系における相対座標を、テレビ２００の入力信号として、テレビ２００に対し出力する。ドラッグ操作が継続されている間は（Ｓ１０７においてＹＥＳ）、座標処理部２１および信号出力部２２は、Ｓ１０８を逐次繰り返し実行する。なお、座標処理部２１は、初回タッチ操作に伴う座標変換を行い、次のドラッグ位置での座標変換を行った後、以降継続するドラッグ位置の座標変換を行う場合には、上記始点からの相対座標ではなく、直前のドラッグ位置（例えば、図７の点Ｒ”）からの相対座標によって、現在のドラッグ位置（例えば、図７の点Ｒ’）を表現してもよい。
【０１１７】
ユーザが、Ｓ１０７において継続していたドラッグ操作を終了させて入力部１１から指を離した場合、入力受付部２３は、タッチ操作の終了を検出する（Ｓ１０７においてＮＯ）。これにより、座標処理部２１は、Ｓ１０８における座標変換を停止し、信号出力部２２は、Ｓ１０８における信号出力を停止する（Ｓ１０９）。
【０１１８】
結果として、例えば、図８に示すとおり、テレビ２００は、選択したオブジェクト２ｃを、ユーザのドラッグ操作に伴ってユーザの所望の位置に移動させて表示させることができる。
【０１１９】
≪実施形態２≫
本発明の操作装置に関する他の実施形態について、図１０〜図１９に基づいて説明すれば、以下のとおりである。
【０１２０】
実施形態１では、オブジェクトに対する一連のタッチ操作が、テレビ領域４２０の領域内で完結するケースにおける、タブレット１００およびテレビ２００の動作について説明した。実施形態２では、タッチ操作がテレビ領域４２０内からテレビ領域４２０外へまたがるケースにおけるタブレット１００およびテレビ２００の動作について説明する。
【０１２１】
〔タブレットの構成〕
図１０は、本発明の一実施形態におけるタブレットの要部構成を示すブロック図である。図１０に示す本実施形態におけるタブレット１００が、図１に示すタブレット１００と異なる点は、制御部１０が、さらに、機能ブロックとして、オブジェクト送受信部２５およびオブジェクト処理部２６を備えている点である。
【０１２２】
オブジェクト送受信部２５は、オブジェクトまたはオブジェクトに対応する実体データを、遠隔操作対象の表示装置との間で送受信するものである。例えば、本実施形態では、アイコン画像または当該アイコン画像に関連付けられている実体データ（動画、静止画など）を、テレビ２００との間で送受信する。
【０１２３】
より詳細には、オブジェクト送受信部２５は、入力受付部２３がユーザのタッチ操作を検出した場合に、所定のタイミングで、当該タッチ操作によって操作されたオブジェクトをテレビ２００から受信する。本実施形態では、上記タッチ操作には、テレビ領域４２０内からテレビ領域４２０外へまたがるドラッグ操作が含まれる。
【０１２４】
また、オブジェクト送受信部２５は、入力受付部２３が、テレビ領域４２０外にて、ユーザのタッチ操作の完了を検出した場合に、所定のタイミングで、選択されたオブジェクトの実体データをテレビ２００から受信する。タッチ操作の完了は、例えば、ドラッグ操作の後のドロップ操作などである。
【０１２５】
オブジェクト処理部２６は、オブジェクトに対する処理を実行するものである。オブジェクト処理部２６が行う処理の具体例をいくつか列挙するがオブジェクト処理部２６の機能は下記に限定されない。
【０１２６】
オブジェクト処理部２６は、表示部１２におけるオブジェクトの表示／非表示を制御する。オブジェクト処理部２６は、表示部１２に表示されたオブジェクトの選択／選択解除を制御する。オブジェクト処理部２６は、入力部１１を介して入力されたオブジェクトに対する操作に応じて、表示されているオブジェクトの移動を制御する。オブジェクト処理部２６は、オブジェクトの表示／非表示、移動、選択／非選択などに伴い、当該オブジェクトに対して視覚的効果を付与して表示部１２に表示させる。
【０１２７】
より詳細には、オブジェクト処理部２６は、テレビ２００の表示部４２に表示されていたオブジェクトが、テレビ２００からタブレット１００へと送受信されたことを、表示部１２上で視覚的に演出する。そのために、オブジェクト処理部２６は、ユーザの上記タッチ操作に伴ってオブジェクト送受信部２５によってテレビ２００から取得されたオブジェクトを、表示部１２に表示する。具体的には、オブジェクト処理部２６は、表示部１２の画面上に、上記オブジェクトを、必要に応じて視覚的効果を付与して配置し、この処理結果を表示制御部２４に供給する。表示制御部２４は、オブジェクト処理部２６の処理結果に応じて映像信号を生成し、表示部１２に表示する。
【０１２８】
本実施形態では、ユーザのタブレット１００に対するタッチ操作に伴って、所定のタイミングでテレビ２００からオブジェクトまたは当該オブジェクトの実体データが供給されるように、テレビ２００に対してオブジェクトまたは実体データを要求しなければならない。本実施形態では、信号出力部２２は、オブジェクトまたは当該オブジェクトの実体データをテレビ２００に対して要求するための入力信号を生成し、通信部１４を介して、テレビ２００に送信する。
【０１２９】
〔テレビの構成〕
図１１は、本発明の一実施形態におけるテレビの要部構成を示すブロック図である。なお、図１１に示すテレビ２００について、デジタルテレビの一般的な機能であって、本発明に直接関係の無い部分については記載を省略した。
【０１３０】
テレビ２００は、本発明の表示装置として機能するために、少なくとも、制御部４０、記憶部４１、表示部４２および通信部４３を備えている構成である。
【０１３１】
制御部４０は、テレビ２００が備える各部を統括制御するものである。制御部４０は、本発明の表示装置として機能するための機能ブロックとして、オブジェクト送受信部５０、信号受付部５１、オブジェクト処理部５２、オブジェクト位置判定部５３および表示制御部５４を備えている。
【０１３２】
上述した制御部４０の各機能ブロックは、ＣＰＵ（central processing unit）等が、ＲＯＭ（read only memory）、ＮＶＲＡＭ（non-Volatile random access memory）等で実現された記憶装置（記憶部４１）に記憶されているプログラムをＲＡＭ（random access memory）等に読み出して実行することで実現できる。制御部４０の各機能ブロックについての詳細は後述する。
【０１３３】
記憶部４１は、テレビ２００の制御部４０によって読み出しまたは書き込みが行われるデータを記憶するものであり、既述のタブレット１００における記憶部１５とほぼ同様の構成である。
【０１３４】
表示部４２は、テレビ２００が処理する各種情報を表示したり、ユーザがテレビ２００を操作するための操作画面をＧＵＩ（Graphical User Interface）画面として表示したりするものである。表示部４２は、例えば、ＬＣＤ（液晶ディスプレイ）などの表示装置で実現される。本実施形態では、図２に示すとおり、表示部４２には、オブジェクト（アイコン画像）などが表示される。
【０１３５】
通信部４３は、通信網を介して外部の装置と通信を行うものである。タブレット１００の通信部１４と同様に、通信部４３は、さらに、近距離無線通信部を含んでいてもよい。本実施形態では、通信部４３は、通信網を介してタブレット１００と接続し、データの送受信を実現する。例えば、通信部４３は、タブレット１００から出力された入力信号を受信する。また、通信部４３は、タブレット１００との間で、オブジェクトまたはオブジェクトに関連付けられた実体データを送受信する。
【０１３６】
〔テレビの機能構成-詳細〕
制御部４０のオブジェクト送受信部５０は、オブジェクトまたはオブジェクトに対応する実体データを、遠隔操作主の操作装置との間で送受信するものである。例えば、本実施形態では、アイコン画像または当該アイコン画像に関連付けられている実体データ（動画、静止画など）を、タブレット１００との間で送受信する。オブジェクト送受信部５０は、タブレット１００からの要求に応じてオブジェクトまたは実体データを送信してもよいし、テレビ２００が所定の情報処理を行っている間の所定のタイミングでオブジェクトまたは実体データを送信してもよい。
【０１３７】
信号受付部５１は、通信部４３によって受信された、タブレット１００から送信された入力信号を受け付けるものである。入力信号には、少なくとも、テレビ座標系における操作位置座標が含まれている。信号受付部５１は、上記入力信号を通信部４３から取得して、テレビ２００の表示部４２におけるどの位置に対してどのようなユーザ操作が仮想的に行われたのかを認識する。実際のユーザ操作は、タップ、フリック、ピンチ、ドラッグなどであるが、これらは、テレビ２００の表示部４２に対して直接なされた操作ではなく、信号受付部５１は、上述の各種タッチ操作がテレビ２００に対して仮想的になされたものとして認識する。信号受付部５１は、認識結果、すなわち、ユーザの仮想的な操作位置の情報を制御部４０の各部に供給する。
【０１３８】
オブジェクト処理部５２は、オブジェクトに対する処理を実行するものである。オブジェクト処理部５２は、信号受付部５１によって受け付けられた入力信号の指示にしたがって、オブジェクトを処理することができる。オブジェクト処理部５２が行う処理は、タブレット１００のオブジェクト処理部２６と同様に、例えば、オブジェクトの表示／非表示、オブジェクトの選択／選択解除、オブジェクトの移動、オブジェクトに対する視覚的効果の付与などである。
【０１３９】
オブジェクト位置判定部５３は、オブジェクト処理部５２によって処理されているオブジェクトについて、テレビ座標系における位置を特定するものである。また、オブジェクト位置判定部５３は、表示部４２の画面すなわち、テレビ領域４２０をテレビ座標系に定義し、テレビ領域４２０内外に配置されるオブジェクトの位置を特定することができる。つまり、オブジェクト位置判定部５３は、処理されているオブジェクトが、表示部４２の画面上に表示されているか、画面からはみ出ているのかを判定することができる。
【０１４０】
表示制御部５４は、制御部４０の各部（例えば、オブジェクト処理部５２など）が情報処理した結果得られた情報を、表示部４２の画面に配置して映像信号に変換し、表示部４２に供給するものである。
【０１４１】
なお、実施形態１におけるテレビ２００の制御部４０は、機能ブロックとして、少なくとも、信号受付部５１、オブジェクト処理部５２、および、表示制御部５４を備えていればよい。
【０１４２】
〔疑似タッチ操作を実現するための動作説明−具体例〕
図４〜６、ならびに、図１２〜１８を参照しながら、タブレット１００を用いて、テレビ２００に表示されているオブジェクトを、タブレット１００に移動、表示させるための方法について説明する。
【０１４３】
タブレット１００は、テレビ領域４２０上でドラッグ操作を受け付けると、実施形態１と同様に、ドラッグ操作位置に合わせて入力信号をテレビ２００に対して出力する。図４および図６に示す例では、タブレット１００は、テレビ２００に対して入力信号を出力することによって、テレビ２００に、オブジェクト２ｃを選択させて、ドラッグ方向へ移動させる。
【０１４４】
ここで、実施形態１と異なる点は、以下の点である。タブレット１００の座標処理部２１は、位置特定部２０によって特定された、テレビ領域４２０内のオブジェクトの位置に基づいて、タッチ位置座標（例えば、図５の点Ｒ）が、テレビ領域４２０内のオブジェクトに重なることを検知する。そして、座標処理部２１は、何らかのオブジェクトに対して行われた当該タッチ操作のタッチ位置座標を、テレビ座標系における操作位置座標に変換する。
【０１４５】
これを受けて、信号出力部２２は、座標処理部２１によって変換された操作位置座標を入力信号として生成し、テレビ２００に対して出力する。本実施形態では、信号出力部２２は、上記入力信号を、上記操作位置座標によって指定される表示部４２の位置に配置されているオブジェクトを、タブレット１００に対して送信することを要求する信号として出力する。
【０１４６】
テレビ２００の信号受付部５１が、上記入力信号を受け付けると、まず、オブジェクト処理部５２が、図５に示すとおり、上記操作位置座標（Ｘｔｖ_ｒ、Ｙｔｖ_ｒ）によって指定される位置に配置されているオブジェクト２ｃを特定し、これを選択する。さらに、オブジェクト送受信部５０は、上記入力信号の要求にしたがって、オブジェクト（アイコン画像）をタブレット１００に送信する。図５に示す例では、オブジェクト処理部５２によって選択されたオブジェクト２ｃを、記憶部４１から読み出し、通信部４３を介してタブレット１００に送信する。
【０１４７】
上述のとおり、本実施形態では、タブレット１００の信号出力部２２は、ユーザによって選択されたテレビ２００側のオブジェクトを要求する入力信号を出力している。上記要求する入力信号は、上述の説明では、ドラッグ操作が開始された時点で出力されている。
【０１４８】
しかし、信号出力部２２が、上記要求する入力信号を出力するタイミングは上記に限定されない。例えば、信号出力部２２は、オブジェクト２ｃがテレビ領域４２０内にある間に移動を続け、オブジェクト２ｃの端が、テレビ領域４２０の端に内側で接触した時点で、上記要求する入力信号を出力してもよい。あるいは、信号出力部２２は、オブジェクト２ｃの約半分の面積がテレビ領域４２０外にはみ出した時点（図１２参照）で、上記要求する入力信号を出力してもよい。あるいは、信号出力部２２は、ユーザのドラッグ操作におけるタッチ位置（図１３の点Ｒ）が、テレビ領域４２０の境界にさしかかった時点（図１３参照）で上記要求する入力信号を出力してもよい。あるいは、信号出力部２２は、オブジェクト２ｃが、完全にテレビ領域４２０外に出た時点（図１６および図１７参照）で上記要求する入力信号を出力してもよい。なお、オブジェクト２ｃの約半分の面積がテレビ領域４２０外にはみ出した時点（図１２）と、ドラッグ操作のタッチ位置Ｒが、テレビ領域４２０の境界にさしかかった時点（図１３）とは必ずしも一致しない。
【０１４９】
ここで、ドラッグ操作が継続しており、オブジェクト２ｃがテレビ領域４２０外へ向かって移動を継続しているとする。
【０１５０】
本実施形態では、テレビ２００のオブジェクト処理部５２がタブレット１００からの入力信号にしたがって、オブジェクト２ｃを移動させている間、オブジェクト位置判定部５３は、テレビ座標系のテレビ領域４２０に対するオブジェクト２ｃの位置を監視している。そして、オブジェクト位置判定部５３は、オブジェクト２ｃがテレビ領域４２０の枠をはみ出ることによって、オブジェクト２ｃを適切に表示できない位置にオブジェクト２ｃが到達したと判定する。そして、オブジェクト位置判定部５３は、通信部４３を介して、タブレット１００に対して、オブジェクト２ｃを適切に表示できない旨を通知する。例えば、オブジェクト位置判定部５３が、オブジェクトを適切に表示できないと判定し、通知するタイミングは、オブジェクト２ｃの約半分の面積がテレビ領域４２０外にはみ出した時点（図１２および図１３参照）であるとする。
【０１５１】
しかし、オブジェクト位置判定部５３が、上記通知を行うタイミングは上記に限定されない。例えば、オブジェクト位置判定部５３は、オブジェクト２ｃの端が、テレビ領域４２０の端に内側で接触した時点で、上記判定および通知を行ってもよい。あるいは、オブジェクト位置判定部５３は、ユーザのドラッグ操作におけるタッチ位置（図１３の点Ｒ）が、テレビ領域４２０の境界にさしかかった時点（図１３参照）で、上記判定および通知を行ってもよい。あるいは、オブジェクト位置判定部５３は、オブジェクト２ｃが、完全にテレビ領域４２０外に出た時点（図１６および図１７参照）で、上記判定および通知を行ってもよい。ただし、信号出力部２２によって、上記要求する入力信号が、上記判定および通知に先立って出力されていることが望ましい。
【０１５２】
タブレット１００の信号出力部２２は、通信部１４が、上記通知をテレビ２００から受信すると、入力受付部２３が受け付けたタッチ操作の操作位置座標、すなわち、入力信号を出力することを停止する。これは、テレビ２００が、オブジェクトを適切に表示できないと通知してきているのに、そのオブジェクトに対するドラッグ操作の入力信号を送信することに意味がないと考えられるためである。しかし、オブジェクトを適切に表示できないと判定されたタイミングでも、オブジェクトの一部がまだテレビ２００の表示部４２に表示されている可能性もある。
【０１５３】
そこで、信号出力部２２は、図１２および図１３の時点で、上記通知をテレビ２００から受け取ったとしても、オブジェクトが一部でもテレビ領域４２０に表示されている間（例えば、図１５など参照）は、タッチ位置の相対座標（テレビ座標系の座標値）を逐次送信することを継続してもよい。そして、信号出力部２２は、オブジェクト２ｃが、完全にテレビ領域４２０外に出る時点（図１６および図１７参照）の直前まで、上記送信を継続すればよい。
【０１５４】
なお、オブジェクト処理部５２は、オブジェクト位置判定部５３と同様に、テレビ領域４２０の左上端を原点とするテレビ座標系において、テレビ領域４２０外のオブジェクト位置および操作位置を把握することができる。すなわち、テレビ領域４２０をはみ出した装置位置およびそれに伴うオブジェクトの配置を理解することができる。
【０１５５】
よって、オブジェクト処理部５２は、継続して出力される入力信号（相対座標）にしたがって、オブジェクトが表示部４２の画面から完全にはみ出るまでオブジェクトの移動および表示の処理を継続することができる。
【０１５６】
タブレット１００のオブジェクト処理部２６は、通信部１４が、上記通知をテレビ２００から受信すると、予めテレビ２００から取得しておいたオブジェクト２ｃ（アイコン画像）を表示部１２の画面に配置する処理を実行する。そして、図１４に示すとおり、表示制御部２４が、オブジェクト処理部２６によって処理されたオブジェクト２ｃをタブレット１００の表示部１２に表示する（図１４の網点模様のオブジェクト２ｃ）。こうして、ドラッグ操作が、テレビ領域４２０内からテレビ領域４２０外へとまたがるケースにおいて、テレビ２００において適切に表示できなくなったオブジェクト２ｃの表示をタブレット１００が引き継ぐことが可能となる。
【０１５７】
ここで、オブジェクト処理部２６が、オブジェクト２ｃの表示を開始するタイミングは、上記に限定されない。例えば、テレビ２００から通知を受けずとも、オブジェクト処理部２６は、オブジェクト２ｃが完全にテレビ領域４２０の外に出た時点（図１６および図１７参照）で、表示部１２での表示を開始してもよい。あるいは、オブジェクト処理部２６は、オブジェクト２ｃの端が、テレビ領域４２０の端に内側で接触した時点で、表示部１２での表示を開始してもよい。あるいは、オブジェクト処理部２６は、オブジェクト２ｃの約半分の面積がテレビ領域４２０外にはみ出した時点（図１２および図１３参照）で、表示部１２での表示を開始してもよい。当然のことながら、オブジェクト処理部２６によるオブジェクト２ｃの表示に先立って、信号出力部２２がオブジェクト２ｃをテレビ２００に対して要求し、オブジェクト送受信部２５がオブジェクト２ｃをテレビ２００から受信している。
【０１５８】
オブジェクト２ｃが表示部１２に表示された後は、オブジェクト処理部２６は、ユーザのドラッグ操作にしたがって、オブジェクト２ｃの移動を継続する（例えば、図１４（図１５）、図１６（図１７）、図１８参照）。
【０１５９】
入力受付部２３が、タッチ操作（ドラッグ操作）を検出しなくなったとき、入力受付部２３は、これをドラッグ操作の終了、すなわち、ドロップ操作として受け付ける。
【０１６０】
ここで、図１８に示すとおり、入力部１１におけるユーザのドラッグ操作が、テレビ領域４２０（表示部４２）の外で終了したとする。オブジェクト処理部２６は、入力受付部２３によって受け付けられたドロップ操作に応じて、オブジェクト２ｃの移動を止めて、ドラッグ操作が終了した位置にオブジェクト２ｃを表示する（図１８参照）。一方、信号出力部２２は、オブジェクト２ｃに関連付けられている実体データ（例えば、アイコン画像に対応する動画）を送信するようテレビ２００に要求する入力信号を生成し、出力する。
【０１６１】
テレビ２００の信号受付部５１が上記入力信号を受け付けると、オブジェクト送受信部５０は、オブジェクト２ｃに対応する実体データを記憶部４１から読み出して、タブレット１００に対して送信する。
【０１６２】
タブレット１００のオブジェクト送受信部２５が上記実体データを受信し、記憶部１５に格納すれば、ユーザのドロップ操作に伴う、オブジェクト２ｃの実体データの送受信が完了することになる。
【０１６３】
〔疑似タッチ操作を実現するための処理の流れ〕
図１９は、本発明の一実施形態におけるタブレットおよびテレビの処理の流れを示すフローチャートである。
【０１６４】
タブレット１００は、ユーザによるタッチ操作（ドラッグ操作）が、テレビ領域４２０内で開始されると、実施形態１と同様の座標変換処理を実行する（Ｓ２０１）。すなわち、Ｓ１０１〜Ｓ１０５を実行する。続いて、信号出力部２２は、ドラッグ開始位置座標を示す、テレビ座標系における操作位置座標を、オブジェクトを要求する入力信号（第１入力信号）として、テレビ２００に対して送信する（Ｓ２０２）。
【０１６５】
テレビ２００の信号受付部５１が、上記入力信号を受信すると、オブジェクト処理部５２は、該入力信号にしたがって、上記操作位置座標によって指定されたオブジェクト（例えば、オブジェクト２ｃ）を選択する。一方、オブジェクト送受信部５０は、上記入力信号にしたがって、選択されたオブジェクト２ｃをタブレット１００に対して送信する（Ｓ２０３）。
【０１６６】
タブレット１００のオブジェクト送受信部２５は、送信されたオブジェクト２ｃを受信し、記憶部１５に記憶する（Ｓ２０４）。
【０１６７】
一方、座標処理部２１および信号出力部２２は、ドラッグ操作がテレビ領域４２０内で行われている間、実施形態１と同様に、入力信号（第２入力信号）の出力を継続する（Ｓ２０５）。すなわち、Ｓ１０７〜Ｓ１０９を実行する。
【０１６８】
テレビ２００のオブジェクト処理部５２は、タブレット１００から継続して出力されている上記入力信号にしたがってオブジェクト２ｃを移動させる（Ｓ２０６）。オブジェクト位置判定部５３は、オブジェクト２ｃの配置を監視する。
【０１６９】
そして、オブジェクト２ｃがテレビ領域４２０内で表示されている間であって（Ｓ２０７においてＮＯ）、タブレット１００からの入力信号の出力が継続されている間は（Ｓ２０８においてＮＯ）、オブジェクトの移動が継続する（Ｓ２０６）。一方、オブジェクト２ｃがテレビ領域４２０内で表示されている間に（Ｓ２０７においてＮＯ）、タブレット１００からの入力信号の出力が停止した場合は（Ｓ２０８においてＹＥＳ）、オブジェクト処理部５２は、実施形態１と同様に、ドラッグ操作が完了した位置にてオブジェクト２ｃの移動を完了する（Ｓ２０９）。
【０１７０】
一方、Ｓ２０７において、オブジェクト位置判定部５３は、オブジェクト２ｃの移動に伴いオブジェクト２ｃがテレビ領域４２０外へはみ出るなどして表示部４２に表示できなくなったと判断したとする。この場合には（Ｓ２０７においてＹＥＳ）、オブジェクト位置判定部５３は、オブジェクト２ｃの表示を適切に行えなくなった旨を、タブレット１００に対して通知する（Ｓ２１０）。オブジェクト処理部５２は、この時点でオブジェクト２ｃを非表示にする（Ｓ２１１）、あるいは、オブジェクト２ｃが完全にテレビ領域４２０外に出るまで移動させる。
【０１７１】
信号出力部２２は、表示不可の通知をテレビ２００から受信するまでは（Ｓ２１２においてＮＯ）、Ｓ２０５の信号出力処理を継続する。一方、表示不可の通知をテレビ２００から受信した場合には（Ｓ２１２においてＹＥＳ）、信号出力部２２は、信号出力を停止してもよい。あるいは、オブジェクト２ｃが完全にテレビ領域４２０外に出るまで信号出力を継続してもよい。
【０１７２】
表示不可の通知をテレビ２００から受信した場合、オブジェクト処理部２６は、Ｓ２０４にて受信しておいた、オブジェクト２ｃを表示部１２に表示する（Ｓ２１３）。オブジェクト処理部２６は、現時点のタッチ位置（例えば、図１５の点Ｒ）に基づいて、オブジェクト２ｃを配置する（図１４参照）。
【０１７３】
このようにして、テレビ領域４２０の境界をまたぐドラッグ操作に伴って、オブジェクト２ｃの表示は、テレビ２００からタブレット１００へと引き継がれる。
【０１７４】
表示部１２側で表示されるようになったオブジェクト２ｃに対して、継続してドラッグ操作が行われる場合には（Ｓ２１４においてＹＥＳ）、オブジェクト処理部２６は、ドラッグ位置に応じて、オブジェクト２ｃを移動させる（Ｓ２１５）。
【０１７５】
一方、テレビ領域４２０外にてドラッグ操作が完了したこと（ドロップ操作が行われたこと）を入力受付部２３が検知した場合には（Ｓ２１４においてＮＯ）、信号出力部２２は、実体データを要求する入力信号（第３入力信号）を生成する（Ｓ２１６）。詳細には、信号出力部２２は、選択されているオブジェクト２ｃに関連付けられている実体データ（動画など）を要求する入力信号をテレビ２００に対して送信する。
【０１７６】
テレビ２００の信号受付部５１が、上記入力信号を受け付けると、オブジェクト送受信部５０は、オブジェクト２ｃの実体データを通信部４３を介してタブレット１００に送信する（Ｓ２１７）。
【０１７７】
タブレット１００のオブジェクト送受信部２５は、通信部１４を介してオブジェクト２ｃの実体データを受信し、記憶部１５に格納する（Ｓ２１８）。
【０１７８】
上記構成および方法によれば、テレビ領域４２０の境界をまたぐドラッグ操作に伴って、テレビ２００とタブレット１００との間でオブジェクトの送受信を実現することができる。さらに、オブジェクトの送受信を視覚的に表現するオブジェクトの表示を、タブレット１００がテレビ２００から引き継ぐことが可能となる。
【０１７９】
タブレット１００は、操作位置座標をテレビ２００に対して送信するだけで、テレビ２００に対して所定のオブジェクトの処理するように遠隔操作することができる。結果として、装置間の通信負荷を軽減し、応答性に優れたタブレット１００を実現することができる。
【０１８０】
さらに、タブレット１００のように、操作装置の入力および表示機構がタッチパネルにて実現されている場合には、以下のようなメリットがある。
【０１８１】
ユーザは、テレビ２００の画面に表示されているオブジェクトを手元のタブレット１００に取り込みたい場合に、テレビ２００の専用のリモコンなどを操作する必要がない。本発明における、手元のタブレット１００によれば、入力部１１をタッチ操作（ドラッグ操作）するだけで、テレビ２００に対し、上記タッチ操作にて選択したオブジェクトをタブレット１００に送信させることができるからである。具体的には、ユーザは、テレビ領域４２０内に表示されているオブジェクトを選択し、テレビ領域４２０外へとドラッグアンドドロップすればよい。
【０１８２】
このように、テレビ２００が、タッチ操作非対応の機器であっても、そのような機器に対して、疑似的にタッチ操作を行える操作装置を実現することができる。しかも、オブジェクトの移動に伴うオブジェクトの表示は、テレビ２００からタブレット１００へと引き継がれるので、ユーザは視覚的にも自然なユーザインターフェースによって直感的にテレビ２００を遠隔操作することが可能となる。
【０１８３】
≪実施形態３≫
本発明の操作装置に関する他の実施形態について、図１０、図１１、図２０〜図２７に基づいて説明すれば、以下のとおりである。
【０１８４】
実施形態２では、タッチ操作がテレビ領域４２０内からテレビ領域４２０外へまたがるケースにおけるタブレット１００およびテレビ２００の動作について説明した。実施形態３では、タッチ操作がテレビ領域４２０外からテレビ領域４２０内へまたがるケースにおけるタブレット１００およびテレビ２００の動作について説明する。
【０１８５】
〔タブレットの構成〕
本実施形態におけるタブレット１００の要部構成は、図１０に示すとおりである。本実施形態におけるタブレット１００が、実施形態２におけるタブレット１００と異なる点は、以下のとおりである。
【０１８６】
本実施形態では、オブジェクト送受信部２５は、入力受付部２３がユーザのタッチ操作を検出した場合に、所定のタイミングで、当該タッチ操作によって操作されたオブジェクトをテレビ２００へ送信する。本実施形態では、上記タッチ操作には、テレビ領域４２０外からテレビ領域４２０内へまたがるドラッグ操作が含まれる。以下では、タブレット領域１２０における、テレビ領域４２０以外のすべての領域を非テレビ領域と称する。
【０１８７】
また、本実施形態では、オブジェクト送受信部２５は、入力受付部２３が、テレビ領域４２０内にて、ユーザのタッチ操作の完了を検出した場合に、所定のタイミングで、選択されたオブジェクトの実体データをテレビ２００へ送信する。タッチ操作の完了は、例えば、ドラッグ操作の後のドロップ操作などである。
【０１８８】
本実施形態では、オブジェクト処理部２６は、タブレット１００の表示部１２に表示されていたオブジェクトが、タブレット１００からテレビ２００へと送受信されたことを、表示部１２上で視覚的に演出する。そのために、オブジェクト処理部２６は、これまで表示部１２に表示されていたオブジェクトを、ユーザの上記タッチ操作に伴ってオブジェクト送受信部２５によってテレビ２００へと供給された後、所定のタイミングで非表示にする。
【０１８９】
本実施形態では、ユーザのタブレット１００に対するタッチ操作に伴って、タブレット１００に表示されていたオブジェクトを、所定のタイミングでテレビ２００の表示部４２に表示させなければならない。本実施形態では、信号出力部２２は、オブジェクトをテレビ２００の表示部４２に表示させるための入力信号を生成し、通信部１４を介して、テレビ２００に送信する。
【０１９０】
〔テレビの構成〕
本実施形態におけるテレビ２００の要部構成は、図１１に示すとおりである。本実施形態におけるテレビ２００が、実施形態２におけるテレビ２００と異なる点は、以下のとおりである。
【０１９１】
本実施形態では、オブジェクト送受信部５０は、タブレット１００から所定のタイミングで送信されたオブジェクトまたはオブジェクトの実体データを受信する。
【０１９２】
本実施形態では、信号受付部５１がテレビ座標系における操作位置座標を入力信号としてタブレット１００から受け付けた場合には、オブジェクト処理部５２は、上記操作位置座標によって指定された、表示部４２の画面上の位置に、上記オブジェクト送受信部５０によって受信されたオブジェクトを表示する。それ以降、オブジェクト処理部５２は、入力信号が継続して受け付けられる場合には、相対座標に応じて当該オブジェクトを移動させながら表示を継続する。
【０１９３】
〔疑似タッチ操作を実現するための動作説明−具体例〕
図２０〜２６を参照しながら、タブレット１００を用いて、タブレット１００に表示されているオブジェクトを、テレビ２００に移動、表示させるための方法について説明する。
【０１９４】
タブレット１００のオブジェクト処理部２６は、図２０に示すとおり、テレビ２００が写っているライブビュー画像に重畳させて、記憶部１５に記憶されているオブジェクト（例えば、オブジェクト２ｅ〜２ｊ）を表示することができる。
【０１９５】
オブジェクト処理部２６は、図２０および図２１に示すとおり、オブジェクトを配置するためのオブジェクト配置領域４を設けて、オブジェクト配置領域４上にオブジェクトを表示してもよいし（例えば、オブジェクト２ｅ〜２ｇ）、ライブビュー画像のうちの、非テレビ領域上の任意の位置にオブジェクトを表示してもよい（例えば、オブジェクト２ｈ〜２ｊ）。
【０１９６】
図２１に示すとおり、本実施形態では、位置特定部２０は、オブジェクト配置領域４または、タブレット領域１２０（ライブビュー画像の領域）のうちの、テレビ領域４２０以外の領域を、非テレビ領域として認識する。具体的には、図２１において、位置特定部２０は、実線で示す領域をテレビ領域４２０として認識し、それ以外を非テレビ領域として認識する。つまり、図２０のライブビュー画像において、表示部４２の画面領域であっても、オブジェクト配置領域４が重なっている領域であれば、その領域について、位置特定部２０は、テレビ領域４２０ではなく、非テレビ領域であると認識する構成である。
【０１９７】
なお、オブジェクト処理部２６が、オブジェクト配置領域４を設けることのメリットには次のようなものがある。例えば、タブレット１００を支えているユーザの手がふらふら動くと、その動きに合わせて、表示部１２に表示されているライブビュー画像も小刻みに動くことになる。それによって、当然、テレビ領域４２０の位置も小刻みに変化することになり、非テレビ領域が安定しないために、タブレット１００側にオブジェクトを表示する領域を安定して確保できないという問題がある。また、テレビ２００が大きく撮像部１３に写り込んでおり、タブレット領域１２０の大部分をテレビ領域４２０が占める場合、タブレット１００側にオブジェクトを表示する領域を確保することが難しい。これらの場合でも、オブジェクト処理部２６がオブジェクト配置領域４を設けることにより、非テレビ領域、すなわち、タブレット１００側でオブジェクトを表示できる領域を安定して確保することができる。
【０１９８】
タブレット１００の入力受付部２３が、非テレビ領域内のオブジェクト上（例えば、図２０のオブジェクト２ｅの上）でドラッグ操作を受け付けると、まず、オブジェクト処理部２６は、ドラッグ操作開始位置にあるオブジェクト２ｅを選択し、次に、ドラッグ操作位置に合わせてオブジェクト２ｅを移動させる。
【０１９９】
位置特定部２０は、選択されたオブジェクト２ｅの位置と、非テレビ領域の位置とを監視する。本実施形態では、オブジェクト２ｅが一部でも非テレビ領域にかかっている間は（図２２参照）、オブジェクト処理部２６は、表示部１２の側で、オブジェクト２ｅの移動および表示を継続する。
【０２００】
ここで、実施形態１および２と異なる点は、以下の点である。本実施形態では、表示部１２上に表示されたオブジェクトが、ユーザのタッチ操作によって選択されると、オブジェクト送受信部２５が、その選択されたオブジェクト２ｅ（アイコン画像）をテレビ２００に送信する。本実施形態では、オブジェクト送受信部２５は、入力受付部２３がオブジェクトに対するドラッグ操作の開始を検知した時点で、その選択されたオブジェクトをテレビ２００に送信するものとする。
【０２０１】
しかし、オブジェクト送受信部２５が、選択されたオブジェクトを送信するタイミングは上記に限定されない。例えば、オブジェクト送受信部２５は、オブジェクト２ｅが非テレビ領域内にある間移動を続け、オブジェクト２ｅの端が、非テレビ領域の内側でテレビ領域４２０の端に接触した時点で、オブジェクト２ｅをテレビ２００に送信してもよい。あるいは、オブジェクト送受信部２５は、オブジェクト２ｅの約半分の面積がテレビ領域４２０にはみ出した時点（図２２参照）で、オブジェクト２ｅをテレビ２００に送信してもよい。あるいは、オブジェクト送受信部２５は、ユーザのドラッグ操作におけるタッチ位置（図２３の点Ｒ）が、テレビ領域４２０と非テレビ領域との境界にさしかかった時点（図２３参照）で、オブジェクト２ｅをテレビ２００に送信してもよい。あるいは、オブジェクト送受信部２５は、オブジェクト２ｅが、完全にテレビ領域４２０内に入った時点（図２４および図２５参照）で、オブジェクト２ｅをテレビ２００に送信してもよい。ただし、オブジェクト送受信部２５は、テレビ２００が、オブジェクト２ｅを表示する時点までにオブジェクト２ｅの送信を完了しておく。
【０２０２】
なお、オブジェクト２ｅの約半分の面積がテレビ領域４２０外にはみ出した時点（図２２）と、ドラッグ操作のタッチ位置Ｒが、テレビ領域４２０の境界にさしかかった時点（図２３）とは必ずしも一致しない。
【０２０３】
ここで、ドラッグ操作が継続しており、オブジェクト２ｅが、非テレビ領域（オブジェクト配置領域４）からテレビ領域４２０に向かって移動を継続しているとする。
【０２０４】
本実施形態では、上述したとおり、オブジェクト処理部２６がユーザからのドラッグ操作にしたがって、オブジェクト２ｅを移動させている間、位置特定部２０は、オブジェクト２ｅとテレビ領域４２０との位置関係を監視している。そして、位置特定部２０は、オブジェクト２ｅが完全に非テレビ領域を出た時点（図２４および図２５参照、すなわち、オブジェクト２ｅが完全にテレビ領域４２０内に入った時点）で、オブジェクト２ｅを表示部４２にて表示すべき位置にオブジェクト２ｅが到達したと判定する。
【０２０５】
ここで、タブレット１００の座標処理部２１は、図２５に示すとおり、位置特定部２０が表示不可と判定した時点のタッチ位置（点Ｒ）のタッチ位置座標（Ｘｔａｂ_ｒ、Ｙｔａｂ_ｒ）を取得する。そして、座標処理部２１は、タッチ位置座標（Ｘｔａｂ_ｒ、Ｙｔａｂ_ｒ）を、テレビ座標系における操作位置座標（Ｘｔｖ_ｒ、Ｙｔｖ_ｒ）に変換する。そして、信号出力部２２は、変換された操作位置座標（Ｘｔｖ_ｒ、Ｙｔｖ_ｒ）を入力信号としてテレビ２００に対して出力する。ここで、オブジェクト処理部２６は、タブレット１００の表示部１２で表示していたオブジェクト２ｅを非表示にしてもよい（図２４参照）。
【０２０６】
なお、信号出力部２２が、操作位置座標の入力信号を出力するタイミングは、上記に限定されない。例えば、信号出力部２２は、図２３に示すとおり、タッチ位置Ｒが、非テレビ領域とテレビ領域４２０との境界にさしかかった時点から入力信号の出力を開始してもよい。
【０２０７】
これに対し、テレビ２００の信号受付部５１は、図２５に示すタッチ位置Ｒの操作位置座標（Ｘｔｖ_ｒ、Ｙｔｖ_ｒ）を入力信号として受け付ける。この入力信号に応じて、オブジェクト処理部５２は、テレビ２００の表示部４２の画面における上記操作位置座標が指定する位置にオブジェクト２ｅを配置する（図２４参照）。このオブジェクト２ｅは、事前にタブレット１００のオブジェクト送受信部２５によって送信されたものであり、オブジェクト送受信部５０が受信して記憶部４１に記憶しておいたものである。
【０２０８】
これ以降は、テレビ領域４２０上で、実施形態１と同様に、タブレット１００およびテレビ２００の連携によって、ドラッグ操作に基づくオブジェクト２ｅの移動が実現される。
【０２０９】
入力受付部２３が、ドラッグ操作を検出しなくなったとき、入力受付部２３は、これをドラッグ操作の終了、すなわち、ドロップ操作として受け付ける。
【０２１０】
ここで、図２６に示すとおり、入力部１１におけるユーザのドラッグ操作が、テレビ領域４２０（表示部４２）上で終了したとする。タブレット１００の信号出力部２２は、入力受付部２３が検知したドロップ操作に応じて、オブジェクト２ｅを移動させるための相対座標の入力信号出力を停止する。これにより、テレビ２００の信号受付部５１が、入力信号の停止を検知する。これに応じて、オブジェクト処理部５２は、オブジェクト２ｅの移動を止めて、入力信号が停止した位置にオブジェクト２ｅを表示する（図２６参照）。
【０２１１】
一方、タブレット１００のオブジェクト送受信部２５は、入力受付部２３がドロップ操作を検知したとき、これまで選択されていたオブジェクト２ｅに関連付けられている実体データをテレビ２００に送信する。テレビ２００のオブジェクト送受信部５０が、上記実体データを受信し、記憶部４１に格納すれば、ユーザのドロップ操作に伴う、オブジェクト２ｅの実体データの送受信が完了することになる。
【０２１２】
〔疑似タッチ操作を実現するための処理の流れ〕
図２７は、本発明の一実施形態におけるタブレットおよびテレビの処理の流れを示すフローチャートである。
【０２１３】
ドラッグ操作が、非テレビ領域のオブジェクト上で開始されたとする。入力受付部２３は、ユーザによるドラッグ操作の開始を検知し、受け付ける（Ｓ３０１）。受け付けられたタッチ位置座標が非テレビ領域上のオブジェクトと重なっていれば、オブジェクト処理部２６は、そのタッチされたオブジェクト（例えば、オブジェクト２ｅ）を選択する。ここで、タブレット１００の位置特定部２０は、選択されたオブジェクト２ｅと、テレビ領域４２０または非テレビ領域との位置関係を監視する。具体的には、オブジェクト２ｅが、テレビ領域４２０上に配置されているのか、非テレビ領域上に配置されているのかなどを監視する。
【０２１４】
続いて、オブジェクト送受信部２５は、選択されたオブジェクト２ｅ（例えば、アイコン画像）をテレビ２００に送信する（Ｓ３０２）。テレビ２００のオブジェクト送受信部５０は、タブレット１００から受信したオブジェクト２ｅを記憶部４１に記憶する（Ｓ３０３）。
【０２１５】
ここで、ドラッグ操作が継続していれば（Ｓ３０４においてＹＥＳ）、オブジェクト処理部２６は、現在のドラッグ位置にしたがって、オブジェクト２ｅを移動させる（Ｓ３０５）。
【０２１６】
オブジェクト２ｅの一部でも非テレビ領域上に残っている場合には（Ｓ３０６においてＮＯ）、オブジェクト処理部２６は、ドラッグ操作が継続されている限り、オブジェクトの移動を継続する（Ｓ３０４においてＹＥＳ、Ｓ３０５）。一方、オブジェクト２ｅが完全に非テレビ領域外に出てしまわないうちにドラッグ操作が完了した場合には（Ｓ３０４においてＮＯ）、オブジェクト処理部２６は、オブジェクト２ｅに対する、オブジェクトの選択または移動の処理を完了する（Ｓ３１５）。
【０２１７】
これに対し、位置特定部２０が、オブジェクト２ｅが完全に非テレビ領域外へ出て、テレビ領域４２０内に到達したと判定した場合（Ｓ３０６においてＹＥＳ）、座標処理部２１は、実施形態１と同様の座標変換処理を実行する（Ｓ３０７）。信号出力部２２は、オブジェクト２ｅがテレビ領域４２０内に到達した時点のタッチ位置Ｒ（図２５参照）について、座標処理部２１によって変換されたテレビ座標系における操作位置座標をテレビ２００に対する入力信号（第４入力信号）として送信する。テレビ２００にとっては、図２５の上記タッチ位置Ｒがドラッグ開始位置となる。テレビ２００の信号受付部５１が上記操作位置座標を入力信号（第４入力信号）として受け付けると、オブジェクト処理部５２は、上記操作位置座標によって指定された表示部４２の画面の位置にオブジェクト２ｅを配置し、表示する（Ｓ３０８）。オブジェクト２ｅは、Ｓ３０３において予め取得されたものである。
【０２１８】
一方、タブレット１００のオブジェクト処理部２６は、完全にテレビ領域４２０内に到達したオブジェクト２ｅを非表示にする（Ｓ３０９）。このようして、ドラッグ操作に伴って、タブレット領域１２０からテレビ領域４２０へとオブジェクト２ｅが移動する際のオブジェクト２ｅの表示がタブレット１００からテレビ２００へと引き継がれる。
【０２１９】
座標処理部２１および信号出力部２２は、実施形態１と同様に、継続して、現在のドラッグ位置座標を、テレビ座標系における相対座標に変換し、入力信号（第５入力信号）をテレビ２００に供給する（Ｓ３１０）。テレビ２００のオブジェクト処理部５２は、実施形態１と同様に、入力信号（第５入力信号）として供給された相対座標にしたがって、オブジェクト２ｅを移動させる（Ｓ３１１）。Ｓ３１０およびＳ３１１は、ドラッグ操作が継続されている間は（Ｓ３１２においてＹＥＳ）、繰り返し実行される。
【０２２０】
一方、入力受付部２３が、ドラッグ操作の終了、すなわち、ドロップ操作を、テレビ領域４２０上で受け付けると（Ｓ３１２においてＮＯ）、ここで、信号出力部２２は、入力信号の出力を止める。これに応じて、テレビ２００のオブジェクト処理部５２はオブジェクト２ｅの移動を止める（図２６参照）。また、タブレット１００のオブジェクト送受信部２５は、選択されているオブジェクト２ｅの実体データをテレビ２００に送信する（Ｓ３１３）。テレビ２００のオブジェクト送受信部５０は、タブレット１００から受信した実体データを記憶部４１に記憶する（Ｓ３１４）。
【０２２１】
上記構成および方法によれば、非テレビ領域とテレビ領域４２０との境界をまたぐドラッグ操作に伴って、タブレット１００とテレビ２００との間でオブジェクトの送受信を実現することができる。さらに、オブジェクトの送受信を視覚的に表現するオブジェクトの表示を、テレビ２００がタブレット１００から引き継ぐことが可能となる。
【０２２２】
オブジェクトがテレビ領域４２０へと移行した後は、タブレット１００は、操作位置座標をテレビ２００に対して送信するだけで、テレビ２００に対して所定のオブジェクトの処理するように遠隔操作することができる。結果として、装置間の通信負荷を軽減し、応答性に優れたタブレット１００を実現することができる。
【０２２３】
さらに、タブレット１００のように、操作装置の入力および表示機構がタッチパネルにて実現されている場合には、以下のようなメリットがある。
【０２２４】
ユーザは、手元のタブレット１００の画面に表示されているオブジェクトをテレビ２００に取り込ませたい場合に、テレビ２００の専用のリモコンなどを操作する必要がない。本発明における、手元のタブレット１００によれば、入力部１１をタッチ操作（ドラッグ操作）するだけで、上記タッチ操作にて選択したオブジェクトをタブレット１００から送信し、テレビ２００に受け取らせることができるからである。具体的には、ユーザは、テレビ領域４２０外に表示されているオブジェクトを選択し、テレビ領域４２０内へとドラッグアンドドロップすればよい。その上、ドロップの操作の後は、引き続きのドラッグ操作によって、簡易な操作で直感的に、テレビ２００に受け取らせたオブジェクト（アイコン画像）の位置を、表示部４２の所望の位置に移動させることができる。また、送信対象の機器が複数あるとき（例えば、テレビ２００およびノートパソコン２００ａなど）には、送信先の機器の画面が写っている領域に向かってオブジェクトをドラッグするだけでよいので、直感的に送信先の機器を指定することができる。
【０２２５】
このように、テレビ２００が、タッチ操作非対応の機器であっても、そのような機器に対して、疑似的にタッチ操作を行える操作装置を実現することができる。しかも、オブジェクトの移動に伴うオブジェクトの表示は、タブレット１００からテレビ２００へと引き継がれるので、ユーザは視覚的にも自然なユーザインターフェースによって直感的にテレビ２００を遠隔操作することが可能となる。
【０２２６】
≪実施形態４≫
本発明の操作装置に関する他の実施形態について、図１０、図１１、図２８〜図３４に基づいて説明すれば、以下のとおりである。
【０２２７】
実施形態２、３では、タッチ操作がテレビ領域４２０と非テレビ領域とをまたいだことにより、オブジェクトが一方向に移動するケースにおける、タブレット１００およびテレビ２００の動作について説明した。実施形態４では、テレビ領域４２０と、非テレビ領域とのそれぞれに対して同時にタッチ操作が行われることにより、オブジェクトが双方向に移動するケースにおける、タブレット１００およびテレビ２００の動作について説明する。
【０２２８】
〔タブレットおよびテレビの構成〕
本実施形態におけるタブレット１００の要部構成は、図１０に示すとおりである。本実施形態におけるテレビ２００の要部構成は、図１１に示すとおりである。本実施形態におけるタブレット１００およびテレビ２００が、実施形態１〜３におけるタブレット１００およびテレビ２００と異なる点は、以下のとおりである。
【０２２９】
本実施形態では、入力受付部２３は、テレビ２００の表示部４２に表示されている、テレビ領域４２０内のオブジェクト上でタッチ操作を受け付けるとともに、表示部１２に表示されている非テレビ領域内のオブジェクト上でタッチ操作を受け付ける。
【０２３０】
このとき、タブレット１００のオブジェクト送受信部２５は、非テレビ領域内で選択されたオブジェクトをテレビ２００に送信するとともに、テレビ２００から、テレビ領域４２０内で選択されたオブジェクトを受信する。反対に、テレビ２００のオブジェクト送受信部５０は、テレビ領域４２０内で選択されたオブジェクトをタブレット１００に送信するとともに、タブレット１００から、非テレビ領域内で選択されたオブジェクトを受信する。すなわち、タブレット１００とテレビ２００は、オブジェクトを交換し合う。
【０２３１】
タブレット１００の位置特定部２０は、テレビ領域４２０と非テレビ領域とでそれぞれ同時に選択された２つのオブジェクトの重なりを監視する。本実施形態では、位置特定部２０が２つのオブジェクトが一定以上重なったと判定した時点を、オブジェクト交換のタイミングとする。
【０２３２】
本実施形態では、２つのオブジェクトが重なる前に、テレビ領域４２０内で選択されたオブジェクトがテレビ領域４２０で表示しきれなくなることが考えられる。このような場合には、先の実施形態２に示すとおりに、タブレット１００およびテレビ２００が連携して動作することで、オブジェクトの表示をつなげることが可能である。そして、位置特定部２０は、引き続き、２つのオブジェクトの重なり具合を監視することができる。
【０２３３】
〔疑似タッチ操作を実現するための動作説明−具体例〕
図２８〜３３を参照しながら、タブレット１００を用いて、タブレット１００に表示されているオブジェクトとテレビ２００に表示されているオブジェクトとを交換表示させるための方法について説明する。
【０２３４】
図２８に示すとおり、例えば、ユーザは、タッチシーン３ｅに示すように、人差し指でテレビ領域４２０内のオブジェクトをタッチする。それと同時に、ユーザは、タッチシーン３ｆに示すように、親指で非テレビ領域内のオブジェクトをタッチする。ここでは、タッチシーン３ｅでタッチされたオブジェクトは、オブジェクト２ｃであり、タッチされた時点では、実際には、テレビ２００の表示部４２に表示されているオブジェクトである。タッチシーン３ｆでタッチされたオブジェクトは、オブジェクト２ｈであり、タッチされた時点では、タブレット１００の表示部１２に表示されているオブジェクトである。
【０２３５】
入力受付部２３は、図２９に示すとおり、入力部１１における、タッチシーン３ｅによるタッチ位置Ｒ１の入力と、タッチシーン３ｆによるタッチ位置Ｒ２の入力とを同時に受け付ける。ここで、同時とは、タッチされる瞬間が完全に同時である場合だけでなく、タッチされる瞬間がずれる場合も含む。
【０２３６】
位置特定部２０によって、テレビ領域４２０、非テレビ領域、ならびに、各領域上の各オブジェクトの位置が把握されている。よって、制御部１０の各部は、入力受付部２３が検知した２つのタッチ位置Ｒ１、Ｒ２に基づいて、テレビ領域４２０のオブジェクトが選択されたと同時に、非テレビ領域のオブジェクト２ｈが選択されたことを理解することができる。なお、制御部１０の各部は、テレビ２００側で表示されているどのオブジェクトが選択されたのかまでは現時点で知っておく必要がない。テレビ２００側のオブジェクトが選択されたことが理解できればよい。
【０２３７】
このように、テレビ２００側のオブジェクト２ｃと、タブレット１００側のオブジェクト２ｈとが同時に選択されると、位置特定部２０は、選択されたオブジェクト２ｃとオブジェクト２ｈとの重なり具合を監視し始める。また、信号出力部２２およびオブジェクト送受信部２５は、テレビ２００と通信して、選択されたオブジェクトをテレビ２００と交換する。
【０２３８】
より詳細には、まず、座標処理部２１が、タッチ位置Ｒ１のタッチ位置座標（Ｘｔａｂ_ｒ１、Ｙｔａｂ_ｒ１）を、テレビ座標系における操作位置座標（Ｘｔｖ_ｒ１、Ｙｔｖ_ｒ１）に変換する。信号出力部２２は、変換された操作位置座標（Ｘｔｖ_ｒ１、Ｙｔｖ_ｒ１）を、入力信号としてテレビ２００に送信する。この入力信号は、実施形態２と同様に、選択されたオブジェクト２ｃ（アイコン画像）を要求する信号である。テレビ２００の信号受付部５１が上記入力信号を受け付けると、オブジェクト送受信部５０は、オブジェクト２ｃをタブレット１００に送信する。また、ここで、オブジェクト処理部５２は、オブジェクト２ｃを選択する。
【０２３９】
次に、タブレット１００のオブジェクト送受信部２５は、タッチ位置Ｒ２と重なるオブジェクト２ｈをテレビ２００に送信する。また、ここで、オブジェクト処理部２６は、オブジェクト２ｈを選択する。
【０２４０】
テレビ２００のオブジェクト送受信部５０は、タブレット１００からオブジェクト２ｈを受信すると、記憶部４１にオブジェクト２ｈを記憶しておく。タブレット１００のオブジェクト送受信部２５は、テレビ２００からオブジェクト２ｃを受信すると、記憶部１５にオブジェクト２ｃを記憶しておく。これにより、オブジェクトの交換は完了する。
【０２４１】
図３０に示すとおり、人差し指でドラッグ操作されるテレビ２００側のオブジェクト２ｃは、実施形態１と同様の手順で移動する。オブジェクト２ｃが、オブジェクト２ｈと十分重なったと判定されるよりも前に、オブジェクト２ｃの半分の面積がテレビ領域４２０をはみ出る場合には、それ以降の表示は、実施形態２と同様に、タブレット１００のオブジェクト処理部２６が引き継げばよい。この場合でも、位置特定部２０は、引き続き、オブジェクト２ｃの位置を監視することができる。
【０２４２】
これに対し、親指でドラッグ操作されるタブレット１００側のオブジェクト２ｈは、オブジェクト２ｃと十分重なると判定されるまでの間、通常のドラッグ操作にしたがって、表示部１２の画面上を移動し、表示され続ける（図３０参照）。このオブジェクト２ｈの移動および表示の処理は、オブジェクト処理部２６によって実行される。本実施形態では、実施形態３と異なり、オブジェクト２ｈが、オブジェクト２ｃと十分重なると判定されるまでに、テレビ領域４２０内に完全に入ったとしても、オブジェクト処理部２６は、表示部１２上でのオブジェクト２ｈの表示を継続する。すなわち、オブジェクトが重なる前の時点で、タブレット１００側のオブジェクトの表示は、テレビ２００へは引き継がれない。このようにすることで、タブレット１００側で、オブジェクトの重なりを簡易な処理で監視し続けることができる。ただし、このような構成に限定されず、実施形態３と同様に、オブジェクト２ｈが、オブジェクト２ｃと十分重なると判定されるまでに、テレビ領域４２０内に完全に入った場合には、オブジェクト２ｈの表示および移動をテレビ２００が引き継ぐ構成であってもよい。この場合でも、テレビ２００の表示部４２に表示されたオブジェクト同士の重なりをタブレット１００側で監視することが可能である。
【０２４３】
こうして、テレビ２００側のオブジェクト２ｃと、タブレット１００側のオブジェクト２ｈとは、ユーザのドラッグ操作（または、ピンチイン操作）によって、互いに近づき重なるように移動する。
【０２４４】
そして、図３１および図３２に示すとおり、両方のオブジェクトが重なる位置に到達したとする。位置特定部２０は、オブジェクト２ｃとオブジェクト２ｈとが一定面積（例えば、図３２の斜線領域）以上重なったことを以て、両方のオブジェクトが十分に重なったと判定する。位置特定部２０が参照する重なり具合の閾値は適宜設定されればよい。
【０２４５】
位置特定部２０が２つのオブジェクトの重なりを検知した場合、信号出力部２２は、それまでオブジェクト２ｃの操作位置座標を送信していた場合にはそれを停止し、テレビ２００に対して別の入力信号を送信する。別の入力信号とは、交換したオブジェクト（これまでタブレット１００側に表示されていたオブジェクト２ｈ）をテレビ２００の表示部４２に表示するようにテレビ２００対して指示する入力信号である。
【０２４６】
テレビ２００の信号受付部５１が上記別の入力信号を受信すると、オブジェクト処理部５２は、上記入力信号にしたがって、これまでオブジェクト２ｃを表示していた場合は、これを非表示にし、代わりに、事前に交換しておいたオブジェクト２ｈを表示部４２に表示する。本実施形態では、オブジェクト処理部５２は、例えば、ドラッグ操作（タッチシーン３ｅ）が開始された時点で、交換前のオブジェクト２ｃが表示されていた位置（図２８および図２９参照）に、オブジェクト２ｈを表示する（図３３参照）。しかし、オブジェクト処理部５２の構成はこれに限定されない。例えば、オブジェクト処理部５２は、オブジェクトの重なりが検知された時点（信号受付部５１が上記別の入力信号を受信した時点）における、元のオブジェクト２ｃの位置（図３１および図３２参照）にオブジェクト２ｈを表示してもよい。あるいは、オブジェクトの重なりが検知される直前までタブレット１００にて表示されていたオブジェクト２ｈの位置に対応する、テレビ２００の表示部４２の画面の位置に、オブジェクト２ｈを表示してもよい。ただし、この場合は、タブレット１００が、オブジェクト２ｈを選択していた親指のタッチ位置座標を、実施形態１と同様に変換して、テレビ２００に供給する必要がある。信号出力部２２は、親指のタッチ位置座標に対応するテレビ座標系における操作位置座標を、上記別の入力信号としてテレビ２００に送信すればよい。
【０２４７】
一方、位置特定部２０が２つのオブジェクトの重なりを検知した場合、タブレット１００のオブジェクト処理部２６は、以下の表示処理を実行する。オブジェクト処理部２６は、重なる前まで表示部１２に表示していたオブジェクト２ｈを非表示にする。そして、オブジェクト処理部２６は、代わりに、テレビ２００と交換したオブジェクト２ｃを表示部１２に表示する。本実施形態では、オブジェクト処理部２６は、例えば、ドラッグ操作（タッチシーン３ｆ）が開始された時点で、交換前のオブジェクト２ｈが表示されていた位置（図２８および図２９参照）に、オブジェクト２ｃを表示する（図３３参照）。しかし、オブジェクト処理部２６の構成はこれに限定されない。例えば、オブジェクト処理部２６は、オブジェクトの重なりが検知された時点における、オブジェクト２ｃおよびオブジェクト２ｈの位置（図３１および図３２参照）に、オブジェクト２ｃを表示してもよい。
【０２４８】
さらに、ここで、位置特定部２０がオブジェクトの重なりを検知した後、ドラッグ操作を行っていた人差し指および親指が入力部１１を離れたとする。タブレット１００の入力受付部２３は、タッチシーン３ｅおよび３ｆで開始された一連のドラッグ操作が終了したことを検知する。この場合、交換されたオブジェクトの実体データが、タブレット１００のオブジェクト送受信部２５と、テレビ２００のオブジェクト送受信部５０とによって交換されてもよい。詳細には、ドラッグ操作が終了すると、信号出力部２２は、オブジェクト２ｃの実体データを要求する入力信号をテレビ２００に対して送信する。テレビ２００のオブジェクト送受信部５０は、上記入力信号にしたがって、オブジェクト２ｃの実体データを送信する。また、オブジェクト送受信部２５は、オブジェクト２ｈの実体データをテレビ２００に送信する。オブジェクト送受信部５０は、オブジェクト２ｈの実体データをタブレット１００から受信する。これにより、オブジェクトの実体データの交換が完了する。
【０２４９】
〔疑似タッチ操作を実現するための処理の流れ〕
図３４は、本発明の一実施形態におけるタブレットおよびテレビの処理の流れを示すフローチャートである。
【０２５０】
ドラッグ操作が、非テレビ領域のオブジェクト上と、テレビ領域４２０のオブジェクト上との両方で同時に開始されたとする。入力受付部２３は、この２つのドラッグ操作の開始を検知し、受け付ける（Ｓ４０１）。
【０２５１】
タブレット１００は、非テレビ領域にて選択されたオブジェクト２ｈをテレビ２００に送信するとともに、テレビ領域４２０にて選択されたオブジェクトを要求する（Ｓ４０２）。詳細には、まず、オブジェクト処理部２６は、入力受付部２３によって受け付けられたタッチ位置座標が非テレビ領域上のオブジェクトと重なっていればそのオブジェクト２ｈを選択する。そして、オブジェクト送受信部２５が、オブジェクト２ｈをテレビ２００に送信する。一方、座標処理部２１は、実施形態１と同様に、テレビ領域４２０上で受け付けたタッチ位置座標を、テレビ座標系における操作位置座標に変換する。信号出力部２２は、上記操作位置座標を入力信号としてテレビ２００に送信する。この入力信号が、オブジェクト（第１オブジェクト）を要求するための入力信号（第６入力信号）となる。
【０２５２】
テレビ２００のオブジェクト送受信部５０は、タブレット１００からオブジェクト２ｈを受信すると、これを記憶部４１に記憶する（Ｓ４０３）。また、テレビ２００の信号受付部５１が上記入力信号を受信すると、オブジェクト処理部５２は、入力信号である上記操作位置座標によって指定された位置に配置されているオブジェクト２ｃを選択する。オブジェクト送受信部５０は、選択されたオブジェクト２ｃを、上記入力信号にしたがって、タブレット１００に送信する（Ｓ４０３）。タブレット１００のオブジェクト送受信部２５は、テレビ２００から受信したオブジェクト２ｃを記憶部１５に記憶する（Ｓ４０４）。これによりオブジェクトの交換が完了する。
【０２５３】
Ｓ４０２に続いて、位置特定部２０は、非テレビ領域上で選択されたオブジェクト２ｈの位置と、テレビ領域４２０上で選択されたオブジェクト２ｃの位置とを特定し、これらの位置の重なり具合を監視する（Ｓ４０５）。
【０２５４】
Ｓ４０１にて受け付けられたドラッグ操作がそれぞれ継続している場合には、それぞれのドラッグ操作にしたがってタブレット１００およびテレビ２００が連携して選択されたオブジェクトを移動させる（Ｓ４０６）。信号出力部２２は、テレビ領域４２０上にあるオブジェクト２ｃを移動させるための入力信号（操作位置座標および相対座標；第７入力信号）をテレビ２００に対して送信する。テレビ２００のオブジェクト処理部５２は、上記入力信号にしたがって、オブジェクト２ｃを移動させる（Ｓ４０７）。また、タブレット１００のオブジェクト処理部２６は、タブレット領域１２０上にあるオブジェクト２ｈを移動させる。
【０２５５】
ここで、位置特定部２０が、オブジェクト２ｃおよびオブジェクト２ｈが一定面積以上の割合で重なったと判定したとする（例えば、図３２）。この場合には（Ｓ４０８においてＹＥＳ）、信号出力部２２は、交換したオブジェクト（すなわち、ここではオブジェクト２ｈ；第２オブジェクト）をテレビ２００側で表示することを指示するための入力信号（第８入力信号）をテレビ２００に送信する（Ｓ４０９）。テレビ２００の信号受付部５１が上記入力信号を受信すると、オブジェクト処理部５２は、Ｓ４０３にて受信したオブジェクト２ｈを、表示部４２に表示する（Ｓ４１０）。ここで、オブジェクト処理部５２は、それまでオブジェクト２ｃを表示していた場合には、オブジェクト２ｃを非表示にすることが好ましい。オブジェクト処理部５２が、表示部４２のどの位置にオブジェクト２ｈを表示するかはここでは特に限定されない。
【０２５６】
一方、タブレット１００において、オブジェクトが重なったときは（Ｓ４０８においてＹＥＳ）、オブジェクト処理部２６は、これまで表示部１２に表示していたオブジェクト２ｈを非表示にして、Ｓ４０４にて受信したオブジェクト２ｃを表示部１２に表示する（Ｓ４１１）。オブジェクト処理部２６が、表示部１２のどの位置にオブジェクト２ｃを表示するかはここでは特に限定されない。
【０２５７】
さらに、入力受付部２３が、ドラッグ（ピンチイン）操作の終了を検知すると、オブジェクト送受信部２５は、交換したオブジェクト２ｈの実体データをテレビ２００に送信する（図２７のＳ３１３と同様）。テレビ２００のオブジェクト送受信部５０は、タブレット１００から受信した実体データを記憶部４１に記憶する（図２７のＳ３１４と同様）。さらに、信号出力部２２は、交換したオブジェクト２ｃに関連付けられている実体データを要求する入力信号（第９入力信号）をテレビ２００に対して送信する（図１９のＳ２１６と同様）。テレビ２００のオブジェクト送受信部５０は、オブジェクト２ｃの実体データをタブレット１００に送信する（図１９のＳ２１７と同様）。オブジェクト送受信部２５は、オブジェクト２ｃの実体データを受信し、記憶部１５に格納する（図１９のＳ２１８と同様）。こうして、実体データの交換も完了する。
【０２５８】
上記構成および方法によれば、非テレビ領域とテレビ領域４２０とに対して同時に行われるドラッグ操作に伴って、タブレット１００とテレビ２００との間でのオブジェクトの交換を実現することができる。さらに、オブジェクトの双方向の送受信を視覚的に表現するオブジェクトの表示を、タブレット１００とテレビ２００とで連携して行うことが可能となる。
【０２５９】
非テレビ領域とテレビ領域４２０とにあったそれぞれのオブジェクトがドラッグ操作で重ねられた後は、タブレット１００は、事前に交換しておいたオブジェクトの表示を指示するための入力信号をテレビ２００に対して送信するだけよい。タブレット１００は、入力信号を用いた遠隔操作によって、テレビ２００との間でオブジェクトの交換を実現する。タブレット１００とテレビ２００とは、実際に交換が必要となるオブジェクトまたは実体データについては、データの送受信を行う。しかしながら、タッチ位置またはデータ交換のタイミングを共有する目的で容量の大きいデータ通信を行う必要がない。結果として、装置間の通信負荷を軽減し、応答性に優れたタブレット１００を実現することができる。
【０２６０】
さらに、タブレット１００のように、操作装置の入力および表示機構がタッチパネルにて実現されている場合には、以下のようなメリットがある。
【０２６１】
ユーザは、手元のタブレット１００の画面に表示されているオブジェクトと、テレビ２００の画面に表示されているオブジェクトとを交換したい場合に、テレビ２００の専用のリモコンなどを操作する必要がない。本発明における、手元のタブレット１００によれば、入力部１１をタッチ操作（ドラッグ操作）するだけで、上記タッチ操作にて選択した２つのオブジェクトを、タブレット１００とテレビ２００との間で交換させることができるからである。具体的には、ユーザは、テレビ領域４２０内に表示されているオブジェクトを選択するとともに、非テレビ領域上に表示されているオブジェクトを選択し、それらを近づけて重ねるようにドラッグ（または、ピンチイン）すればよい。
【０２６２】
このように、テレビ２００が、タッチ操作非対応の機器であっても、そのような機器に対して、疑似的にタッチ操作を行える操作装置を実現することができる。しかも、オブジェクトの移動に伴うオブジェクトの表示は、タブレット１００とテレビ２００とで連携して行われるので、ユーザは視覚的にも自然なユーザインターフェースによって直感的にテレビ２００を遠隔操作することが可能となる。
【０２６３】
≪変形例１≫
実施形態１は、タブレット１００のテレビ領域４２０に対するタッチ（ドラッグ）操作に伴い、タブレット１００が、テレビ２００を遠隔操作して、テレビ２００に表示されているオブジェクトをテレビ２００に処理させる構成であった。
【０２６４】
また、実施形態２、３は、タブレット１００のテレビ領域４２０と非テレビ領域との境界をまたぐタッチ（ドラッグ）操作に伴い、タブレット１００が、テレビ２００を遠隔操作して、タブレット１００とテレビ２００との間でオブジェクトの送受信（一方向の移動）を実現する構成であった。
【０２６５】
また、実施形態４は、タブレット１００のテレビ領域４２０と非テレビ領域とで同時に受け付けたタッチ（ドラッグ）操作に伴い、タブレット１００が、テレビ２００を遠隔操作して、タブレット１００とテレビ２００との間でオブジェクトの交換（双方向の移動）を実現する構成であった。
【０２６６】
しかし、本発明のタブレット１００は、上述のいずれかの構成に加えて、タブレット１００の非テレビ領域に対するタッチ操作に伴い、タブレット１００に表示されているオブジェクトをテレビ２００に送信し、タブレット１００が、テレビ２００を遠隔操作して、送信したオブジェクトをテレビ２００に処理させる構成を備えていてもよい。
【０２６７】
図３５は、入力受付部２３が、タブレット１００の非テレビ領域に対するタッチ操作を受け付けているときの、表示部１２の表示画面の一例を示す図である。
【０２６８】
タブレット１００の表示制御部２４が、テレビ２００が写っているライブビュー画像を表示している状態で、入力受付部２３が、非テレビ領域上のオブジェクト（例えば、オブジェクト２ｈ）に対する操作を受け付ける。ここでは、ユーザは、オブジェクト２ｈに対して、選択する意思を強調するようなジェスチャを伴うタッチ操作を行う。例えば、長押し操作、ダブルタップ操作、一定の狭い領域内を反復してスライドまたは円を描くようなタッチ操作（強く押し込むイメージの操作）などのタッチ操作を行う。
【０２６９】
このように、テレビ２００のライブビュー画像が表示されているときに、入力受付部２３が、非テレビ領域上でオブジェクトを強く押し込む操作を受け付けると、制御部１０の各部は、押し込まれたオブジェクト２ｈをテレビ２００に表示させるための動作を実行する。具体的には、オブジェクト送受信部２５は、選択されたオブジェクト２ｈをテレビ２００に対して送信する。信号出力部２２は、オブジェクト２ｈをテレビ２００の表示部４２に表示するように指示するための入力信号（第１０入力信号）を生成し、テレビ２００に送信する。オブジェクト処理部２６は、これまで表示していたオブジェクト２ｈを非表示にする。
【０２７０】
これに対し、テレビ２００のオブジェクト送受信部５０は、タブレット１００から、オブジェクト２ｈを受信し、記憶部４１に記憶する。そして、信号受付部５１が上記入力信号を受信すると、オブジェクト処理部５２は、上記入力信号にしたがって、受信されたオブジェクト２ｈを表示部４２に表示する（図３６参照）。図３６は、オブジェクト処理部５２が表示部４２にオブジェクト２ｈを表示した後の、表示部１２の表示画面の一例を示す図である。図３６に示すように、タブレット１００のオブジェクト処理部２６は、選択されたオブジェクト２ｈを非表示にする一方、オブジェクト処理部５２はオブジェクト２ｈをテレビ２００の表示部４２に表示する。
【０２７１】
上述の一連の表示連携を行う間またはその前後に、タブレット１００のオブジェクト送受信部２５は、テレビ２００のオブジェクト送受信部５０に対して、オブジェクト２ｈの実体データを送信してもよい。
【０２７２】
上記構成によれば、タブレット領域１２０上で、テレビ領域４２０が十分確保されていない場合でも、ユーザにとって直感的なタッチ操作で、タブレット１００からテレビ２００へと目的のオブジェクトを送信し、テレビ２００側に表示させることができる。テレビ領域４２０が確保されていない状況としては、例えば、ライブビュー画像に表示部４２の画面がごく一部しか写っておらず、タブレット１００側のオブジェクトをドラッグアンドドロップできるほどテレビ領域４２０が大きくない状況が想定される。
【０２７３】
≪変形例２≫
実施形態２は、タブレット１００のテレビ領域４２０から非テレビ領域へとまたがるドラッグ操作に伴い、タブレット１００が、テレビ２００を遠隔操作して、テレビ２００に送信させたオブジェクトを受信する構成であった。
【０２７４】
しかし、本発明のタブレット１００は、上記構成に代えて（あるいは、加えて）、タブレット１００のテレビ領域４２０に対するタッチ操作に伴い、テレビ２００に表示されているオブジェクトをテレビ２００から受信し、それをタブレット１００の表示部１２に表示する構成であってもよい。
【０２７５】
図３７は、入力受付部２３が、タブレット１００のテレビ領域４２０に対するタッチ操作を受け付けているときの、表示部１２の表示画面の一例を示す図である。
【０２７６】
タブレット１００の表示制御部２４が、テレビ２００が写っているライブビュー画像を表示している状態で、入力受付部２３が、テレビ領域４２０上のオブジェクト（例えば、オブジェクト２ｃ）に対する操作を受け付ける。ここでは、ユーザは、オブジェクト２ｃに対して、選択する意思を強調するようなジェスチャを伴うタッチ操作を行う。例えば、長押し操作、ダブルタップ操作、一定の狭い領域内を反復してスライドまたは円を描くようなタッチ操作（強く押し込むイメージの操作）などのタッチ操作を行う。
【０２７７】
このように、テレビ２００のライブビュー画像が表示されているときに、入力受付部２３が、テレビ領域４２０上でオブジェクトを強く押し込む操作（例えば、長押し操作）を受け付けると、制御部１０の各部は、長押しされたオブジェクト２ｃをテレビ２００から取得して表示部１２に表示させるための動作を実行する。具体的には、まず、座標処理部２１が、長押しされたタッチ位置座標を、実施形態１と同様に、テレビ座標系における操作位置座標に変換する。信号出力部２２は、変換された操作位置座標を入力信号（第１入力信号）としてテレビ２００に送信する。信号出力部２２は、入力受付部２３が長押し操作を検知している間、継続して入力信号（第１１入力信号）を送信する。
【０２７８】
テレビ２００の信号受付部５１が上記入力信号を受け付けると、オブジェクト送受信部５０は、上記操作位置座標によって指定されたオブジェクト２ｃをタブレット１００に送信する。そして、オブジェクト処理部５２は、信号受付部５１が入力信号を受け付けている間、選択されたオブジェクト２ｃを移動させるのではなく、オブジェクト２ｃに対して形状を変化させる視覚的効果（アニメーション）を付加する（図３８参照）。図３８は、オブジェクト処理部５２が表示部４２に表示されたオブジェクト２ｃに対して、視覚的効果を付加したときの、表示部１２の表示画面の一例を示す図である。例えば、ユーザによって、入力部１１のオブジェクト２ｃの領域が長押しされている間、オブジェクト処理部５２は、オブジェクト２ｃが凹んでいくようなアニメーション（形状を縮小させる視覚的効果）をオブジェクト２ｃに対して付加する。
【０２７９】
次に、ユーザが長押し操作後、指を離すと、タブレット１００の入力受付部２３は、長押し操作が終了したことを検知する。これに伴い、信号出力部２２は、上記入力信号の出力を停止する。テレビ２００のオブジェクト処理部５２は、入力信号が停止されたのに伴って、テレビ２００の表示部４２に表示していたオブジェクト２ｃを非表示にしてもよい。
【０２８０】
一方、タブレット１００においては、オブジェクト処理部２６が、オブジェクト２ｃの表示を開始する。オブジェクト送受信部２５が、テレビ２００のオブジェクト送受信部５０から事前にオブジェクト２ｃを受信しているので、オブジェクト処理部２６は、長押し操作が終了した時点からオブジェクト２ｃの表示を開始することができる。ここで、オブジェクト処理部２６は、テレビ２００のアニメーションを引き継ぐことが望ましい。具体的には、オブジェクト処理部２６は、図３９に示すとおり、テレビ２００のオブジェクト処理部５２が、長押し操作が終了する直前にオブジェクト２ｃを表示していた形状を引き継いで、その形状からオブジェクト２ｃの表示を開始する。直前の形状は、ライブビュー画像から位置特定部２０によって特定されればよい。そして、オブジェクト処理部２６は、オブジェクト２ｃが奥のテレビ２００から跳ねて飛び出してきたようなアニメーション（形状を拡大させる視覚的効果）をオブジェクト２ｃに対して付加する。例えば、オブジェクト処理部５２は、図４０に示すとおり、表示が開始されたときの形状を変化させながら大きさを拡大する。さらに、図４１に示すとおり、オブジェクト処理部５２は、オブジェクト２ｃに対して、形状の変化と拡大を継続し、オブジェクト２ｃが飛び出すかのようなアニメーションを付加する。そして、オブジェクト処理部５２は、オブジェクト２ｃの形状を徐々に元に戻し、最終的には、図４２に示すとおり、テレビ２００の表示部４２に表示されていた状態（図３７参照）とほぼ同じ状態で、オブジェクト２ｃを表示する。
【０２８１】
上述の一連の表示連携を行う間またはその前後に、タブレット１００のオブジェクト送受信部２５は、テレビ２００のオブジェクト送受信部５０から、オブジェクト２ｃの実体データを受信してもよい。
【０２８２】
上記構成によれば、タブレット領域１２０上で、非テレビ領域が十分確保されていない場合でも、ユーザにとって直感的なタッチ操作で、テレビ２００から目的のオブジェクトを受信し、タブレット１００側に表示させることができる。非テレビ領域が確保されていない状況としては、例えば、ライブビュー画像に表示部４２の画面がアップで写っており、テレビ２００側のオブジェクトをドラッグアンドドロップできるほど非テレビ領域が大きくない状況が想定される。
【０２８３】
〔補足事項〕
なお、上述の選択する意思を強調するようなジェスチャを伴うタッチ操作として、タブレット１００の入力受付部２３は、オブジェクトを円で囲うようなジェスチャを受け付けてもよい。入力受付部２３が、テレビ領域４２０への単純なタップ操作をテレビ２００に対する操作として受け付けてしまうと、入力受付部２３がユーザの意図しない指の接触などに反応して、意図せずテレビ２００を遠隔操作してしまうという誤操作が生じる可能性がある。しかし、受信したいオブジェクトを円で囲うという意図的なジェスチャによってテレビ２００へのタッチ操作を受け付ける場合には、誤操作を引き起こしにくいという利点がある。また円で囲うというジェスチャは、タブレット１００の表示部１２側に選択可能なオブジェクトが表示されている領域（オブジェクト配置領域４など）では、ドラッグ操作なのか、円で囲うジェスチャなのかを区別しにくいという不都合が生じる可能性がある。しかしながら、受信したいオブジェクトを選択するときの操作対象領域は、テレビ領域４２０であり、テレビ領域４２０は、撮像部１３によって取得された１枚のライブビュー画像であり、画像を移動させるようなドラッグ操作を受け付ける必要はないため、円で囲うというジェスチャを誤認識することなく容易に精度よく認識できるという利点がある。
【０２８４】
上述の各実施形態において、ドラッグ操作でオブジェクト（アイコン画像）を移動させている間は、表示制御部２４は、常にライブビュー画像を表示するのではなく、ドラッグ操作が開始された時点の１コマ（キャプチャ画像）に差し替えて表示部１２に表示してもよい。テレビ２００を遠隔操作しようとしてタブレット１００を操作するユーザは、タブレット１００の表示部１２ではなく、テレビ２００の表示部４２に注目すると考えられる。よって、表示部１２の表示内容が、表示部４２の表示内容と異なったとしても、ユーザに大きな違和感を与えることはない。
【０２８５】
上記構成によれば、ユーザが手に持っているタブレット１００が不安定にふらふら動くことにより、テレビ領域４２０が小刻みに変化することがなくなる。そのため、位置特定部２０が各領域、各オブジェクトの位置を特定したり、座標処理部２１が座標の変換を行ったりする際の演算の処理負荷を大幅に軽減することができる。
【０２８６】
撮像部１３が、テレビ２００の表示部４２の画面の全領域を写すことができない場合、つまり、ライブビュー画像には、表示部４２の画面の一部しか写っていない場合が想定される。この場合、位置特定部２０は、予め登録されているテレビ２００の表示部４２の仕様情報（インチ数、縦横サイズ、画面のアスペクト比など）に基づいて、ライブビュー画像に写しきれなかったテレビ領域４２０を補って、テレビ座標系の原点（０、０）およびテレビ領域４２０の全領域を、タブレット座標系において定義することができる。
【０２８７】
本発明は上述した各実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、異なる実施形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。
【０２８８】
〔ソフトウェアによる実現例〕
最後に、タブレット１００およびテレビ２００の各ブロック、特に、位置特定部２０、座標処理部２１、信号出力部２２、入力受付部２３、表示制御部２４、オブジェクト送受信部２５およびオブジェクト処理部２６、ならびに、オブジェクト送受信部５０、信号受付部５１、オブジェクト処理部５２、オブジェクト位置判定部５３および表示制御部５４は、ハードウェアロジックによって構成してもよいし、次のようにＣＰＵを用いてソフトウェアによって実現してもよい。
【０２８９】
すなわち、タブレット１００およびテレビ２００は、各機能を実現する制御プログラムの命令を実行するＣＰＵ（central processing unit）、上記プログラムを格納したＲＯＭ（read only memory）、上記プログラムを展開するＲＡＭ（random access memory）、上記プログラムおよび各種データを格納するメモリ等の記憶装置（記録媒体）などを備えている。そして、本発明の目的は、上述した機能を実現するソフトウェアであるタブレット１００またはテレビ２００の制御プログラムのプログラムコード（実行形式プログラム、中間コードプログラム、ソースプログラム）をコンピュータで読み取り可能に記録した記録媒体を、それぞれ、上記タブレット１００またはテレビ２００に供給し、そのコンピュータ（またはＣＰＵやＭＰＵ）が記録媒体に記録されているプログラムコードを読み出し実行することによっても、達成可能である。
【０２９０】
上記記録媒体としては、例えば、磁気テープやカセットテープ等のテープ系、フロッピー（登録商標）ディスク／ハードディスク等の磁気ディスクやＣＤ−ＲＯＭ／ＭＯ／ＭＤ／ＤＶＤ／ＣＤ−Ｒ等の光ディスクを含むディスク系、ＩＣカード（メモリカードを含む）／光カード等のカード系、あるいはマスクＲＯＭ／ＥＰＲＯＭ／ＥＥＰＲＯＭ／フラッシュＲＯＭ等の半導体メモリ系などを用いることができる。
【０２９１】
また、タブレット１００およびテレビ２００を通信ネットワークと接続可能に構成し、上記プログラムコードを、通信ネットワークを介して供給してもよい。この通信ネットワークとしては、特に限定されず、例えば、インターネット、イントラネット、エキストラネット、ＬＡＮ、ＩＳＤＮ、ＶＡＮ、ＣＡＴＶ通信網、仮想専用網（virtual private network）、電話回線網、移動体通信網、衛星通信網等が利用可能である。また、通信ネットワークを構成する伝送媒体としては、特に限定されず、例えば、ＩＥＥＥ１３９４、ＵＳＢ、電力線搬送、ケーブルＴＶ回線、電話線、ＡＤＳＬ回線等の有線でも、ＩｒＤＡやリモコンのような赤外線、Ｂｌｕｅｔｏｏｔｈ（登録商標）、８０２．１１無線、ＨＤＲ（High Data Rate）、携帯電話網、衛星回線、地上波デジタル網等の無線でも利用可能である。なお、本発明は、上記プログラムコードが電子的な伝送で具現化された、搬送波に埋め込まれたコンピュータデータ信号の形態でも実現され得る。
【産業上の利用可能性】
【０２９２】
本発明は、表示装置を遠隔操作する操作装置、および、各装置を含む遠隔操作システムに好適に利用することができる。
【符号の説明】
【０２９３】
２ａ〜２ｊ  オブジェクト
４  オブジェクト配置領域（非テレビ領域／第２領域）
１０  制御部
１１  入力部
１２  表示部
１３  撮像部
１４  通信部
１５  記憶部
２０  位置特定部（位置特定手段）
２１  座標処理部（座標処理手段）
２２  信号出力部（信号出力手段）
２３  入力受付部（入力受付手段）
２４  表示制御部（表示制御手段）
２５  オブジェクト送受信部（送信手段／受信手段／送受信手段）
２６  オブジェクト処理部（オブジェクト処理手段）
４０  制御部
４１  記憶部
４２  表示部
４３  通信部
５０  オブジェクト送受信部（送信手段／受信手段／送受信手段）
５１  信号受付部（信号受付手段）
５２  オブジェクト処理部（オブジェクト処理手段）
５３  オブジェクト位置判定部（判定手段）
５４  表示制御部（表示制御手段）
１００  タブレット（操作装置）
１２０  タブレット領域
２００  テレビ（表示装置）
２００ａ  ノートパソコン（表示装置）
２００ｂ  デジタルフォトフレーム（表示装置）
４２０  テレビ領域（第１領域）
【図１】
2013161247.tif 000003
【図２】
2013161247.tif 000004
【図３】
2013161247.tif 000005
【図４】
2013161247.tif 000006
【図５】
2013161247.tif 000007
【図６】
2013161247.tif 000008
【図７】
2013161247.tif 000009
【図８】
2013161247.tif 000010
【図９】
2013161247.tif 000011
【図１０】
2013161247.tif 000012
【図１１】
2013161247.tif 000013
【図１２】
2013161247.tif 000014
【図１３】
2013161247.tif 000015
【図１４】
2013161247.tif 000016
【図１５】
2013161247.tif 000017
【図１６】
2013161247.tif 000018
【図１７】
2013161247.tif 000019
【図１８】
2013161247.tif 000020
【図１９】
2013161247.tif 000021
【図２０】
2013161247.tif 000022
【図２１】
2013161247.tif 000023
【図２２】
2013161247.tif 000024
【図２３】
2013161247.tif 000025
【図２４】
2013161247.tif 000026
【図２５】
2013161247.tif 000027
【図２６】
2013161247.tif 000028
【図２７】
2013161247.tif 000029
【図２８】
2013161247.tif 000030
【図２９】
2013161247.tif 000031
【図３０】
2013161247.tif 000032
【図３１】
2013161247.tif 000033
【図３２】
2013161247.tif 000034
【図３３】
2013161247.tif 000035
【図３４】
2013161247.tif 000036
【図３５】
2013161247.tif 000037
【図３６】
2013161247.tif 000038
【図３７】
2013161247.tif 000039
【図３８】
2013161247.tif 000040
【図３９】
2013161247.tif 000041
【図４０】
2013161247.tif 000042
【図４１】
2013161247.tif 000043
【図４２】
2013161247.tif 000044