(57)【要約】      （修正有）【課題】電子機器を遠隔操作する際の処理負担を軽減することが可能な携帯端末を提供する。【解決手段】携帯端末１００は、テレビジョン装置２００と通信可能な通信部と、テレビジョン装置２００により表示される表示画像を取得するカメラと、カメラにより取得した取得画像を表示可能な表示部と、表示画像中の位置情報を取得するとともに、表示部に表示された取得画像に基づいて操作が行われた位置の操作位置情報を取得し、操作位置情報を通信部を介してテレビジョン装置２００に送信する制御を行う制御部とを備える。【選択図】図１
2014120879.tif 000002
【特許請求の範囲】
【請求項１】
電子機器と通信可能な通信部と、
前記電子機器により表示される表示画像を取得する画像取得部と、
前記画像取得部により取得した取得画像を表示可能な表示部と、
前記表示画像中の位置情報を取得するとともに、前記表示部に表示された前記取得画像に基づいて操作が行われた位置の操作位置情報を取得し、前記操作位置情報を前記通信部を介して前記電子機器に送信する制御を行う制御部とを備える、携帯端末。
【請求項２】
前記制御部は、前記電子機器により出力されて表示される前記表示画像中の複数の基準マークを含む位置情報を前記画像取得部としてのカメラにより検出して取得することによって、前記表示画像の一部分に対応する前記取得画像の位置を認識するように構成されている、請求項１に記載の携帯端末。
【請求項３】
前記制御部は、前記電子機器により出力されて表示される前記表示画像中の前記複数の基準マークのうち３以上の前記基準マークを前記カメラにより検出して取得することによって、前記表示画像の一部分に対応する前記取得画像の位置を認識するように構成されている、請求項２に記載の携帯端末。
【請求項４】
前記制御部は、前記電子機器により出力されて表示される前記表示画像中の少なくとも１つは同一直線上にない３以上の前記複数の基準マークを前記カメラにより検出して取得することによって、前記表示画像の一部分に対応する前記取得画像の位置を認識するように構成されている、請求項３に記載の携帯端末。
【請求項５】
前記制御部は、前記電子機器により出力されて表示される前記表示画像中の格子状に配置された前記複数の基準マークを前記カメラにより検出して取得することによって、前記表示画像の一部分に対応する前記取得画像の位置を認識するように構成されている、請求項２〜４のいずれか１項に記載の携帯端末。
【請求項６】
前記制御部は、前記カメラにより検出して取得した前記基準マークと操作が行われた位置との相対位置に基づいて、前記操作位置情報を取得するように構成されている、請求項２〜５のいずれか１項に記載の携帯端末。
【請求項７】
前記制御部は、前記操作位置情報に加えて、操作動作に基づく操作動作情報を前記通信部を介して前記電子機器に送信する制御を行うように構成されている、請求項２〜６のいずれか１項に記載の携帯端末。
【請求項８】
前記制御部は、前記表示部の操作位置を移動させる操作、および、前記画像取得部により取得する前記取得画像の位置が移動することにより相対的に操作位置が移動される操作のうち少なくとも１つを含む操作に基づく操作動作情報を前記通信部を介して前記電子機器に送信する制御を行うように構成されている、請求項７に記載の携帯端末。
【請求項９】
前記制御部は、前記取得画像中の前記基準マークの位置の変化に基づいて、前記取得画像の位置の変化を検知するように構成されている、請求項８に記載の携帯端末。
【請求項１０】
前記携帯端末の移動を検知する加速度センサをさらに備え、
前記制御部は、前記加速度センサにより検知した前記携帯端末の移動に基づいて、前記取得画像の位置の変化を検知するように構成されている、請求項８または９に記載の携帯端末。
【請求項１１】
操作が行われた位置を検知するタッチパネルをさらに備える、請求項１〜１０のいずれか１項に記載の携帯端末。
【請求項１２】
携帯端末と、
位置情報を含む表示画像を出力可能に構成されている電子機器とを備え、
前記携帯端末は、前記電子機器と通信可能な通信部と、前記電子機器により表示される表示画像を取得する画像取得部と、前記画像取得部により取得した取得画像を表示可能な表示部と、前記表示画像中の位置情報を取得するとともに、前記表示部に表示された前記取得画像に基づいて操作が行われた位置の操作位置情報を取得し、前記操作位置情報を前記通信部を介して前記電子機器に送信する制御を行う制御部とを含む、遠隔操作システム。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、携帯端末および遠隔操作システムに関し、特に、表示部を備えた携帯端末および遠隔操作システムに関する。
【背景技術】
【０００２】
従来、表示部を備えた携帯端末および遠隔操作システムが知られている（たとえば、特許文献１参照）。
【０００３】
上記特許文献１には、液晶テレビに赤外線を送信可能な信号送信部と、液晶テレビに表示される不可視光による画像を含む表示画像を撮像可能なカメラと、タッチパネル式の画面（表示部）と、カメラにより撮像された液晶テレビの不可視光による画像に基づいて操作対象機器（液晶テレビや液晶テレビに接続されたＤＶＤレコーダ）に対応する操作ボタンをタッチパネル式の画面に表示させる制御を行う制御部とを備える携帯端末が開示されている。この携帯端末は、カメラにより撮像された液晶テレビの不可視光による画像に基づいて操作対象機器（液晶テレビや液晶テレビに接続されたＤＶＤレコーダ）に対応する操作ボタンがタッチパネル式の画面に表示されるので、タッチパネル式の画面に表示された操作ボタンをタッチして操作対象機器を遠隔操作することが可能である。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１１−１３００２５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、上記特許文献１の携帯端末では、カメラにより撮像された液晶テレビの不可視光による画像に基づいて操作対象機器（液晶テレビや液晶テレビに接続されたＤＶＤレコーダ）に対応する操作ボタンがタッチパネル式の画面（表示部）に表示されるので、携帯端末側で、操作対象機器ごとに対応する操作ボタンの情報および操作のための赤外線信号コードを取得する処理が必要である。また、携帯端末側で、操作対象機器を遠隔操作するためにタッチパネル式の画面に各操作対象機器に対応する操作ボタンを表示する処理が必要である。このため、操作対象機器（電子機器）を遠隔操作する際の携帯端末の処理負担が増大するという問題点がある。
【０００６】
この発明は、上記のような課題を解決するためになされたものであり、この発明の１つの目的は、電子機器を遠隔操作する際の処理負担を軽減することが可能な携帯端末および遠隔操作システムを提供することである。
【課題を解決するための手段】
【０００７】
この発明の第１の局面による携帯端末は、電子機器と通信可能な通信部と、電子機器により表示される表示画像を取得する画像取得部と、画像取得部により取得した取得画像を表示可能な表示部と、表示画像中の位置情報を取得するとともに、表示部に表示された取得画像に基づいて操作が行われた位置の操作位置情報を取得し、操作位置情報を通信部を介して電子機器に送信する制御を行う制御部とを備える。
【０００８】
この発明の第１の局面による携帯端末では、上記のように、電子機器により表示される表示画像を画像取得部により取得し、画像取得部により取得した取得画像に基づいて操作が行われた位置の操作位置情報を取得するとともに、操作位置情報を通信部を介して電子機器に送信する制御を行う制御部を設けることによって、電子機器により表示される表示画像を画像取得部により取得して、その取得した取得画像に基づくユーザの操作を携帯端末により受付けることができるので、携帯端末側で、遠隔操作を行う電子機器ごとに対応する操作ボタンの情報や操作のための信号コードなどを取得する処理が必要ない。また、画像取得部により検出して取得した取得画像で受付けたユーザによる操作の操作位置情報が電子機器に送信されるので、携帯端末側で、電子機器を遠隔操作するために表示部に操作ボタンを表示する処理が必要ない。これらの結果、電子機器を遠隔操作する際の処理負担を軽減することができる。
【０００９】
上記第１の局面による携帯端末において、好ましくは、制御部は、電子機器により出力されて表示される表示画像中の複数の基準マークを含む位置情報を画像取得部としてのカメラにより検出して取得することによって、表示画像の一部分に対応する取得画像の位置を認識するように構成されている。このように構成すれば、表示画像全体に対応する取得画像をカメラにより検出して携帯端末の比較的小さい表示部に表示する場合と異なり、携帯端末の小さい表示部に表示画像の一部分が拡大されて表示されるので、操作を容易に行うことができる。
【００１０】
上記複数の基準マークを含む位置情報をカメラにより検出して取得する構成において、好ましくは、制御部は、電子機器により出力されて表示される表示画像中の複数の基準マークのうち３以上の基準マークをカメラにより検出して取得することによって、表示画像の一部分に対応する取得画像の位置を認識するように構成されている。このように構成すれば、カメラにより表示画像を正面から捉えて検出しなくても、複数の基準マークのうち３以上の基準マークを検出することにより、表示画像の一部分に対応する取得画像の位置を確実に認識することができる。
【００１１】
この場合、好ましくは、制御部は、電子機器により出力されて表示される表示画像中の少なくとも１つは同一直線上にない３以上の複数の基準マークをカメラにより検出して取得することによって、表示画像の一部分に対応する取得画像の位置を認識するように構成されている。このように構成すれば、多角形の頂点に配置された３以上の基準マークを検出することにより、表示画像の一部分に対応する取得画像の位置を容易に認識することができる。
【００１２】
上記複数の基準マークを含む位置情報をカメラにより検出して取得する構成において、好ましくは、制御部は、電子機器により出力されて表示される表示画像中の格子状に配置された複数の基準マークをカメラにより検出して取得することによって、表示画像の一部分に対応する取得画像の位置を認識するように構成されている。このように構成すれば、格子状に配置された複数の基準マークを検出することにより、表示画像の一部分に対応する取得画像の位置を容易に認識することができる。
【００１３】
上記複数の基準マークを含む位置情報をカメラにより検出して取得する構成において、好ましくは、制御部は、カメラにより検出して取得した基準マークと操作が行われた位置との相対位置に基づいて、操作位置情報を取得するように構成されている。このように構成すれば、基準マークから操作が行われた位置への相対位置を取得することにより、操作位置情報を容易に取得することができる。
【００１４】
上記複数の基準マークを含む位置情報をカメラにより検出して取得する構成において、好ましくは、制御部は、操作位置情報に加えて、操作動作に基づく操作動作情報を通信部を介して電子機器に送信する制御を行うように構成されている。このように構成すれば、処理負担を軽減しながら電子機器をより多様に遠隔操作することができる。
【００１５】
この場合、好ましくは、制御部は、表示部の操作位置を移動させる操作、および、画像取得部により取得する取得画像の位置が移動することにより相対的に操作位置が移動される操作のうち少なくとも１つを含む操作に基づく操作動作情報を通信部を介して電子機器に送信する制御を行うように構成されている。このように構成すれば、操作位置を移動させながら行う操作を遠隔操作により容易に行うことができる。
【００１６】
上記表示部の操作位置を移動させる操作および相対的に操作位置が移動される操作のうち少なくとも１つを含む操作に基づく操作動作情報を通信部を介して電子機器に送信する構成において、好ましくは、制御部は、取得画像中の基準マークの位置の変化に基づいて、取得画像の位置の変化を検知するように構成されている。このように構成すれば、基準マークの位置の変化に基づいて、取得画像の位置の変化を容易に検知することができるので、操作動作情報を容易に取得して通信部を介して電子機器に送信することができる。
【００１７】
上記表示部の操作位置を移動させる操作および相対的に操作位置が移動される操作のうち少なくとも１つを含む操作に基づく操作動作情報を通信部を介して電子機器に送信する構成において、好ましくは、携帯端末の移動を検知する加速度センサをさらに備え、制御部は、加速度センサにより検知した携帯端末の移動に基づいて、取得画像の位置の変化を検知するように構成されている。このように構成すれば、加速度センサにより検知した携帯端末の移動に基づいて、取得画像の位置の変化を容易に検知することができるので、操作動作情報を容易に取得して通信部を介して電子機器に送信することができる。
【００１８】
上記第１の局面による携帯端末において、好ましくは、操作が行われた位置を検知するタッチパネルをさらに備える。このように構成すれば、タッチパネルにより操作が行われた位置を容易に検知して操作位置情報を容易に取得することができる。
【００１９】
この発明の第２の局面による遠隔操作システムは、携帯端末と、位置情報を含む表示画像を出力可能に構成されている電子機器とを備え、携帯端末は、電子機器と通信可能な通信部と、電子機器により表示される表示画像を取得する画像取得部と、画像取得部により取得した取得画像を表示可能な表示部と、表示画像中の位置情報を取得するとともに、表示部に表示された取得画像に基づいて操作が行われた位置の操作位置情報を取得し、操作位置情報を通信部を介して電子機器に送信する制御を行う制御部とを含む。
【００２０】
この発明の第２の局面による遠隔操作システムでは、上記のように、電子機器により表示される表示画像を画像取得部により取得し、画像取得部により取得した取得画像に基づいて操作が行われた位置の操作位置情報を取得するとともに、操作位置情報を通信部を介して電子機器に送信する制御を行う制御部を携帯端末に設けることによって、電子機器により表示される表示画像を画像取得部により取得して、その取得した取得画像に基づくユーザの操作を携帯端末により受付けることができるので、携帯端末側で、遠隔操作を行う電子機器ごとに対応する操作ボタンの情報や操作のための信号コードなどを取得する処理が必要ない。また、画像取得部により検出して取得した取得画像で受付けたユーザによる操作の操作位置情報が電子機器に送信されるので、携帯端末側で、電子機器を遠隔操作するために表示部に操作ボタンを表示する処理が必要ない。これらの結果、電子機器を遠隔操作する際の処理負担を軽減することができる。
【発明の効果】
【００２１】
本発明によれば、上記のように、電子機器を遠隔操作する際の携帯端末の処理負担を軽減することができる。
【図面の簡単な説明】
【００２２】
【図１】本発明の一実施形態による遠隔操作システムの全体構成を示した概略図である。
【図２】本発明の一実施形態による携帯端末の構成を示したブロック図である。
【図３】本発明の一実施形態によるテレビジョン装置の構成を示したブロック図である。
【図４】本発明の一実施形態によるテレビジョン装置の表示部に表示される表示画像の一例を示した図である。
【図５】本発明の一実施形態による携帯端末の表示部に表示される取得画像の一例を示した図である。
【図６】本発明の一実施形態による携帯端末の制御部による遠隔操作送信処理を説明するためのフローチャートである。
【図７】本発明の一実施形態によるテレビジョン装置の制御部による遠隔操作受信処理を説明するためのフローチャートである。
【図８】本発明の一実施形態の変形例による遠隔操作システムの全体構成を示した概略図である。
【図９】本発明の一実施形態の変形例によるテレビジョン装置の表示部に表示される表示画像の一例を示した図である。
【図１０】本発明の一実施形態の変形例による携帯端末の表示部に表示される取得画像の一例を示した図である。
【発明を実施するための形態】
【００２３】
以下、本発明の実施形態を図面に基づいて説明する。
【００２４】
まず、図１〜図５を参照して、本発明の一実施形態による遠隔操作システム１の構成について説明する。
【００２５】
遠隔操作システム１は、図１に示すように、携帯端末１００と、テレビジョン装置２００とを備える。携帯端末１００は、持ち運び可能に構成されている。また、携帯端末１００は、無線ＬＡＮルータ（図示せず）を介してＬＡＮ（ローカルエリアネットワーク）３００に接続されている。テレビジョン装置２００は、放送波を受信可能に構成されている。また、テレビジョン装置２００は、ＬＡＮ３００に接続されている。なお、テレビジョン装置２００は、本発明の「電子機器」の一例である。
【００２６】
携帯端末１００は、アプリケーションを動作させて利用する、または、ＬＡＮ３００に接続して情報を視聴するなどのために用いられるように構成されている。また、携帯端末１００は、テレビジョン装置２００が見通せる位置からテレビジョン装置２００を遠隔操作することが可能に構成されている。また、携帯端末１００は、図２に示すように、制御部１０１と、通信部１０２と、表示部１０３と、タッチパネル１０４と、カメラ１０５と、加速度センサ１０６とを含む。
【００２７】
制御部１０１は、携帯端末１００の各部を制御するように構成されている。また、制御部１０１は、通信部１０２を介してテレビジョン装置２００に対して操作信号を送信可能に構成されている。また、制御部１０１は、カメラ１０５から入力した画像を表示部１０３に表示（ライブビュー）させるように構成されている。また、制御部１０１は、テレビジョン装置２００により出力されて表示される表示画像中の基準マーク２０３ａ（図４および図５参照）をカメラ１０５により検出して取得する制御を行うように構成されている。また、制御部１０１は、カメラ１０５により検出して取得した基準マーク２０３ａを含む取得画像を表示部１０３に表示させるように構成されている。また、制御部１０１は、タッチパネル１０４を介してユーザによる操作を受付けるように構成されている。なお、カメラ１０５は、本発明の「画像取得部」の一例であり、基準マーク２０３ａは、本発明の「位置情報」の一例である。
【００２８】
ここで、本実施形態では、制御部１０１は、表示部１０３に表示された取得画像に基づいて操作が行われた位置の操作位置情報を取得するように構成されている。具体的には、制御部１０１は、テレビジョン装置２００により出力されて表示される表示画像中の複数の基準マーク２０３ａをカメラ１０５により検出することによって、表示画像の一部分に対応する取得画像の位置を認識するように構成されている。つまり、制御部１０１は、表示画像中に表示された５行×５列の基準マーク２０３ａ（図４参照）を識別して、取得画像の位置を認識するように構成されている。また、制御部１０１は、カメラ１０５により検出して取得した基準マーク２０３ａと操作が行われた位置との相対位置に基づいて、操作位置情報を取得するように構成されている。つまり、制御部１０１は、図５に示す例のように、基準マーク２０３ａに基づいて、表示画像中の取得画像の位置を認識するとともに、取得画像中の基準マーク２０３ａから操作が行われた位置への相対位置を認識することによって、表示画像中の操作位置を認識して操作位置情報を取得するように構成されている。
【００２９】
また、制御部１０１は、表示部１０３の操作位置を移動させる操作、および、カメラ１０５により取得する取得画像の位置が移動することにより相対的に操作位置が移動される操作に基づく操作動作情報を通信部１０２を介してテレビジョン装置２００に送信する制御を行うように構成されている。具体的には、制御部１０１は、取得画像中の基準マーク２０３ａの位置の変化に基づいて、取得画像の位置の変化を検知するように構成されている。また、制御部１０１は、加速度センサ１０６により検知した携帯端末１００の移動に基づいて、取得画像の位置の変化を検知するように構成されている。
【００３０】
たとえば、携帯端末１００のカメラ１０５の向きが固定されて、検出して取得する取得画像の位置が固定されている場合において、位置が固定された取得画像中をユーザがタッチする位置を移動させる場合、制御部１０１は、表示画像中の移動する操作位置を認識して操作位置情報を取得するように構成されている。また、携帯端末１００のカメラ１０５の向きが変えられて、検出する取得画像の位置が変化する場合に、制御部１０１は、カメラ１０５の向きの変化に応じて表示画像中を移動する操作位置を認識して操作位置情報を取得するように構成されている。
【００３１】
また、制御部１０１は、操作位置情報を通信部１０２を介してテレビジョン装置２００に送信する制御を行うように構成されている。なお、操作位置情報は、テレビジョン装置２００に表示されている表示画像中の操作が行われた画素の位置に関する情報を含む。また、制御部１０１は、操作位置情報に加えて、操作動作に基づく操作動作情報を通信部１０２を介してテレビジョン装置２００に送信する制御を行うように構成されている。なお、操作動作情報は、タッチパネル１０４により検知したタップ、ロングタッチ、スライド、または、ピンチなどの操作に関する情報を含む。
【００３２】
また、制御部１０１は、テレビジョン装置２００により出力されて表示される表示画像中の格子状に配置された複数の基準マーク２０３ａ（図４参照）のうち３以上の基準マーク２０３ａをカメラ１０５により検出することにより、表示画像の一部分に対応する取得画像の位置を認識するように構成されている。なお、制御部１０１が、複数の基準マーク２０３ａのうち４点の基準マーク２０３ａをカメラ１０５により検出することにより、表示画像の一部分に対応する取得画像の位置を認識する構成が好ましい。これにより、テレビジョン装置２００を斜めからカメラ１０５により検出した場合でも、取得画像の位置を確実に認識することが可能であるとともに、５点以上の基準マーク２０３ａを検出する場合に比べて、取得画像の位置を認識する処理負担を軽減することが可能である。
【００３３】
通信部１０２は、テレビジョン装置２００と通信可能に構成されている。具体的には、通信部１０２は、ＬＡＮ３００を介してテレビジョン装置２００に操作位置情報および操作動作情報を送信可能に構成されている。また、通信部１０２は、ＬＡＮ３００を介してインターネットの情報を送受信可能に構成されている。
【００３４】
表示部１０３は、液晶パネル（図示せず）と、バックライト（図示せず）とを含む。また、表示部１０３は、携帯端末１００の動作に対応する画像を表示するように構成されている。また、表示部１０３は、カメラ１０５により検出した基準マーク２０３ａを含む取得画像を表示可能に構成されている。また、表示部１０３には、携帯端末１００を操作するためのタッチパネル１０４が一体的に設けられている。タッチパネル１０４は、操作が行われた位置を検知するように構成されている。また、タッチパネル１０４は、複数の指やタッチペンなどで同時に触れて操作することが可能なマルチタッチに対応している。
【００３５】
カメラ１０５は、テレビジョン装置２００により出力されて表示される表示画像中の基準マーク２０３ａを検出するように構成されている。具体的には、カメラ１０５は、テレビジョン装置２００のタッチパネル形式の表示部２０３に表示される表示画像中の基準マーク２０３ａを検出するように構成されている。また、カメラ１０５は、表示部１０３と反対側の面に設けられている。
【００３６】
加速度センサ１０６は、携帯端末１００の移動を検知するように構成されている。具体的には、加速度センサ１０６は、情報端末１００に作用する加速度を検知することにより、携帯端末１００の移動を検知ように構成されている。
【００３７】
テレビジョン装置２００は、図３に示すように、制御部２０１と、通信部２０２と、タッチパネル形式の表示部２０３と、チューナ２０４とを含む。また、テレビジョン装置２００は、アンテナ２０５が接続されている。
【００３８】
制御部２０１は、テレビジョン装置２００の各部を制御するように構成されている。具体的には、制御部２０１は、各種アプリケーションを起動して実行するように構成されている。また、制御部２０１は、通信部２０２を介して携帯端末１００からの操作位置情報および操作動作情報を受信可能に構成されている。また、制御部２０１は、携帯端末１００から受信した操作位置情報および操作動作情報に基づいて、表示部２０３にポインタを表示させるように構成されている。また、制御部２０１は、携帯端末１００から受信した操作位置情報および操作動作情報に基づいて、テレビジョン装置２００の動作を制御するように構成されている。また、制御部２０１は、チューナ２０４により受信したテレビジョン信号に基づく映像を表示部２０３に表示させるように構成されている。
【００３９】
また、制御部２０１は、図４に示すように、アプリケーションを起動するアイコン２０３ｂを表示部２０３に表示させるように構成されている。また、制御部２０１は、基準マーク２０３ａを含む表示画像を表示部２０３に表示させるように構成されている。具体的には、制御部２０１は、Ａ行〜Ｅ行の５行で、１列〜５列の５列の格子状に所定の間隔を隔てて配列された基準マーク２０３ａを他の画像と重ね合わせて表示部２０３に可視的に表示させるように構成されている。なお、基準マーク２０３ａを表示部２０３に表示させるタイミングはユーザにより設定可能に構成されている。たとえば、テレビジョン装置２００の電源がＯＮにされた場合や、遠隔操作を行うための操作が行われた場合などに、基準マーク２０３ａを表示部２０３に表示させるように設定することが可能である。
【００４０】
また、制御部２０１は、図５に示すように、複数の基準マーク２０３ａを互いに識別可能に表示部２０３に表示させるように構成されている。なお、図４および図５において、基準マーク２０３ａを強調して大きめに図示している。しかし、実際は、テレビジョン装置２００を視聴する場合に、邪魔にならない程度で、かつ、携帯端末１００のカメラ１０５により検出できる程度の大きさの基準マーク２０３ａが表示部２０３に表示される。
【００４１】
通信部２０２は、携帯端末１００と通信可能に構成されている。具体的には、通信部２０２は、ＬＡＮ３００を介して携帯端末１００から操作位置情報および操作動作情報を受信可能に構成されている。また、通信部２０２は、ＬＡＮ３００を介してインターネットの情報を送受信可能に構成されている。
【００４２】
表示部２０３は、液晶パネル（図示せず）と、バックライト（図示せず）とを含む。また、表示部２０３は、放送波に基づく映像を表示可能に構成されている。また、表示部２０３は、テレビジョン装置２００の実行しているアプリケーションに基づく画像を表示可能に構成されている。また、表示部２０３は、基準マーク２０３ａを含む表示画像を出力（表示）可能に構成されている。また、表示部２０３には、タッチパネル２０６が一体的に設けられている。タッチパネル２０６は、複数の指やタッチペンなどで同時に触れて操作することが可能なマルチタッチに対応している。チューナ２０４は、アンテナ２０５を介して放送波を受信可能に構成されている。
【００４３】
次に、図６を参照して、携帯端末１００の制御部１０１による遠隔操作送信処理について説明する。
【００４４】
ユーザにより遠隔操作のためのアプリケーションを起動するための操作が行われると、図６のステップＳ１において、携帯端末１００の制御部１０１は、遠隔操作のためのアプリケーションを起動する制御を行う。制御部１０１は、ステップＳ２において、カメラ１０５を起動させる。制御部１０１は、ステップＳ３において、カメラ１０５から入力したテレビジョン装置２００の表示部２０３の画像を表示部１０３に表示（ライブビュー）させる制御を行う。
【００４５】
制御部１０１は、ステップＳ４において、カメラ１０５から入力した画像（取得画像）から基準マーク２０３ａを検出する。また、制御部１０１は、検出した基準マーク２０３ａに基づいて、表示画像の一部分に対応する取得画像の位置を認識する。制御部１０１は、ステップＳ５において、ユーザの操作によるタッチパネル１０４へのタッチ位置（操作が行われた位置）を取得する。
【００４６】
ここで、本実施形態では、制御部１０１は、ステップＳ６において、取得画像の位置およびタッチ位置に基づいて、テレビジョン装置２００の表示部２０３に表示された表示画像中の操作位置を算出して、操作位置情報を取得する。また、制御部１０１は、ユーザのタッチパネル１０４への操作に基づいて、操作動作情報を取得する。制御部１０１は、ステップＳ７において、操作位置情報を通信部１０２を介してテレビジョン装置２００に送信する。また、制御部１０１は、操作動作情報を通信部１０２を介してテレビジョン装置２００に送信する。その後、遠隔操作のためのアプリケーションを終了させる操作が行われるまで、ステップＳ３〜Ｓ７の処理が繰り返される。
【００４７】
次に、図７を参照して、テレビジョン装置２００の制御部２０１による遠隔操作受信処理について説明する。
【００４８】
ユーザによりテレビジョン装置２００の電源をＯＮにする操作が行われると、図７のステップＳ１１において、テレビジョン装置２００の制御部２０１は、複数の基準マーク２０３ａを表示部２０３に表示させる。具体的には、制御部２０１は、５行×５列の基準マーク２０３ａ（図４参照）を表示部２０３に表示させる。
【００４９】
制御部２０１は、ステップＳ１２において、携帯端末１００から操作位置情報を受信したか否かを判断する。制御部２０１は、操作位置情報を受信するまでステップＳ１２の判断を繰り返す。携帯端末１００から操作位置情報を受信したら、制御部２０１は、ステップＳ１３において、操作位置情報に基づいた表示画面の位置にポインタを表示させる。
【００５０】
制御部２０１は、ステップＳ１４において、携帯端末１００から受信した操作位置情報および操作動作情報に基づいて、テレビジョン装置２００の動作を制御する。制御部２０１は、ステップＳ１５において、動作に応じて表示部２０３に表示する画像を更新する。その後、遠隔操作を終了させる操作が行われるまで、ステップＳ１２〜Ｓ１５の処理が繰り返される。
【００５１】
本実施形態では、上記のように、テレビジョン装置２００により出力されて表示された表示画像中の基準マーク２０３ａを含む取得画像に基づいて操作が行われた位置の操作位置情報を取得するとともに、操作位置情報を通信部１０２を介してテレビジョン装置２００に送信する制御を行う制御部１０１を携帯端末１００に設けることによって、テレビジョン装置２００により出力されて表示される表示画像をカメラ１０５により検出して取得し、その取得した取得画像に基づくユーザの操作を携帯端末１００により受付けることができるので、携帯端末１００側で、遠隔操作を行う電子機器ごとに対応する操作ボタンの情報や操作のための信号コードなどを取得する処理が必要ない。また、カメラ１０５により検出して取得した取得画像で受付けたユーザによる操作の操作位置情報がテレビジョン装置２００に送信されるので、携帯端末１００側で、テレビジョン装置２００を遠隔操作するために表示部１０３に操作ボタンを表示する処理が必要ない。これらの結果、テレビジョン装置２００を遠隔操作する際の携帯端末１００の処理負担を軽減することができる。
【００５２】
また、本実施形態では、上記のように、携帯端末１００の制御部１０１を、テレビジョン装置２００により出力されて表示される表示画像中の複数の基準マーク２０３ａをカメラ１０５により検出して取得することによって、表示画像の一部分に対応する取得画像の位置を認識するように構成する。これにより、表示画像全体に対応する取得画像をカメラ１０５により検出して携帯端末１００の比較的小さい表示部１０３に表示する場合と異なり、携帯端末１００の小さい表示部１０３に表示画像の一部分が拡大されて表示されるので、操作を容易に行うことができる。
【００５３】
また、本実施形態では、上記のように、携帯端末１００の制御部１０１を、テレビジョン装置２００により出力されて表示される表示画像中の格子状に配置された複数の基準マーク２０３ａのうち３以上の基準マーク２０３ａをカメラ１０５により検出して取得することによって、表示画像の一部分に対応する取得画像の位置を認識するように構成する。これにより、カメラ１０５により表示画像を正面から捉えて検出しなくても、格子状に配置された複数の基準マーク２０３ａのうち３以上の基準マーク２０３ａを検出することにより、表示画像の一部分に対応する取得画像の位置を確実に認識することができる。
【００５４】
また、本実施形態では、上記のように、携帯端末１００の制御部１０１を、カメラ１０５により検出した基準マーク２０３ａと操作が行われた位置との相対位置に基づいて、操作位置情報を取得するように構成することによって、基準マーク２０３ａから操作が行われた位置への相対位置を取得することにより、操作位置情報を容易に取得することができる。
【００５５】
また、本実施形態では、上記のように、携帯端末１００の制御部１０１を、操作位置情報に加えて、操作動作に基づく操作動作情報を通信部１０２を介してテレビジョン装置２００に送信する制御を行うように構成することによって、携帯端末１００の処理負担を軽減しながらテレビジョン装置２００をより多様に遠隔操作することができる。
【００５６】
また、本実施形態では、上記のように、携帯端末１００の制御部１０１を、表示部１０３の操作位置を移動させる操作、および、カメラ１０５により取得する取得画像の位置が移動することにより相対的に操作位置が移動される操作に基づく操作動作情報を通信部１０２を介してテレビジョン装置２００に送信する制御を行うように構成することによって、操作位置を移動させながら行う操作を遠隔操作により容易に行うことができる。
【００５７】
また、本実施形態では、上記のように、携帯端末１００の制御部１０１を、取得画像中の基準マーク２０３ａの位置の変化に基づいて、取得画像の位置の変化を検知するように構成することによって、基準マーク２０３ａの位置の変化に基づいて、取得画像の位置の変化を容易に検知することができるので、操作動作情報を容易に取得して通信部１０２を介してテレビジョン装置２００に送信することができる。
【００５８】
また、本実施形態では、上記のように、携帯端末１００の制御部１０１を、加速度センサ１０６により検知した携帯端末１００の移動に基づいて、取得画像の位置の変化を検知するように構成することによって、加速度センサ１０６により検知した携帯端末１００の移動に基づいて、取得画像の位置の変化を容易に検知することができるので、操作動作情報を容易に取得して通信部１０２を介してテレビジョン装置２００に送信することができる。
【００５９】
また、本実施形態では、上記のように、操作が行われた位置を検知するタッチパネル１０４を携帯端末１００に設けることによって、タッチパネル１０４により操作が行われた位置を容易に検知して操作位置情報を容易に取得することができる。
【００６０】
また、本実施形態では、上記のように、タッチパネル形式の表示部２０３をテレビジョン装置２００に設けることによって、遠隔操作することが困難であるタッチパネル２０６による操作が可能なテレビジョン装置２００を、携帯端末１００のタッチパネル１０４の操作により容易に遠隔操作することができる。
【００６１】
なお、今回開示された実施形態は、すべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は、上記した実施形態の説明ではなく特許請求の範囲によって示され、さらに特許請求の範囲と均等の意味および範囲内でのすべての変更が含まれる。
【００６２】
たとえば、上記実施形態では、本発明の電子機器として、表示部を備えたテレビジョン装置を用いる構成の例を示したが、本発明はこれに限られない。本発明では、電子機器としてテレビジョン装置以外の機器を用いてもよい。たとえば、表示部を備えたテレビジョン装置以外の表示装置（モニター）を本発明の電子機器として用いてもよい。また、図８に示すように、表示部を備えずに、外部に映像を出力するＳＴＢ（セットトップボックス）４００を、本発明の電子機器として用いてもよい。この場合、ＳＴＢ４００には、出力する映像を表示させるためのテレビジョン装置などの表示装置が接続されている。また、表示部を備えずに、外部に映像を出力するレコーダなどを、本発明の電子機器として用いてもよい。
【００６３】
また、上記実施形態では、基準マーク（位置情報）を可視的に表示させる構成の例を示したが、本発明はこれに限られない。本発明では、位置情報を不可視的に表示させてもよい。たとえば、位置情報を赤外光を用いて表示してもよいし、マーカレスＡＲ（拡張現実）を用いて表示してもよい。また、位置情報を可視的に表示させる場合に、ＱＲコード（登録商標）などのコードを表示させてもよい。
【００６４】
また、上記実施形態では、５行×５列の基準マーク（位置情報）が表示される構成の例を示したが、本発明はこれに限られない。本発明では、５行×５列以外の格子状に配置された基準マークを表示させてもよい。また、図９に示すように、基準マークを格子状に配置しなくてもよい。この場合、図１０に示すように、画像取得部により検出して取得した３つの基準マークと操作が行われた位置との相対位置に基づいて、操作位置情報を取得してもよい。
【００６５】
また、上記実施形態では、３以上の基準マーク（位置情報）をカメラ（画像取得部）により検出して取得する構成の例を示したが、本発明はこれに限られない。本発明では、２以上の複数の基準マークを画像取得部により検出して取得する構成であってもよい。また、３以上の基準マークを画像取得部により検出して取得する場合、少なくとも１つは同一直線上にない３以上の複数の基準マークをカメラにより検出して取得する構成であってもよい。
【００６６】
また、上記実施形態では、表示部の操作位置を移動させる操作、および、画像取得部により取得する取得画像の位置が移動することにより相対的に操作位置が移動される操作に基づく操作動作情報を通信部を介して電子機器に送信する制御を行う構成の例を示したが、本発明はこれに限られない。本発明では、表示部の操作位置を移動させる操作、および、画像取得部により取得する取得画像の位置が移動することにより相対的に操作位置が移動される操作のうち少なくとも１つを含む操作に基づく操作動作情報を通信部を介して電子機器に送信する制御を行う構成であってもよい。
【００６７】
また、上記実施形態では、携帯端末からテレビジョン装置（電子機器）にＬＡＮを介して操作位置情報が送信される構成の例を示したが、本発明はこれに限られない。本発明では、携帯端末から電子機器にＬＡＮを介さずに操作位置情報を送信する構成であってもよい。たとえば、赤外線を用いて操作位置情報が直接送信されてもよいし、Ｂｌｕｅｔｏｏｔｈ（登録商標）などの無線通信により操作位置情報が直接送信されてもよい。また、ＬＡＮ以外のネットワークを介して操作位置情報が送信されてもよい。
【００６８】
また、上記実施形態では、テレビジョン装置（電子機器）がタッチパネルを備える構成の例を示したが、本発明はこれに限られない。本発明では、電子機器は、タッチパネルを備えていなくてもよい。
【００６９】
また、上記実施形態では、テレビジョン装置（電子機器）の電源がＯＮになった場合に、基準マーク（位置情報）を表示させる構成の例を示したが、本発明はこれに限られない。本発明では、電子機器の電源がＯＮになった場合以外のタイミングで、位置情報を表示させる構成であってもよい。たとえば、電子機器の電源がＯＮの状態で遠隔操作を行うための操作がユーザにより行われた場合に、位置情報を表示させる構成であってもよい。
【００７０】
また、上記実施形態では、説明の便宜上、制御部の処理動作を処理フローに沿って順番に処理を行うフロー駆動型のフローチャートを用いて説明したが、本発明はこれに限られない。本発明では、制御部の処理動作を、イベント単位で処理を実行するイベント駆動型（イベントドリブン型）の処理により行ってもよい。この場合、完全なイベント駆動型で行ってもよいし、イベント駆動およびフロー駆動を組み合わせて行ってもよい。
【符号の説明】
【００７１】
１  遠隔操作システム
１００  携帯端末
１０１  制御部
１０２  通信部
１０３  表示部
１０４  タッチパネル
１０５  カメラ（画像取得部）
１０６  加速度センサ
２００  テレビジョン装置（電子機器）
２０３  表示部
２０３ａ  基準マーク（位置情報）
４００  ＳＴＢ（電子機器）
【図１】
2014120879.tif 000003
【図２】
2014120879.tif 000004
【図３】
2014120879.tif 000005
【図４】
2014120879.tif 000006
【図５】
2014120879.tif 000007
【図６】
2014120879.tif 000008
【図７】
2014120879.tif 000009
【図８】
2014120879.tif 000010
【図９】
2014120879.tif 000011
【図１０】
2014120879.tif 000012