(57)【要約】      （修正有）【課題】操作機器側の処理が複雑化するのを抑制可能な表示操作システムおよび被操作機器を提供する。【解決手段】表示操作システム１００は、撮像部により撮像された表示画像とタッチパネル部２５により受け付けられた操作情報とを取得するとともに、撮像部により撮像された表示画像と表示部１２に表示された表示画像との対応関係をパターンマッチングにより特定して、タッチパネル部２５により受け付けられた操作情報に対応した操作制御を行う。【選択図】図２
2015106244.tif 000002
【特許請求の範囲】
【請求項１】
被操作機器と、
前記被操作機器を操作する操作機器とを備え、
前記被操作機器は、表示画像を表示する被操作機器側表示部と、前記操作機器と通信を行う被操作機器側通信部と、前記被操作機器側表示部の表示内容を制御する被操作機器側制御部とを含み、
前記操作機器は、前記被操作機器側表示部に表示された少なくとも一部の表示画像を撮像するための操作機器側撮像部と、前記操作機器側撮像部により撮像された表示画像を表示する操作機器側表示部と、前記操作機器側表示部に表示された表示画像に基づいたユーザによるタッチ操作を受け付けるタッチパネル部と、前記被操作機器との通信を行う操作機器側通信部とを含み、
前記被操作機器側制御部は、前記操作機器側通信部および前記被操作機器側通信部を介して、前記操作機器側撮像部により撮像された表示画像と前記タッチパネル部により受け付けられた操作情報とを取得するとともに、前記操作機器側撮像部により撮像された表示画像と前記被操作機器側表示部に表示された表示画像との対応関係をパターンマッチングにより特定して、前記タッチパネル部により受け付けられた前記操作情報に対応した操作制御を行うように構成されている、表示操作システム。
【請求項２】
前記タッチパネル部により受け付けられた前記操作情報は、ユーザが前記操作機器側表示部の画面上をタッチ操作した位置の情報であるタッチ操作位置情報を含み、
前記被操作機器側制御部は、前記操作機器側撮像部により撮像された表示画像および前記タッチ操作位置情報に基づいて、前記操作機器側撮像部により撮像された表示画像と前記被操作機器側表示部に表示された表示画像との対応関係をパターンマッチングにより特定し、かつ、前記被操作機器側表示部に表示された表示画像と前記タッチ操作位置情報との対応関係を特定して、前記タッチ操作位置情報に対応した操作制御を行うように構成されている、請求項１に記載の表示操作システム。
【請求項３】
前記被操作機器側制御部は、前記操作機器側撮像部により撮像された表示画像の一部の画像が前記被操作機器側表示部に表示された表示画像のうちのどの部分の画像であるかをパターンマッチングにより特定して、前記タッチパネル部により受け付けられた前記操作情報に対応した操作制御を行うように構成されている、請求項１または２に記載の表示操作システム。
【請求項４】
前記被操作機器側制御部は、前記操作機器側撮像部により撮像された表示画像のうち前記被操作機器側表示部の外縁部をパターンマッチングにより特定して、前記タッチパネル部により受け付けられた前記操作情報に対応した操作制御を行うように構成されている、請求項１または２に記載の表示操作システム。
【請求項５】
前記タッチ操作位置情報は、前記操作機器側表示部の画面の縦方向の長さに対する割合の値および画面の横方向の長さに対する割合の値の情報で構成されている、請求項２に記載の表示操作システム。
【請求項６】
前記被操作機器側制御部は、所定の操作を行うための操作部画像よりも大きな範囲で前記タッチパネル部におけるタッチ操作を受け付ける制御を行うように構成されている、請求項５に記載の表示操作システム。
【請求項７】
前記被操作機器側制御部は、前記タッチパネル部により受け付けられた前記操作情報により操作の内容が特定できない場合、前記操作の内容をユーザに確認するために、前記被操作機器側表示部に問い合わせの表示を行うように構成されている、請求項１〜６のいずれか１項に記載の表示操作システム。
【請求項８】
前記操作機器は、前記操作機器の傾き情報を検出する傾き検出部を含み、
前記被操作機器側制御部は、前記操作機器側通信部および前記被操作機器側通信部を介して、前記傾き検出部により検出した前記傾き情報を取得するように構成されているとともに、前記操作機器側撮像部により撮像された表示画像と前記タッチパネル部により受け付けられた前記操作情報とに加えて、取得した前記傾き情報にも基づいて、前記操作機器側撮像部により撮像された表示画像と前記被操作機器側表示部に表示された表示画像との対応関係をパターンマッチングにより特定する制御を行うように構成されている、請求項１〜７のいずれか１項に記載の表示操作システム。
【請求項９】
前記被操作機器側制御部は、前記操作機器側撮像部により撮像された表示画像と前記被操作機器側表示部に表示された表示画像との対応関係をパターンマッチングにより特定した後、前記操作機器側撮像部により撮像された表示画像は取得せずに、前記タッチパネル部により受け付けられた前記操作情報を取得するとともに特定した前記操作機器側撮像部により撮像された表示画像と前記被操作機器側表示部に表示された表示画像との対応関係および前記タッチパネル部により受け付けられた前記操作情報に対応した操作制御を行うように構成されている、請求項１〜８のいずれか１項に記載の表示操作システム。
【請求項１０】
前記操作機器は、前記操作機器を設置して固定可能な固定部と、前記操作機器の位置の変化を検出する位置変化検出部とを含み、
前記被操作機器側制御部は、前記操作機器側通信部および前記被操作機器側通信部を介して、前記位置変化検出部により検出した位置変化情報を取得した場合には、前記タッチパネル部により受け付けられた前記操作情報に加えて前記操作機器側撮像部により撮像された表示画像も取得して、前記操作機器側撮像部により撮像された表示画像と前記被操作機器側表示部に表示された表示画像との対応関係をパターンマッチングにより特定する制御を行うように構成されている、請求項９に記載の表示操作システム。
【請求項１１】
表示画像を撮像するための操作機器側撮像部と、前記操作機器側撮像部により撮像された表示画像を表示する操作機器側表示部と、前記操作機器側表示部に表示された表示画像に基づいたユーザによるタッチ操作を受け付けるタッチパネル部と、操作機器側通信部とを備えた操作機器により操作される被操作機器であって、
前記表示画像を表示する被操作機器側表示部と、
前記操作機器との通信を行う被操作機器側通信部と、
前記被操作機器側表示部の表示内容を制御する被操作機器側制御部とを備え、
前記被操作機器側制御部は、前記操作機器側通信部および前記被操作機器側通信部を介して、前記操作機器側撮像部により撮像された表示画像と前記タッチパネル部により受け付けられた操作情報とを取得するとともに、前記操作機器側撮像部により撮像された表示画像と前記被操作機器側表示部に表示された表示画像との対応関係をパターンマッチングにより特定して、前記タッチパネル部により受け付けられた前記操作情報に対応した操作制御を行うように構成されている、被操作機器。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、表示操作システムおよび被操作機器に関し、特に、タッチパネル部を含む操作機器により操作される表示操作システムおよび被操作機器に関する。
【背景技術】
【０００２】
従来、タッチパネル部を含む操作機器により操作される表示操作システムおよび被操作機器が知られている（たとえば、特許文献１参照）。
【０００３】
上記特許文献１には、表示部を含む被操作端末と、タッチ操作を検出するタッチスクリーンとを含む操作端末とを備えた遠隔操作システムが開示されている。この遠隔操作システムでは、被操作端末は、被操作端末の表示部の４隅に画像領域を特定するためのマーカーを画像に重ね合わせたマーカー画像を作成して、マーカー画像を表示させるように構成されている。また、操作端末は、カメラによって被操作端末の表示部を撮像したカメラ画像を表示するとともに、カメラ画像を拡大して表示したタッチスクリーンへのタッチ操作を検出すると、カメラ画像に映っているマーカー画像上におけるタッチ位置の相対位置情報を計算する制御を行うように構成されている。そして、被操作端末は、計算されたタッチ位置の相対位置情報を取得して、取得した相対位置情報を、マーカー画像上の位置を示す絶対位置情報に変換して操作制御を行うように構成されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１２−８９０６８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、上記特許文献１に記載の遠隔操作システムでは、操作端末は、被操作端末の表示部に表示された４隅の画像領域を特定するためのマーカーを撮像して、カメラ画像に映っているマーカー画像上におけるタッチ位置の相対位置情報を計算する必要があるため、操作端末側の処理が複雑になるという問題点がある。
【０００６】
この発明は、上記のような課題を解決するためになされたものであり、この発明の１つの目的は、操作機器側の処理が複雑化するのを抑制可能な表示操作システムおよび被操作機器を提供することである。
【課題を解決するための手段】
【０００７】
上記目的を達成するために、この発明の第１の局面による表示操作システムは、被操作機器と、被操作機器を操作する操作機器とを備え、被操作機器は、表示画像を表示する被操作機器側表示部と、操作機器と通信を行う被操作機器側通信部と、被操作機器側表示部の表示内容を制御する被操作機器側制御部とを含み、操作機器は、被操作機器側表示部に表示された少なくとも一部の表示画像を撮像するための操作機器側撮像部と、操作機器側撮像部により撮像された表示画像を表示する操作機器側表示部と、操作機器側表示部に表示された表示画像に基づいたユーザによるタッチ操作を受け付けるタッチパネル部と、被操作機器との通信を行う操作機器側通信部とを含み、被操作機器側制御部は、操作機器側通信部および被操作機器側通信部を介して、操作機器側撮像部により撮像された表示画像とタッチパネル部により受け付けられた操作情報とを取得するとともに、操作機器側撮像部により撮像された表示画像と被操作機器側表示部に表示された表示画像との対応関係をパターンマッチングにより特定して、タッチパネル部により受け付けられた操作情報に対応した操作制御を行うように構成されている。
【０００８】
この発明の第１の局面による表示操作システムでは、上記のように、被操作機器側制御部は、操作機器側撮像部により撮像された表示画像と被操作機器側表示部に表示された表示画像との対応関係をパターンマッチングにより特定する制御を行うことによって、マーカー画像を使用する場合と異なり、撮像された表示画像に映っているマーカー画像上におけるタッチ位置の相対位置情報を操作機器が計算する必要がない分、操作機器側の処理が複雑化するのを抑制することができる。
【０００９】
上記第１の局面による表示操作システムにおいて、好ましくは、タッチパネル部により受け付けられた操作情報は、ユーザが操作機器側表示部の画面上をタッチ操作した位置の情報であるタッチ操作位置情報を含み、被操作機器側制御部は、操作機器側撮像部により撮像された表示画像およびタッチ操作位置情報に基づいて、操作機器側撮像部により撮像された表示画像と被操作機器側表示部に表示された表示画像との対応関係をパターンマッチングにより特定し、かつ、被操作機器側表示部に表示された表示画像とタッチ操作位置情報との対応関係を特定して、タッチ操作位置情報に対応した操作制御を行うように構成されている。このように構成すれば、被操作機器側制御部は、パターンマッチングによる表示画像の対応関係の特定と、タッチ操作位置情報による操作位置の特定とにより、容易に、ユーザの操作内容を特定することができる。
【００１０】
上記第１の局面による表示操作システムにおいて、好ましくは、被操作機器側制御部は、操作機器側撮像部により撮像された表示画像の一部の画像が被操作機器側表示部に表示された表示画像のうちのどの部分の画像であるかをパターンマッチングにより特定して、タッチパネル部により受け付けられた操作情報に対応した操作制御を行うように構成されている。このように構成すれば、ユーザは、被操作機器側表示部に表示された表示画像のうちのタッチ操作する範囲のみを操作機器側撮像部により撮像して、拡大表示する操作を行わないで、タッチ操作することができるので、拡大表示するための操作が必要ない分、ユーザにとっての操作性を向上することができる。たとえば、操作機器側表示部が小さい携帯型操作機器であっても、拡大表示する必要がない。
【００１１】
上記第１の局面による表示操作システムにおいて、好ましくは、被操作機器側制御部は、操作機器側撮像部により撮像された表示画像のうち被操作機器側表示部の外縁部をパターンマッチングにより特定して、タッチパネル部により受け付けられた操作情報に対応した操作制御を行うように構成されている。このように構成すれば、被操作機器側表示部の全体を操作機器のタッチパネル部により操作することができる。
【００１２】
上記受け付けられた操作情報がタッチ操作位置情報を含む表示操作システムにおいて、好ましくは、タッチ操作位置情報は、操作機器側表示部の画面の縦方向の長さに対する割合の値および画面の横方向の長さに対する割合の値の情報で構成されている。ここで、タッチ操作位置情報をピクセル（画素）数単位で表した場合、タッチ操作位置情報に加えて操作機器の端末情報（画素数）も必要となる。これに対して、タッチ操作位置情報を、操作機器側表示部の画面の縦方向の長さに対する割合の値および画面の横方向の長さに対する割合の値の情報で構成することにより、被操作機器側制御部は、操作機器の端末情報を取得する必要がない分、処理を簡略化することができる。
【００１３】
この場合、好ましくは、被操作機器側制御部は、所定の操作を行うための操作部画像よりも大きな範囲でタッチパネル部におけるタッチ操作を受け付ける制御を行うように構成されている。このように構成すれば、タッチパネル部への指の置き方または手振れ等によって、タッチ操作位置と操作部画像の位置とがずれている場合でも、タッチ操作を受け付けることができるので、ユーザは、容易にタッチ操作することができる。
【００１４】
上記第１の局面による表示操作システムにおいて、好ましくは、被操作機器側制御部は、タッチパネル部により受け付けられた操作情報により操作の内容が特定できない場合、操作の内容をユーザに確認するために、被操作機器側表示部に問い合わせの表示を行うように構成されている。このように構成すれば、操作の内容がユーザに確認されるので、ユーザが意図しない操作制御が行われることを抑制することができる。
【００１５】
上記第１の局面による表示操作システムにおいて、好ましくは、操作機器は、操作機器の傾き情報を検出する傾き検出部を含み、被操作機器側制御部は、操作機器側通信部および被操作機器側通信部を介して、傾き検出部により検出した傾き情報を取得するように構成されているとともに、操作機器側撮像部により撮像された表示画像とタッチパネル部により受け付けられた操作情報とに加えて、取得した傾き情報にも基づいて、操作機器側撮像部により撮像された表示画像と被操作機器側表示部に表示された表示画像との対応関係をパターンマッチングにより特定する制御を行うように構成されている。このように構成すれば、操作機器が被操作機器に対して傾けられた場合でも、被操作機器側制御部は、操作機器側撮像部により撮像された表示画像と被操作機器側表示部に表示された表示画像との対応関係を、正確に特定することができる。
【００１６】
上記第１の局面による表示操作システムにおいて、好ましくは、被操作機器側制御部は、操作機器側撮像部により撮像された表示画像と被操作機器側表示部に表示された表示画像との対応関係を特定した後、操作機器側撮像部により撮像された表示画像は取得せずに、タッチパネル部により受け付けられた操作情報を取得するとともに特定した操作機器側撮像部により撮像された表示画像と被操作機器側表示部に表示された表示画像との対応関係およびタッチパネル部により受け付けられた操作情報に対応した操作制御を行うように構成されている。このように構成すれば、操作機器側撮像部により撮像された表示画像と被操作機器側表示部に表示された表示画像との対応関係を特定した後には、操作機器側撮像部により撮像された表示画像は取得しないので、操作機器側撮像部により撮像された表示画像の通信を行わない分、被操作機器側制御部の処理を簡略化することができる。
【００１７】
この場合、好ましくは、操作機器は、操作機器を設置して固定可能な固定部と、操作機器の位置の変化を検出する位置変化検出部とを含み、被操作機器側制御部は、操作機器側通信部および被操作機器側通信部を介して、位置変化検出部により検出した位置変化情報を取得した場合には、タッチパネル部により受け付けられた操作情報に加えて操作機器側撮像部により撮像された表示画像も取得して、操作機器側撮像部により撮像された表示画像と被操作機器側表示部に表示された表示画像との対応関係をパターンマッチングにより特定する制御を行うように構成されている。このように構成すれば、操作機器の位置の変化を検出した場合、操作機器側撮像部により撮像された表示画像と被操作機器側表示部に表示された表示画像との対応関係をパターンマッチングにより改めて特定することができるので、ユーザが、操作機器の位置を変化させた場合でも、正確に対応関係を特定することができる。
【００１８】
この発明の第２の局面による被操作機器は、表示画像を撮像するための操作機器側撮像部と、操作機器側撮像部により撮像された表示画像を表示する操作機器側表示部と、操作機器側表示部に表示された表示画像に基づいたユーザによるタッチ操作を受け付けるタッチパネル部と、操作機器側通信部とを備えた操作機器により操作される被操作機器であって、被操作機器は、表示画像を表示する被操作機器側表示部と、操作機器との通信を行う被操作機器側通信部と、被操作機器側表示部の表示内容を制御する被操作機器側制御部とを備え、被操作機器側制御部は、操作機器側通信部および被操作機器側通信部を介して、操作機器側撮像部により撮像された表示画像とタッチパネル部により受け付けられた操作情報とを取得するとともに、操作機器側撮像部により撮像された表示画像と被操作機器側表示部に表示された表示画像との対応関係をパターンマッチングにより特定して、タッチパネル部により受け付けられた操作情報に対応した操作制御を行うように構成されている。
【００１９】
この発明の第２の局面による被操作機器では、上記のように、被操作機器側制御部は、操作機器側撮像部により撮像された表示画像と被操作機器側表示部に表示された表示画像との対応関係をパターンマッチングにより特定する制御を行うことによって、マーカー画像を使用する場合と異なり、撮像された表示画像に映っているマーカー画像上におけるタッチ位置の相対位置情報を操作機器が計算する必要がない分、操作機器側の処理が複雑化するのを抑制することができる。
【発明の効果】
【００２０】
本発明によれば、上記のように、操作機器側の処理が複雑化するのを抑制可能な表示操作システムおよび被操作機器を提供することができる。
【図面の簡単な説明】
【００２１】
【図１】本発明の第１実施形態による表示操作システムの全体構成を示したブロック図である。
【図２】本発明の第１実施形態による表示操作システムを示した平面図である。
【図３】本発明の第１実施形態による操作情報を説明するための図である。
【図４】本発明の第１実施形態によるタッチ操作位置に対応したカーソル表示を説明するための図である。
【図５】本発明の第１実施形態による操作部画像の「戻る」ボタンを説明するための図である。
【図６】本発明の第１実施形態による操作範囲を説明するための図である。
【図７】本発明の第１実施形態によるタッチ操作位置の問い合わせを説明するための図である。
【図８】本発明の第１実施形態によるパターンマッチングを説明するための図である。
【図９】本発明の第１実施形態による表示操作システムの表示操作処理を説明するためのフローチャートである。
【図１０】本発明の第１実施形態による表示操作システムの全体構成を示したブロック図である。
【図１１】本発明の第２実施形態による操作機器の構成を説明するための図である。
【図１２】本発明の第２実施形態による表示操作システムの表示操作処理を説明するためのフローチャートである。
【図１３】本発明の第２実施形態による表示操作システムの表示操作処理を説明するためのフローチャートである。
【図１４】本発明の第３実施形態による表示操作システムの全体構成を示したブロック図である。
【図１５】本発明の第３実施形態による表示操作システムを示した平面図である。
【図１６】本発明の第３実施形態による表示操作システムの表示操作処理を説明するためのフローチャートである。
【図１７】本発明の第１〜第３実施形態による操作機器の変形例を説明するための図である。
【発明を実施するための形態】
【００２２】
以下、本発明の実施形態を図面に基づいて説明する。
【００２３】
（第１実施形態）
まず、図１〜図７を参照して、本発明の第１実施形態による表示操作システム１００の構成を説明する。
【００２４】
第１実施形態による表示操作システム１００は、図１に示すように、ＴＶ１と、ＴＶ１を操作するスマートフォン２とを備えている。なお、ＴＶ１は、本発明の「被操作機器」の一例である。また、スマートフォン２は、本発明の「操作機器」の一例である。
【００２５】
また、図１に示すように、ＴＶ１は、ＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）１１と、表示部１２と、無線ＬＡＮ（Ｌｏｃａｌ  Ａｒｅａ  Ｎｅｔｗｏｒｋ）通信部１３と、放送受信部１４とを備えている。なお、ＣＰＵ１１は、本発明の「被操作機器側制御部」の一例である。また、無線ＬＡＮ通信部１３は、本発明の「被操作機器側通信部」の一例である。
【００２６】
そして、図１に示すように、表示部１２は、液晶パネル等で構成されており表示画像を表示するように構成されている。また、無線ＬＡＮ通信部１３は、無線通信によって、スマートフォン２と通信可能に構成されている。また、放送受信部１４は、放送された映像音声信号を受信可能に構成されている。そして、ＣＰＵ１１は、無線ＬＡＮ通信部１３を介して、インターネット１５上のウェブブラウザコンテンツを取得するとともに、表示部１２に取得したウェブブラウザコンテンツを表示するように構成されている。また、ＣＰＵ１１は、放送受信部１４により受信した放送ブラウザコンテンツを、表示部１２に表示するように構成されている。なお、以下、表示部１２に表示中のブラウザコンテンツは、表示画像として記載する。
【００２７】
また、図１に示すように、スマートフォン２は、ＣＰＵ２１と、表示部２２と、無線ＬＡＮ通信部２３と、撮像部２４と、タッチパネル部２５と、加速度センサ２６とを備える。なお、無線ＬＡＮ通信部２３は、本発明の「操作機器側通信部」の一例である。また、加速度センサ２６は、本発明の「傾き検出部」の一例である。
【００２８】
そして、図２に示すように、スマートフォン２の撮像部２４は、ＴＶ１の表示部１２に表示された表示画像を撮像するように構成されている。そして、スマートフォン２のＣＰＵ２１は、撮像部２４により撮像した表示画像をスマートフォン２の表示部２２に表示するように構成されている。また、タッチパネル部２５は、表示部２２と一体的に構成されており、タッチペンやユーザ（ユーザの指）Ｕなどを用いてタッチ操作された内容を受け付ける投影型静電容量式タッチパネルを含む。また、加速度センサ２６は、スマートフォン２に対する重力加速度の方向等を検出することによって、スマートフォン２の傾きを検出するように構成されている。
【００２９】
そして、図２に示すように、ＴＶ１とスマートフォン２とは、無線ＬＡＮ通信部１３および無線ＬＡＮ通信部２３を介して、通信可能に構成されており、ＣＰＵ１１およびＣＰＵ２１は、ＮＴＰ（Ｎｅｔｗｏｒｋ  Ｔｉｍｅ  Ｐｒｏｔｏｃｏｌ）を用いて、時間を同期する制御を行うように構成されている。
【００３０】
ここで、第１実施形態では、図２に示すように、ＴＶ１のＣＰＵ１１は、無線ＬＡＮ通信部１３および無線ＬＡＮ通信部２３を介して、撮像部２４により撮像された表示画像とタッチパネル部２５により受け付けられた操作情報とを取得するように構成されている。スマートフォン２のＣＰＵ２１は、タッチパネル部２５がユーザＵのタッチ操作を受け付けた場合、ユーザＵによってタッチ操作された位置の情報であるタッチ操作位置情報を取得するように構成されている。また、ＣＰＵ２１は、タッチ操作位置情報を、タッチパネル部２５がユーザＵによってタッチされている範囲のうち重心を算出して取得するように構成されている。
【００３１】
そして、タッチ操作位置情報は、図３に示すように、スマートフォン２の表示部２２の画面の縦方向の長さに対する割合の値および画面の横方向の長さに対する割合の値の情報で構成されている。たとえば、図３では、タッチ操作位置情報は、表示部２２の画面上の上端から下端に向かって画面の縦方向の長さに対する割合が０．６であるとともに、表示部２２の画面上の左端から右端に向かって画面の横方向の長さに対する割合が０．８である。
【００３２】
そして、図２に示すように、スマートフォン２のＣＰＵ２１は、無線ＬＡＮ通信部２３を介して、タッチ操作位置情報をＴＶ１に送信するように構成されており、ＴＶ１のＣＰＵ１１は、無線ＬＡＮ通信部１３を介して、タッチ操作位置情報を取得するように構成されている。
【００３３】
また、第１実施形態では、図１に示すように、スマートフォン２は、スマートフォン２の傾き情報を検出する加速度センサ２６を含む。そして、スマートフォン２のＣＰＵ２１は、無線ＬＡＮ通信部２３を介して、撮像部２４により撮像された表示画像と、タッチ操作位置情報と、傾き情報とをＴＶ１に送信するように構成されている。そして、ＣＰＵ１１は、無線ＬＡＮ通信部１３を介して、送信された撮像部２４により撮像された表示画像と、タッチ操作位置情報と、傾き情報とを取得するように構成されている。
【００３４】
また、第１実施形態では、ＴＶ１のＣＰＵ１１は、撮像部２４により撮像された表示画像と表示部１２に表示された表示画像とタッチパネル部２５により受け付けられた操作情報とに加えて、取得した傾き情報にも基づいて、撮像部２４により撮像された表示画像と表示部１２に表示された表示画像との対応関係を後述するパターンマッチング（図８参照）により特定する制御を行うように構成されている。
【００３５】
また、図２に示すように、ＴＶ１のＣＰＵ１１は、パターンマッチングにより特定された、ＴＶ１の表示部１２の表示画像のうちの撮像部２４により撮像された表示画像がどの範囲であるかを示す表示（図２の点線四角形Ａ）を表示部１２に表示するように構成されている。
【００３６】
そして、第１実施形態では、図２に示すように、ＴＶ１のＣＰＵ１１は、タッチパネル部２５により受け付けられた操作情報に対応した操作制御を行うように構成されている。具体的には、ＣＰＵ１１は、パターンマッチングにより特定した画像と、取得したタッチ操作位置情報とに基づいて、ユーザＵによってタッチ操作された位置が、表示部１２に表示されている表示画像における所定の操作を行うための操作部画像に対応している場合、所定の操作を行うように構成されている。操作部画像は、いわゆる、ユーザＵが操作部画像に基づいて操作するためのＧＵＩ（Ｇｒａｐｈｉｃａｌ  Ｕｓｅｒ  Ｉｎｔｅｒｆａｃｅ）として構成されている。たとえば、図２に示すように、ＣＰＵ１１は、「ＯＫ」ボタン（図２符号Ｃ）の画像に対応する位置がタッチ操作により操作されたと判断した場合、「ＯＫ」ボタンの画像に予め定められている操作制御を行うように構成されている。
【００３７】
また、図２に示すように、ＴＶ１のＣＰＵ１１は、パターンマッチングにより特定した画像と、上記取得したタッチ操作位置情報とに基づいて、ユーザＵによってタッチ操作された位置に対応する箇所を表示部１２にカーソル（図２丸印Ｂ）表示するように構成されている。また、図４に示すように、ＣＰＵ１１は、ユーザＵによって連続的にタッチ操作した場合（位置Ｐ１から位置Ｐ２にタッチパネル部２５をタッチ操作しながら移動させた場合）、表示部１２に軌跡（図４直線Ｂ１）を表示するように構成されている。これにより、ユーザＵは、タッチ操作した位置が、意図した表示部１２の画面上の位置に対応しているか確認することができる。
【００３８】
また、図５に示すように、スマートフォン２のＣＰＵ２１は、ユーザＵによりタッチ操作されることによって行われた所定の操作を戻す、いわゆる、「戻る」ボタン（図５符号Ｃ１、なお、図５以外の図には図示せず）をスマートフォン２の表示部２２に表示するように構成されている。表示部２２に表示された「戻る」ボタンを、ユーザＵによってタッチ操作された場合、ＣＰＵ２１は、無線ＬＡＮ通信部２３を介して、ユーザＵによってタッチ操作されることによって行われた所定の操作を戻すための信号を送付するように構成されている。そして、ＣＰＵ１１は、無線ＬＡＮ通信部１３を介して、所定の操作を戻すための信号を取得して、所定の操作を戻す操作制御を行うように構成されている。これにより、ユーザＵは、表示画像（ブラウザコンテンツ）を操作中に、意図しないタッチ操作を行った場合でも、意図しないタッチ操作を行う以前の表示画像（ブラウザコンテンツ）の状態に戻すことができる。
【００３９】
また、第１実施形態では、図６に示すように、ＴＶ１のＣＰＵ１１は、所定の操作を行うための操作部画像よりも大きな範囲でタッチパネル部２５におけるタッチ操作を受け付ける制御を行うように構成されている。具体的には、図６に示すように、ＣＰＵ１１は、取得したタッチ操作位置情報が、表示部２２に表示されている、所定の操作を行うための操作部画像（図６符号Ｃ２）よりも大きな範囲（ユーザＵの指１本程度の大きい範囲）である操作範囲（図６点線Ａ１）以内であれば、所定の操作を行うための操作部画像をタッチ操作されたものとみなして、操作制御を行うように構成されている。
【００４０】
また、図６に示すように、ＣＰＵ１１は、撮像部２４が表示画像を撮像するズーム率に応じて、所定の操作を行うための表示部画像よりも大きな範囲でタッチパネル部２５にタッチ操作を受け付けさせる制御を行うように構成されている。具体的には、図６（ｂ）に示すように、図６（ａ）と比較して、スマートフォン２の撮像部２４によって撮像された表示画像が表示部１２に表示された表示画像のうち広い範囲である場合（すなわち、図６（ａ）と比較して、撮像部２４のズーム率が小さい場合）、ＣＰＵ１１は、図６（ａ）と比較して、所定の操作を行うための操作部画像（図６符号Ｃ３）に対する操作範囲（図６点線Ａ２）を大きく構成して、操作範囲を表示部１２に表示する制御を行うように構成されている。これにより、撮像部２４のズーム率を小さくして表示部１２を撮像して、表示部２２に表示させている場合、表示部２２に所定の操作を行うための操作部画像が小さく表示される一方、タッチ操作は正確に行うことができる。
【００４１】
また、第１実施形態では、図７に示すように、ＴＶ１のＣＰＵ１１は、タッチパネル部２５により受け付けられた操作情報により操作の内容が特定できない場合、操作の内容をユーザＵに確認するために、表示部１２に問い合わせの表示を行うように構成されている。たとえば、図７（ａ）に示すように、ＣＰＵ１１は、２つの操作部画像の中間点をタッチ操作された場合、図７（ｂ）に示すように、２つの操作部画像とは別個に、より操作の内容の特定を行い易い表示部１２の表示画像上の位置に、操作部画像を追加して表示するとともに、２つの操作部画像のうちのどちらを操作しようとしたのかを、ユーザＵに問い合わせるための表示（図７（ｂ）では、「ここを押しましたか？」という表示）を表示部１２に表示するように構成されている。
【００４２】
次に、図８を参照して、スマートフォン２の撮像部２４により撮像された表示画像とＴＶ１の表示部１２に表示された表示画像との対応関係をパターンマッチングにより特定する動作を説明する。
【００４３】
まず、ＴＶ１のＣＰＵ１１は、取得した傾き情報に基づいて、撮像部２４により撮像された表示画像を補正する制御を行う。たとえば、スマートフォン２の傾きがある状態で、長方形形状を有する表示部１２の表示画像を撮像部２４によって撮像した場合、撮像された表示画像は、台形形状となる。この場合、ＣＰＵ１１は、取得した傾き情報に基づいて、台形形状を長方形形状の表示画像に補正する制御を行う。
【００４４】
そして、図８に示すように、ＴＶ１のＣＰＵ１１は、ＴＶ１の表示部１２に表示されている表示画像の輝度値（図８参照）と傾き情報に基づいて補正された撮像部２４により撮像された表示画像の輝度値（図８のＧ１）とを取得して、各画素に対して、ＳＳＤ（Ｓｕｍ  ｏｆ  Ｓｑｕａｒｅｄ  Ｄｉｆｆｅｒｅｎｃｅ）、すなわち、対応する各画素に対しての差分の２乗値の和の大きさ、または、ＳＡＤ（Ｓｕｍ  ｏｆ  Ａｂｓｏｌｕｔｅ  Ｄｉｆｆｅｒｅｎｃｅ）、すなわち、対応する各画素に対しての差分の絶対値の和の大きさを算出する。そして、ＣＰＵ１１は、算出されたＳＳＤまたはＳＡＤが最も０に近くなる表示部１２の表示画像の一部分（図８のＧ２）が撮像された表示画像であると特定する。
【００４５】
なお、ＣＰＵ１１は、算出されたＳＳＤまたはＳＡＤが所定の値よりも大きい場合には、撮像部２４により撮像された表示画像を特定しないで、スマートフォン２に、無線ＬＡＮ通信部１３を介して、撮像部２４により撮像された表示画像の再送を要求するための信号を送信する。そして、スマートフォン２のＣＰＵ２１は、無線ＬＡＮ通信部２３を介して、撮像部２４により撮像された表示画像の再送を要求するための信号を受信した場合、撮像部２４により撮像された表示画像を送信する。
【００４６】
次に、図９を参照して、第１実施形態による表示操作システム１００の表示操作処理フローについて説明する。ＴＶ１における処理は、ＣＰＵ１１により行われる。また、スマートフォン２における処理は、ＣＰＵ２１により行われる。
【００４７】
まず、図９に示すように、スマートフォン２では、ステップＳ１において、ＴＶ１との時間の同期を開始する。その後、ステップＳ２に進む。そして、ステップＳ２において、撮像部２４によりＴＶ１の表示部１２の表示画像を撮像する。その後、ステップＳ２において、ユーザＵによりタッチパネル部２５へのタッチ操作が行われた場合、ステップＳ３に進む。
【００４８】
次に、ステップＳ３において、撮像部２４により撮像された表示画像をＴＶ１へ送信する。その後、ステップＳ４に進む。ステップＳ４において、傾き情報をＴＶ１へ送信する。そして、ステップＳ５に進む。
【００４９】
そして、ステップＳ５において、ＴＶ１からの撮像された表示画像の再送要求信号を受信したか否かが判断される。撮像された表示画像の再送要求信号を受信した場合、ステップＳ２に戻り、受信しない場合には、ステップＳ６に進む。
【００５０】
そして、ステップＳ６において、タッチ操作位置情報をＴＶ１へ送信する。その後、ステップＳ２に戻る。
【００５１】
一方、ＴＶ１では、ステップＳ１１において、スマートフォン２との時間の同期を開始する。その後、ステップＳ１２に進む。そして、ステップＳ１２において、スマートフォン２から送信された撮像された表示画像と傾き情報とを取得して、表示部１２に表示された表示画像と撮像された表示画像とのパターンマッチングが行われる。その後、ステップＳ１３に進む。
【００５２】
そして、ステップＳ１３において、撮像された表示画像と表示部１２に表示された表示画像の対応関係を特定できたか否かが判断される。対応関係を特定できた場合には、ステップＳ１５に進み、対応関係を特定できない場合には、ステップＳ１４に進む。
【００５３】
そして、ステップＳ１４において、スマートフォン２に撮像された表示画像の再送を要求する再送要求信号を送信する。その後、ステップＳ１２に戻る。
【００５４】
また、ステップＳ１３において、撮像された表示画像と表示部１２に表示された表示画像の対応関係を特定できた場合、ステップＳ１５において、スマートフォン２より送信されたタッチ操作位置情報を取得して、表示部１２に表示された表示画像に対応するタッチ操作位置の特定を行う。その後ステップＳ１６に進む。
【００５５】
そして、ステップＳ１６において、特定された表示部１２に表示された表示画像に対応するタッチ操作位置に基づいて、操作の内容の特定を行う。なお、所定の操作を行うための操作部画像よりも大きな範囲である操作範囲以内であれば、所定の操作を行うための操作部画像をタッチ操作されたものとみなして操作の内容の特定を行う（図４参照）。その後、ステップＳ１７に進む。
【００５６】
そして、ステップＳ１７において、特定された操作の内容に応じた操作制御を行う。その後、ステップＳ１２に戻る。
【００５７】
第１実施形態では、以下のような効果を得ることができる。
【００５８】
第１実施形態では、上記のように、ＣＰＵ１１を、無線ＬＡＮ通信部２３および無線ＬＡＮ通信部１３を介して、撮像部２４により撮像された表示画像とタッチパネル部２５により受け付けられた操作情報とを取得するとともに、撮像部２４により撮像された表示画像と表示部１２に表示された表示画像との対応関係をパターンマッチングにより特定して、タッチパネル部２５により受け付けられた操作情報に対応した操作制御を行うように構成する。これにより、撮像部２４によりマーカー画像を撮像して、撮像部２４により撮像された表示画像に映っているマーカー画像上におけるタッチ位置の相対位置情報をスマートフォン２が計算する必要がない分、スマートフォン２の処理が複雑化するのを抑制することができる。
【００５９】
また、第１実施形態では、上記のように、タッチパネル部２５により受け付けられた操作情報は、ユーザＵが表示部２２の画面上をタッチ操作した位置の情報であるタッチ操作位置情報を含み、ＣＰＵ１１を、撮像部２４により撮像された表示画像およびタッチ操作位置情報に基づいて、撮像部２４により撮像された表示画像と表示部１２に表示された表示画像との対応関係をパターンマッチングにより特定し、かつ、表示部１２に表示された表示画像とタッチ操作位置情報との対応関係を特定して、タッチ操作位置情報に対応した操作制御を行うように構成する。これにより、ＣＰＵ１１は、パターンマッチングによる表示画像の対応関係の特定と、タッチ操作位置情報による操作位置の特定とにより、容易に、ユーザの操作内容を特定することができる。
【００６０】
また、第１実施形態では、上記のように、ＣＰＵ１１を、撮像部２４により撮像された表示画像の一部の画像が表示部１２に表示された表示画像のうちのどの部分の画像であるかをパターンマッチングにより特定して、タッチパネル部２５により受け付けられた操作情報に対応した操作制御を行うように構成する。これにより、ユーザＵは、表示部１２に表示された表示画像のうちのタッチ操作する範囲のみを撮像部２４により撮像して、拡大表示する操作を行わないで、タッチ操作することができるので、表示部１２全体を撮像する場合と異なり、拡大表示するための操作が必要ない分、ユーザにとっての操作性を向上することができる。
【００６１】
また、第１実施形態では、上記のように、タッチ操作位置情報を、表示部２２の画面の縦方向の長さに対する割合の値および画面の横方向の長さに対する割合の値の情報で構成する。ここで、タッチ操作位置情報をピクセル（画素）数単位で表した場合、タッチ操作位置情報に加えてスマートフォン２の端末情報（画素数）も必要となる。これに対して、タッチ操作位置情報を、表示部２２の画面の縦方向の長さに対する割合の値および画面の横方向の長さに対する割合の値の情報で構成することにより、ＴＶ１のＣＰＵ１１は、スマートフォン２の端末情報を取得する必要がない分、処理を簡略化することができる。
【００６２】
また、第１実施形態では、上記のように、ＣＰＵ１１を、所定の操作を行うための操作部画像よりも大きな範囲でタッチパネル部２５におけるタッチ操作を受け付ける制御を行うように構成する。これにより、タッチ操作位置と操作部画像の位置とがずれている場合でも、タッチ操作を受け付けることができるので、ユーザＵは、容易にタッチ操作することができる。
【００６３】
また、第１実施形態では、上記のように、ＣＰＵ１１は、タッチパネル部２５により受け付けられた操作情報により操作の内容が特定できない場合、操作の内容をユーザＵに確認するために、表示部１２に問い合わせの表示を行うように構成されている。このように構成すれば、操作の内容がユーザＵに確認されるので、ユーザＵが意図しない操作制御が行われることを抑制することができる。
【００６４】
また、第１実施形態では、上記のように、スマートフォン２を、スマートフォン２の傾き情報を検出する加速度センサ２６を含むように構成して、ＣＰＵ１１を、無線ＬＡＮ通信部２３および無線ＬＡＮ通信部１３を介して、加速度センサ２６により検出した傾き情報を取得するように構成するとともに、撮像部２４により撮像された表示画像とタッチパネル部２５により受け付けられた操作情報とに加えて、取得した傾き情報にも基づいて、撮像部２４により撮像された表示画像と表示部１２に表示された表示画像との対応関係をパターンマッチングにより特定する制御を行うように構成する。これにより、スマートフォン２がＴＶ１に対して傾けられた場合でも、ＣＰＵ１１は、撮像部２４により撮像された表示画像と表示部１２に表示された表示画像との対応関係を、正確に特定することができる。
【００６５】
（第２実施形態）
次に、図１０および図１１を参照して、第２実施形態による表示操作システム１０１の構成ついて説明する。第２実施形態では、表示操作システム１０１は、スマートフォン４を設置して固定可能なクレードル５と、スマートフォン４の位置の変化を検出する振動検知部５３とを含む。なお、クレードル５は、本発明の「固定部」の一例である。また、振動検知部５３は、本発明の「位置変化検出部」の一例である。
【００６６】
図１０に示すように、第２実施形態における表示操作システム１０１は、ＴＶ３と、スマートフォン４と、クレードル５とを備える。ＴＶ３は、ＣＰＵ３１を含み、スマートフォン４は、ＣＰＵ４１と、クレードル５と接続可能な接続部４２とを含む。クレードル５は、ＣＰＵ５１と、スマートフォン４と接続可能な接続部５２と、クレードル５の振動を検出する振動検出部５３と、クレードル操作部５４と、ＴＶ３の表示部１２に表示される表示画像を撮像する撮像部５５とを備え、クレードル操作部５４は、撮像部５５の向きおよびズーム率を操作可能に構成されている。
【００６７】
ここで、第２実施形態では、図１１の（ａ）および（ｂ）に示すように、クレードル５は、スマートフォン４を設置して固定可能に構成されている。そして、スマートフォン４がクレードル５に設置された場合、ＴＶ３のＣＰＵ３１およびスマートフォン４のＣＰＵ４１は、時間を同期する制御を行うように構成されている。また、ＣＰＵ４１は、スマートフォン４の接続部４２およびクレードル５の接続部５２を介して、クレードル５の撮像部５５により撮像されたＴＶ３の表示部１２の表示画像を取得するように構成されている。そして、ＣＰＵ４１は、無線ＬＡＮ通信部２３を介して、撮像部５５により撮像された表示画像をＴＶ３に送信するように構成されている。ＣＰＵ３１は、無線ＬＡＮ通信部１３を介して、撮像部５５により撮像された表示画像を取得するように構成されている。
【００６８】
そして、ＴＶ３のＣＰＵ３１は、クレードル５の撮像部５５により撮像された表示画像とＴＶ３の表示部１２に表示された表示画像との対応関係をパターンマッチングにより特定した後は、撮像部５５により撮像された表示画像は取得せずに、タッチパネル部２５により受け付けられた操作情報を取得するように構成されている。すなわち、ＣＰＵ３１は、一旦、パターンマッチングにより撮像部５５により撮像された表示画像と表示部１２に表示された表示画像との対応関係を特定した後は、後述する位置変化情報を取得するまでは、対応関係を特定する制御は行わないように構成されている。
【００６９】
また、第２実施形態では、ＴＶ３のＣＰＵ３１は、スマートフォン４の無線ＬＡＮ通信部２３およびＴＶ３の無線ＬＡＮ通信部１３を介して、クレードル５の振動検知部５３により検出した位置変化情報を取得した場合には、タッチパネル部２５により受け付けられた操作情報に加えて撮像部５５により撮像された表示画像も取得するように構成されている。すなわち、クレードル５のＣＰＵ５１は、振動検知部５３が振動を検知した場合、接続部５２および接続部４２を介して、スマートフォン４に位置変化情報を送信するように構成されている。そして、スマートフォン４のＣＰＵ４１は、送信された位置変化情報を取得して、無線ＬＡＮ通信部２３および無線ＬＡＮ通信部１３を介して、ＴＶ３に送信するように構成されている。ＴＶ３のＣＰＵ３１は、位置変化情報を取得した場合、タッチパネル部２５により受け付けられた操作情報に加えて撮像部５５により撮像された表示画像も取得して、撮像部５５により撮像された表示画像と表示部１２に表示された表示画像との対応関係をパターンマッチングにより特定する制御を行うように構成されている。また、第２実施形態による表示操作システム１０１のその他の構成は、第１実施形態における表示操作システム１００と同様である。
【００７０】
次に、図１２および図１３を参照して、第２実施形態による表示操作システム１０１の表示操作処理フローについて説明する。ＴＶ３における処理は、ＣＰＵ３１により行われる。また、スマートフォン４における処理は、ＣＰＵ４１により行われる。
【００７１】
まず、図１２に示すように、スマートフォン４では、ステップＳ２１において、クレードル５と接続を行う。その後、ステップＳ２２に進み、ステップＳ２２において、ＴＶ３と時間の同期を開始する。その後、ステップＳ２３に進む。
【００７２】
次に、ステップＳ２３において、撮像部５５によって表示部１２の表示画像の撮像を行う。その後、ステップＳ２４に進む。ステップＳ２４において、ＴＶ３に撮像した表示画像の送信を行う。そして、ステップＳ２５に進み、ステップＳ２５において、加速度センサ８３で検出された傾き情報をＴＶ３に送信する。その後、ステップＳ２６に進む。
【００７３】
そして、ステップＳ２６において、ＴＶ３から送信された再送要求信号を受信したか否かが判断される。再送要求信号を受信した場合、ステップＳ２３に戻り、再送要求信号を受信されない場合、ステップＳ２７（図１３参照）に進む。
【００７４】
一方、図１２に示すように、ＴＶ３は、ステップＳ１１およびステップＳ１２においては、第１実施形態におけるステップＳ１１およびステップＳ１２と同様の処理を行う。その後、ステップＳ３１に進む。そして、ステップＳ３１において、撮像された表示画像が特定できたか否かが判断される。撮像された表示画像が特定できた場合、ステップＳ３２（図１３参照）に進み、特定できない場合、ステップＳ１４に進む。ステップＳ１４においては、第１実施形態におけるステップＳ１４と同様の処理を行う。
【００７５】
そして、図１３に示すように、スマートフォン４では、ステップＳ２７において、ユーザＵのタッチ操作をタッチパネル部２５が受け付けた場合、タッチ操作位置情報を送信する。その後、ステップＳ２８に進む。
【００７６】
次に、ステップＳ２８において、クレードル５の位置変化情報を受信したか否かが判断される。位置変化情報を受信した場合、ステップＳ２９に進み、位置変化情報を受信されない場合、ステップＳ３０に進む。そして、ステップＳ２９において、位置変化情報をＴＶ３に送信する。その後、ステップＳ３０に進む。
【００７７】
そして、ステップＳ３０において、ＴＶ３から再送要求信号を受信したか否かが判断される。再送要求信号を受信した場合は、ステップＳ２３に戻り（図１２参照）、再送要求信号を受信されない場合は、ステップＳ２７に戻る。
【００７８】
一方、ＴＶ３では、ステップＳ３２において、スマートフォン４よりタッチ操作位置情報を取得して、タッチ操作位置の特定を行う。その後、ステップＳ３３に進む。そして、ステップＳ３３において、操作内容の特定が行う。そして、ステップＳ３４に進み、ステップＳ３４において、操作内容の実行処理を行う。その後、ステップＳ３５に進む。
【００７９】
そして、第２実施形態では、ステップＳ３５において、位置変化情報を受信したか否かが判断される。位置変化情報を受信した場合、ステップＳ３６に進み、位置変化情報を受信されない場合は、ステップＳ３２に戻る。そして、ステップＳ３６において、再送要求信号をスマートフォン４に送信する。その後、ステップＳ１２に戻る。
【００８０】
第２実施形態では、以下のような効果を得ることができる。
【００８１】
第２実施形態では、上記のように、ＴＶ３のＣＰＵ３１を、クレードル５の撮像部５５により撮像された表示画像と表示部１２に表示された表示画像との対応関係を特定した後、撮像部５５により撮像された表示画像は取得せずに、タッチパネル部２５により受け付けられた操作情報を取得するとともに特定した撮像部５５により撮像された表示画像と表示部１２に表示された表示画像との対応関係およびタッチパネル部２５により受け付けられた操作情報に対応した操作制御を行うように構成する。これにより、撮像部５５により撮像された表示画像と表示部１２に表示された表示画像との対応関係を特定した後には、撮像部５５により撮像された表示画像は取得しないので、撮像部５５により撮像された表示画像の通信を行わない分、ＴＶ３のＣＰＵ３１の処理を簡略化することができる。
【００８２】
また、第２実施形態では、上記のように、表示操作システム１０１は、スマートフォン４を設置して固定可能なクレードル５と、スマートフォン４の位置の変化を検出する振動検知部５３とを含み、ＴＶ３のＣＰＵ３１を、無線ＬＡＮ通信部１３および無線ＬＡＮ通信部２３を介して、振動検知部５３により検出した位置変化情報を取得した場合には、タッチパネル部２５により受け付けられた操作情報に加えて撮像部５５により撮像された表示画像も取得して、撮像部５５により撮像された表示画像と表示部１２に表示された表示画像との対応関係をパターンマッチングにより特定する制御を行うように構成する。これにより、スマートフォン４の位置の変化を検出した場合、撮像部５５により撮像された表示画像と表示部１２に表示された表示画像との対応関係をパターンマッチングにより改めて特定することができるので、ユーザが、スマートフォン４の位置を変化させた場合でも、正確に対応関係を特定することができる。また、第２実施形態による表示操作システム１０１のその他の効果は、第１実施形態における表示操作システム１００と同様である。
【００８３】
（第３実施形態）
次に、図１４および図１５を参照して、第３実施形態による表示操作システム１０２の構成ついて説明する。第３実施形態では、タブレット７と、撮像部８１により撮像された表示画像のうちＴＶ６の表示部１２の外縁部をパターンマッチングにより特定する制御を行うように構成されているＣＰＵ６１を含むＴＶ６とを備える。なお、タブレット７は、本発明の「操作機器」の一例である。
【００８４】
図１４に示すように、第３実施形態における表示操作システム１０２は、ＴＶ６と、タブレット７と、カメラ８とを備える。ＴＶ６は、ＣＰＵ６１を含み、タブレット７は、ＣＰＵ７１と、カメラ８と接続可能な接続部７２とを含む。カメラ８は、撮像部８１と、タブレット７と接続可能な接続部８２と、カメラ８の傾きを検出する加速度センサ８３とを備える。
【００８５】
そして、図１５に示すように、タブレット７とカメラ８とは、接続部７２および接続部８２を介して、ケーブルで接続されており、タブレット７のＣＰＵ７１は、カメラ８の撮像部８１により撮像された表示画像および加速度センサ８３の傾き情報を、取得するように構成されている。また、カメラ８は、撮像部８１によりＴＶ６の表示部１２よりも広い範囲を撮像可能に設置されている。
【００８６】
そして、第３実施形態では、図１５に示すように、ＴＶ６のＣＰＵ６１は、カメラ８の撮像部８１により撮像された表示画像のうちＴＶ６の表示部１２の外縁部（図１５の点線Ｈ）をパターンマッチングにより特定する制御を行うように構成されている。また、図１５に示すように、外縁部が４つの隅を有する場合、外縁部の４つの隅（図１５の丸印Ｉ：１つの隅のみ図示）を上記パターンマッチングにより特定するように構成されている。また、第３実施形態による表示操作システム１０２のその他の構成は、第１実施形態における表示操作システム１００と同様である。
【００８７】
次に、図１６を参照して、第３実施形態による表示操作システム１０２の表示操作処理フローについて説明する。ＴＶ６における処理は、ＣＰＵ６１により行われる。また、タブレット７における処理は、ＣＰＵ７１により行われる。
【００８８】
まず、図１６に示すように、タブレット７では、ステップＳ４１において、ＴＶ６との時間の同期を開始する。その後、ステップＳ４２に進む。そして、ステップＳ４２において、撮像部８１により表示部１２の表示画像を撮像する。また、ステップＳ４２において、ユーザＵによりタッチパネル部２５へのタッチ操作が行われた場合、ステップＳ４３に進む。
【００８９】
次に、ステップＳ４３において、カメラ８の撮像部８１により撮像された表示画像を取得してＴＶ６へ送信する。その後、ステップＳ４４に進む。そして、ステップＳ４４において、カメラ８の加速度センサ８３から取得した傾き情報をＴＶ６へ送信する。そして、ステップＳ４５に進む。
【００９０】
そして、ステップＳ４５において、ＴＶ６からの撮像された表示画像の再送要求信号を受信したか否かが判断される。撮像された表示画像の再送要求信号を受信した場合、ステップＳ４２に戻り、受信しない場合には、ステップＳ４６に進む。
【００９１】
そして、ステップＳ４６において、タッチ操作位置情報をＴＶ６へ送信する。その後、ステップＳ４２に戻る。
【００９２】
一方、ＴＶ６では、ステップＳ５１において、タブレット７との時間の同期を開始する。その後、ステップＳ５２に進む。そして、ステップＳ５２において、タブレット７から送信された撮像された表示画像と傾き情報とを取得して、表示部１２に表示された表示画像と撮像された表示画像とのパターンマッチングを行い、表示部１２の外縁部を特定する。その後、ステップＳ５３に進む。
【００９３】
次に、ステップＳ５３において、表示部１２の外縁部が特定できたか否かが判断される。表示部１２の外縁部を特定できた場合には、ステップＳ１５に進み、表示部１２の外縁部を特定できない場合には、ステップＳ５４に進む。
【００９４】
そして、ステップＳ５４において、タブレット７から送信された撮像された表示画像と傾き情報とを基づいて、表示部１２に表示された表示画像と撮像された表示画像とのパターンマッチングを行い、表示部１２の表示画像のうちの撮像部８１が撮像した表示画像を特定する。その後、ステップＳ５５に進む。
【００９５】
そして、ステップＳ５５において、撮像部８１が撮像した表示画像が特定できたか否かが判断される。撮像部８１が撮像した表示画像を特定できた場合には、ステップＳ１５に進み、撮像部８１が撮像した表示画像を特定できない場合には、ステップＳ１４に進む。
【００９６】
そして、ステップＳ５５において撮像部８１が撮像した表示画像を特定できない場合に行うステップＳ１４と、ステップＳ５３において表示部１２の外縁部を特定できた場合およびステップＳ５５において撮像部８１が撮像した表示画像を特定できた場合に行うステップＳ１４〜ステップＳ１７は、第１実施形態における、ステップＳ１４〜ステップＳ１７の同様の処理を行う。そして、ステップＳ１４およびステップＳ１７の処理の後は、ステップＳ５２に戻る。
【００９７】
第３実施形態では、以下のような効果を得ることができる。
【００９８】
第３実施形態では、上記のように、ＴＶ６のＣＰＵ６１を、カメラ８の撮像部８１により撮像された表示画像のうちＴＶ６の表示部１２の外縁部をパターンマッチングにより特定して、タブレット７のタッチパネル部２５により受け付けられた操作情報に対応した操作制御を行うように構成する。これにより、ＴＶ６の表示部１２の全体をタブレット７のタッチパネル部２５により操作することができる。また、第３実施形態による表示操作システム１０２のその他の効果は、第１実施形態における表示操作システム１００と同様である。
【００９９】
なお、今回開示された実施形態は、すべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は、上記した実施形態の説明ではなく特許請求の範囲によって示され、さらに特許請求の範囲と均等の意味および範囲内でのすべての変更が含まれる。
【０１００】
たとえば、第１〜第３実施形態では、本発明を被操作機器の一例として、ＴＶに適用する例を示したが、本発明はこれに限らない。本発明は、ＴＶ以外の被操作機器にも適用可能である。たとえば、プロジェクターなどにも適用可能である。
【０１０１】
また、第１〜第３実施形態では、本発明を操作機器の一例として、スマートフォンまたはタブレットに適用する例を示したが、本発明はこれに限らない。本発明は、スマートフォンまたはタブレット以外の操作機器にも適用可能である。たとえば、タッチパネルと表示部を備えたＴＶ用リモコンなどにも適用可能である。
【０１０２】
また、第１〜第３実施形態では、パターンマッチングの例として、ＳＳＤまたはＳＡＤを算出するように構成する例を示したが、本発明はこれに限らない。本発明は、ＳＳＤまたはＳＡＤを算出する方法以外のパターンマッチングを行う構成にしてもよい。
【０１０３】
また、第１〜第３実施形態では、本発明の被操作機器側通信部および操作機器側通信部として、無線ＬＡＮ通信部を用いる例を示したが、本発明はこれに限らない。たとえば、有線の通信部を含む構成にしてもよい。
【０１０４】
また、第１〜第３実施形態では、操作部画像よりも大きな範囲の操作範囲として、操作部画像よりもユーザの指１本程度大きいサイズとして構成する例（図６参照）を示したが、本発明はこれに限らない。本発明は、操作部画像よりも大きな範囲の操作範囲として、操作部画像よりもユーザの指１本以外のサイズの大きい範囲に構成してもよい。
【０１０５】
また、第１〜第３実施形態では、操作部画像の表示として、「戻る」ボタン等を表示する構成する例について示したが、本発明はこれに限られない。たとえば、ＴＶに付属のリモコンのボタンと同じ形状の操作部画像を表示部に表示して、ＴＶ本体の操作制御を行うように構成してもよい。
【０１０６】
また、第１〜第３実施形態を個別に構成する例を示したが、本発明はこれに限られない。本発明では、第１〜第３実施形態を組み合わせた構成にしてもよい。たとえば、第３実施形態における、パターンマッチングによる表示部の外縁部の特定を、第２実施形態における、クレードルの撮像部によって撮像された表示画像を用いて行うように構成してもよい。
【０１０７】
また、第２実施形態では、クレードルにクレードル操作部を含む構成を示したが、本発明はこれに限られない。本発明では、図１７の変形例に示すように、クレードル５を操作するクレードル操作部５４ａを、スマートフォン４ａの表示部２２に表示して、撮像部のズーム率をタッチパネル部２５をタッチ操作することによって変更できるように構成してもよい。
【０１０８】
また、第１〜第３実施形態では、タッチパネル部として投影型静電容量式タッチパネルを含む例を示したが、本発明はこれに限られない。本発明では、投影型静電容量式タッチパネル以外のタッチパネルを用いて構成してもよい。たとえば、電磁誘導方式タッチパネルや抵抗膜方式タッチパネルを用いて構成してもよい。
【０１０９】
また、第１〜第３実施形態では、説明の便宜上、本発明の制御部の処理を処理フローに沿って順番に処理を行うフロー駆動型のフローチャートを用いて説明したが、本発明はこれに限られない。本発明では、制御部の処理動作を、イベントごとに処理を実行するイベント駆動型（イベントドリブン型）の処理により行ってもよい。この場合、完全なイベント駆動型で行ってもよいし、イベント駆動およびフロー駆動を組み合わせて行ってもよい。
【符号の説明】
【０１１０】
１、３、６  ＴＶ（被操作機器）
２、４、４ａ  スマートフォン（操作機器）
５、５ａ  クレードル(固定部）
７  タブレット（操作機器）
８  カメラ（操作機器側撮像部）
１１、３１、６１  ＣＰＵ（被操作機器側制御部）
１２  表示部（被操作機器側表示部）
１３  無線ＬＡＮ通信部（被操作機器側通信部）
２２  表示部（操作機器側表示部）
２３  無線ＬＡＮ通信部（操作機器側通信部）
２４、８１  撮像部（操作機器側撮像部）
２５  タッチパネル部
２６、８３  加速度センサ（傾き検出部）
１００、１０１、１０２  表示操作システム
【図１】
2015106244.tif 000003
【図２】
2015106244.tif 000004
【図３】
2015106244.tif 000005
【図４】
2015106244.tif 000006
【図５】
2015106244.tif 000007
【図６】
2015106244.tif 000008
【図７】
2015106244.tif 000009
【図８】
2015106244.tif 000010
【図９】
2015106244.tif 000011
【図１０】
2015106244.tif 000012
【図１１】
2015106244.tif 000013
【図１２】
2015106244.tif 000014
【図１３】
2015106244.tif 000015
【図１４】
2015106244.tif 000016
【図１５】
2015106244.tif 000017
【図１６】
2015106244.tif 000018
【図１７】
2015106244.tif 000019