(57)【要約】【課題】表示装置を用いて、端末のアプリケーションを操作する場合に、表示装置から端末に送信される座標情報の誤差を低減する。【解決手段】アプリケーションを実行する端末から、アクティブ領域と非アクティブ領域とが含まれるアプリケーション画像を受信する通信部と、前記アプリケーション画像を表示するタッチパネルと、前記アプリケーション画像の前記アクティブ領域の範囲を取得するキャリブレーション部と、取得された前記アクティブ領域の範囲と、前記タッチパネルに表示された前記アプリケーション画像をユーザが操作したときの操作座標と、をもとに前記端末が実行するアプリケーションを操作するための座標情報を算出する座標情報算出部と、算出された前記座標情報を、前記通信部を介して、前記端末へ送信させる送信制御部と、を有する。【選択図】図３
2015161978.tif 000002
【特許請求の範囲】
【請求項１】
アプリケーションを実行する端末から、アクティブ領域と非アクティブ領域とが含まれるアプリケーション画像を受信する通信部と、
前記アプリケーション画像を表示するタッチパネルと、
前記アプリケーション画像の前記アクティブ領域の範囲を取得するキャリブレーション部と、
取得された前記アクティブ領域の範囲と、前記タッチパネルに表示された前記アプリケーション画像をユーザが操作したときの操作座標と、をもとに前記端末が実行するアプリケーションを操作するための座標情報を算出する座標情報算出部と、
算出された前記座標情報を、前記通信部を介して、前記端末へ送信させる送信制御部と、を有することを特徴とする表示装置。
【請求項２】
前記キャリブレーション部は、前記アクティブ領域の範囲の初期値にもとづく座標情報を前記通信部を用いて前記端末に送信し、
前記座標情報に応じて前記端末から返信された座標値をもとに、前記アクティブ領域の範囲の初期値を補正して、前記アクティブ領域の範囲を取得する、ことを特徴とする請求項１に記載の表示装置。
【請求項３】
前記キャリブレーション部は、前記タッチパネルに表示された前記アプリケーション画像における輝度変化をもとに、前記アクティブ領域の範囲を取得する、ことを特徴とする請求項１に記載の表示装置。
【請求項４】
前記キャリブレーション部は、前記端末から前記アプリケーション画像が送信されている間、前記アクティブ領域の範囲の取得を所定周期で行う、ことを特徴とする請求項１から請求項３のいずれか一項に記載の表示装置。
【請求項５】
前記通信部を通じて前記端末から送信される向き検出信号をもとに、前記端末の向きを検出する向き検出部を有し、
前記キャリブレーション部は、前記端末の向きに応じて、前記アクティブ領域の範囲をそれぞれ取得し、
前記座標情報算出部は、検出された前記端末の向きに応じた前記アクティブ領域の範囲を使用して、前記座標情報を算出する、ことを特徴とする請求項１から請求項４のいずれか一項に記載の表示装置。
【請求項６】
端末と、表示装置とを接続して構成されるアプリケーション実行システムであって、
前記端末は、前記表示装置の表示領域に応じて、アプリケーションを実行して生成される元画像に、非アクティブ領域を合成してアプリケーション画像を生成し、
前記表示装置は、
前記端末から、前記アプリケーション画像を受信する通信部と、
前記アプリケーション画像を表示するタッチパネルと、
前記アプリケーション画像のアクティブ領域の範囲を取得するキャリブレーション部と、
取得された前記アクティブ領域の範囲と、前記タッチパネルに表示された前記アプリケーション画像をユーザが操作したときの操作座標と、をもとに前記端末が実行するアプリケーションを操作するための座標情報を算出する座標情報算出部と、
算出された前記座標情報を、前記通信部を介して、前記端末へ送信させる送信制御部と、を有することを特徴とするアプリケーション実行システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、表示装置に関し、端末が実行するアプリケーション画像の送信を受け、端末を介してアプリケーションを操作することができる表示装置に関する。
【背景技術】
【０００２】
ユーザがタッチパネルを操作して、アプリケーションを操作することができる端末が知られている。端末では、ユーザのタッチ操作を座標情報に変換し、この座標情報をもとに、アプリケーションを操作する。
【０００３】
また、端末を表示装置に接続し、端末が実行するアプリケーションを表示装置に表示させることも知られている。そして、ユーザが表示装置のタッチパネルを操作することで、表示装置から端末に座標情報を送信し、端末を介してアプリケーションを操作することができる発明が開示されている（例えば、特許文献１参照。）。
【０００４】
ここで、端末から表示装置へは、アプリケーション画像が送信されるだけなので、表示装置は、タッチパネルのどこまでがアプリケーション上でのアクティブ領域に対応しているか判断することはできない。そのため、特許文献１では、端末の画面のサイズと、表示装置の画面のサイズとの違いをもとに、表示装置から送信する座標情報を補正している。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２０１３−２５４４３５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかし、端末の画面サイズと表示装置の画面サイズとの比をもとに座標情報を補正するだけでは、表示装置と端末との間で座標情報のズレを生じさせる場合がある。例えば、元画像のアスペクト比を維持するために、端末が元画像に操作を受付けない非アクティブ画像を合成する場合では、アクティブ領域の範囲は、端末の画面のサイズと、表示装置の画面のサイズとの違いをもとに算出することはできない。
【０００７】
本発明は、上記課題にかんがみてなされたもので、表示装置を用いて、端末のアプリケーションを操作する場合に、表示装置から端末に送信される座標情報の誤差を低減することを目的とする。
【課題を解決するための手段】
【０００８】
・適用例１
上記課題を解決するために、本発明の一態様では、アプリケーションを実行する端末から、アクティブ領域と非アクティブ領域とが含まれるアプリケーション画像を受信する通信部と、前記アプリケーション画像を表示するタッチパネルと、前記アプリケーション画像の前記アクティブ領域の範囲を取得するキャリブレーション部と、取得された前記アクティブ領域の範囲と、前記タッチパネルに表示された前記アプリケーション画像をユーザが操作したときの操作座標と、をもとに前記端末が実行するアプリケーションを操作するための座標情報を算出する座標情報算出部と、算出された前記座標情報を、前記通信部を介して、前記端末へ送信させる送信制御部と、を有する。
ここで、アクティブ領域とは、アプリケーション画像のうち、端末に表示された場合に、ユーザのタッチ操作を受けつける領域である。一方、非アクティブ領域とは、アプリケーション画像のうち、端末に表示された場合に、ユーザのタッチ操作を受付けない領域である。
【０００９】
上記のように構成された発明では、座標情報算出部は、キャリブレーション部で取得されたアクティブ領域の範囲と、タッチパネルに表示されたアプリケーション画像をユーザが操作したときの操作座標と、をもとに端末が実行するアプリケーションを操作するための座標情報を算出する。そのため、端末から非アクティブ領域が含まれるアプリケーション画像を表示する場合でも、表示装置から端末へ正確な座標情報を送信することができる。
【００１０】
・適用例２
本発明の一態様では、前記キャリブレーション部は、前記アクティブ領域の範囲の初期値にもとづく座標情報を前記通信部を用いて前記端末に送信し、前記座標情報に応じて前記端末から返信された座標値をもとに、前記アクティブ領域の範囲の初期値を補正して、前記アクティブ領域の範囲を取得する。
上記のように構成された発明では、端末と通信を行いつつアクティブ領域の範囲を取得することができるため、正確なアクティブ領域の範囲を取得することができる。その結果、座標情報をより正確に算出することができる。
【００１１】
・適用例３
本発明の一態様では、前記キャリブレーション部は、前記タッチパネルに表示された前記アプリケーション画像における輝度変化をもとに、前記アクティブ領域の範囲を取得する。
上記のように構成された発明では、表示装置は、アプリケーション画像に含まれるアクティブ領域を取得する際、端末と通信を行う必要がないため、処理に要する時間を軽減することができる。
【００１２】
・適用例４
本発明の一態様では、前記キャリブレーション部は、前記端末から前記アプリケーション画像が送信されている間、前記アクティブ領域の範囲の取得を所定周期で行う。
上記のように構成された発明では、端末の向きやアプリケーションの状態変化を常に監視することができるため、座標情報をより正確に算出することができる。
【００１３】
・適用例５
本発明の一態様では、前記通信部を通じて前記端末から送信される向き検出信号をもとに、前記端末の向きを検出する向き検出部を有し、前記キャリブレーション部は、前記端末の向きに応じて、前記アクティブ領域の範囲をそれぞれ取得し、座標情報算出部は、検出された前記端末の向きに応じた前記アクティブ領域の範囲を使用して、前記座標情報を算出する。
上記のように構成された発明では、端末の向きに応じて元画像が変化する場合でも、端末の向きに応じて変化するアクティブ領域の範囲を取得することができ、表示装置から端末へ正確な座標情報を送信することができる。
【００１４】
本発明は、表示装置の発明として捉えるのみならず、この表示装置を一部に含むアプリケーション実行システムとして捉えることもできる。
【図面の簡単な説明】
【００１５】
【図１】一例としてのアプリケーション実行システムを示す外観図。
【図２】表示装置のハードウェア構成を示すブロック構成図。
【図３】表示装置１０の機能を説明する機能ブロック図。
【図４】端末３０に表示されるアプリケーション画像と、表示装置１０に表示される元画像とを比較する図。
【図５】端末３０の構成を示すブロック構成図。
【図６】表示装置１０と端末３０とが共同してアプリケーションＡＰを実行する場合のタイミングチャート。
【図７】表示装置１０が実行するキャリブレーション処理を説明するフローチャート。
【図８】仮移動量ＩＴＤを説明するための図。
【図９】表示装置１０が実行する座標情報算出処理について説明するフローチャート。
【図１０】第２の実施形態において、キャリブレーション処理を説明するフローチャート。
【図１１】第２の実施形態におけるアクティブ領域を検出する手法を説明する図。
【図１２】第３の実施形態において、表示装置が実行する座標情報算出処理について説明する図。
【図１３】第３の実施形態において、表示装置１０が実行する座標情報算出処理について説明するフローチャート。
【発明を実施するための形態】
【００１６】
以下、下記の順序に従って本発明の実施形態を説明する。
１．第１の実施形態：
（１）アプリケーション実行システムの構成
（２）アプリケーション操作方法
（３）キャリブレーション方法
（４）座標情報算出方法
２．第２の実施形態：
３．第３の実施形態：
４．第４の実施形態：
５．第５の実施形態：
６．その他の実施形態：
【００１７】
１．第１の実施形態：
（１）アプリケーション実行システムの構成
図１は、一例としてのアプリケーション実行システムを示す外観図である。
この第１の実施形態では、アプリケーション実行システム１００の一部を構成する表示装置として、車載型の表示装置１０を例に説明を行う。表示装置１０は、図示ない車両の内部に搭載されて使用される。また、表示装置１０は、端末３０と無線を通じて接続し、端末３０が実行するアプリケーションを表示させることができる。また、表示装置１０は、タッチパネルモジュール１６を備えており、このタッチパネルモジュール１６を操作することで、端末３０が実行するアプリケーションを操作するための座標情報を端末３０に対して送信することができる。
以下、端末３０が実行するアプリケーションとしてナビアプリケーションを例に説明を行う。
【００１８】
図２は、表示装置のハードウェア構成を示すブロック構成図である。
表示装置１０は、ＣＰＵ（Central Processing Unit）１１、ＲＯＭ(Read Only Memory)１２、ＲＡＭ(Random Access Memory)１３、フラッシュメモリ１４、通信ＩＦ１５、タッチパネルモジュール１６、音声出力部１７、バス１８を備える。表示装置１０の各部は、バス１８を通じて互いに接続されている。
【００１９】
通信ＩＦ１５は、表示装置１０を端末３０と接続させる。通信ＩＦ１５は、ブルーツゥース等の近距離無線通信を用いて、表示装置１０を端末３０に接続する。そのため、表示装置１０から端末３０に対して、ブルーツゥースプロファイルのＨＩＤで送信が行われる。また、端末３０から表示装置１０に対して、ブルーツゥースプロファイルのＳＰＰで送信が行われる。
【００２０】
タッチパネルモジュール１６は、ユーザの操作入力を受付ける操作入力層と、端末３０から送信されたアプリケーション画像を表示させる表示層とを有している。操作入力層で受付けた操作はバス１８を通じてＣＰＵ１１に入力される。また、通信ＩＦ１５を通じてＲＡＭ１３に記録されたアプリケーション画像は、表示層に送られアプリケーション画像が表示される。
【００２１】
ＣＰＵ１１は、通信ＩＦ１５を通じて入力したアプリケーション画像等の情報や、タッチパネルモジュール１６を通じて入力した操作入力をもとに、表示装置１０の駆動を統合的に制御する。
【００２２】
ＲＯＭ１２には、ＣＰＵ１１がバス１８に接続された各ハードウェアを制御するためのＯＳ（Operating System）１２１や、端末３０から送信されるアプリケーション画像をもとに、端末３０に対して座標情報を送信するためのプログラムモジュール１２２が、記録されている。そのため、ＣＰＵ１１がＯＳ１２１や、プログラムモジュール１２２をＲＡＭ１３に展開して実行し、各ハードウェアを制御することができる。
なお、ＣＰＵ１１がＯＳ１２１を用いてハードウェア等を制御することは一例に過ぎず、ＣＰＵ１１がＯＳ１２１以外のプログラムによりハードウェア等を制御するものであってもよい。
【００２３】
図３は、表示装置１０の機能を説明する機能ブロック図である。図３では、ＣＰＵ１１がＲＯＭ１２に記録されたＯＳ１２１やプログラムモジュール１２２を実行することで実現される機能と、ハードウェアとの関係を示している。
【００２４】
キャリブレーション部１１１は、端末３０から送信されたアプリケーション画像に含まれるアクティブ領域の範囲を取得する。ここで、アクティブ領域は、端末３０に表示した場合にアプリケーションを示す画像として表示される元画像に相当する領域である。
図４は、端末３０に表示されるアプリケーション画像と、表示装置１０に表示される元画像とを比較する図である。図４では、端末３０を縦方向に位置させて元画像を表示する場合を例に示している。図４（ａ）に示すように、端末３０は、画面全体に元画像を表示させている。一方、端末３０は、元画像を表示装置１０に送信するに際し、元画像のアスペクト比（縦横比）が維持されるよう、元画像に非アクティブ画像を合成したアプリケーション画像を生成し、送信する。そのため、図４（ｂ）に示すように、表示装置１０のタッチパネルモジュール１６には、元画像（アクティブ領域）の量端に非アクティブ画像が合成されたアプリケーション画像を表示させている。非アクティブ画像は、一例として、単色のベタ画像により構成されている。
【００２５】
座標情報算出部１１２は、表示装置１０から端末３０に送信される座標情報を、キャリブレーション部１１１により取得されたアクティブ領域の範囲をもとに算出する。例えば、この第１の実施形態では、座標情報として、座標情報を用いる。
【００２６】
送信制御部１１３は、座標情報算出部１１２により算出された座標情報を、通信ＩＦ１５を用いて端末３０に送信させる。そのため、端末３０は、送信された座標情報を受信すると、この座標情報をもとにアプリケーションを処理し、状態を変化させる。
【００２７】
次に、端末３０の構成について説明する。
図５は、端末３０の構成を示すブロック構成図である。この第１の実施形態では、端末３０は、スマートフォンや、小型ＰＣにより実現される。無論、端末３０は、アプリケーションを実行でき、かつ、表示装置１０と通信を行うことができる装置であればどの様な装置であってもよい。
【００２８】
端末３０は、ＣＰＵ３１、ＲＯＭ３２、ＲＡＭ３３、フラッシュメモリ３４、通信ＩＦ３５、タッチパネルモジュール３６、向き検出センサー３７、バス３８を備える。端末３０の各部は、バス３８を通じて互いに接続されている。
【００２９】
通信ＩＦ３５は、端末３０を表示装置１０に接続させる。上記のように、通信ＩＦ３５は、表示装置１０の通信ＩＦ１５との間でブルーツゥースに対応する通信を行う。
【００３０】
ＣＰＵ３１は、ＲＯＭ３２に記録されたプログラムに従って、各ハードウェアの駆動を統合的に制御する。
ＲＯＭ３２には、ＣＰＵ３１が、ハードウェアの駆動を制御するためのＯＳ３２１や、アプリケーションプログラム（アプリケーション）ＡＰが記録されている。ＣＰＵ３１は、アプリケーションプログラムＡＰおよび、ＯＳ３２１をＲＡＭ３３に展開して実行することで、アプリケーション画像の作成や、通信ＩＦ３５を通じてアプリケーション画像を表示装置１０に送信することができる。この第１の実施形態では、アプリケーションＡＰは、ユーザに地図情報を提供するナビゲーション型のアプリケーションである。
また、ＣＰＵ３１は、バス３８を介して、向き検出センサー３７が接続されており、向き検出センサー３７から出力される向き検出信号により、端末３０の向きの変化を検出することができる。
【００３１】
（２）アプリケーション操作方法
次に、表示装置１０と端末３０とが共同で行うアプリケーションＡＰの操作方法を説明する。
【００３２】
図６は、表示装置１０と端末３０とが共同してアプリケーションＡＰを実行する場合のタイミングチャートである。すなわち、図６に示す処理により、ユーザは、端末３０が実行するアプリケーションＡＰを表示装置１０のタッチパネルモジュール１６を用いて操作することができる。
【００３３】
まず、ユーザが端末３０を操作してアプリケーションＡＰを起動するための操作を行うと、ステップＳＡ１では、端末３０は、アプリケーションＡＰを起動する。
【００３４】
ステップＳＡ２では、端末３０は、元画像からアプリケーション画像を生成するための処理を行なう。ステップＳＡ２の処理では、時前に取得された表示装置１０のタッチパネルモジュール１６の表示領域と、元画像のアスペクト比とをもとに、アプリケーション画像に合成される非アクティブ画像のサイズが決定される。そして、端末３０は、キャリブレーション処理を行なうためのアプリケーション画像を生成する。
【００３５】
ステップＳＡ３では、端末３０は、アプリケーションファイルを表示装置１０に送信する。このアプリケーションファイルには、ステップＳＡ２で生成されたアプリケーション画像が含まれている。
【００３６】
ステップＳＢ１では、表示装置１０（キャリブレーション部１１１）は、アプリケーション画像に含まれるアクティブ領域のサイズを検出するためのキャリブレーション処理を行なう。キャリブレーション処理の具体的な方法については、（３）キャリブレーション方法で説明する。
【００３７】
キャリブレーション処理が終了すると、ステップＳＢ２では、表示装置１０は、端末３０に対して、キャリブレーション処理が終了したことを通知する。端末３０は、表示装置１０からキャリブレーション処理が終了したことの通知を受けると、ステップＳＡ４では、表示装置１０に表示させるためのアプリケーションファイルを送信する。
【００３８】
表示装置１０は、アプリケーションファイルを受信すると、ステップＳＢ３では、タッチパネルモジュール１６にアプリケーション画像を表示する。すなわち、図４に示すように、タッチパネルモジュール１６には、マップデータを表示するアクティブ領域に非アクティブ領域が合成されたアプリケーション画像が表示される。
【００３９】
ユーザが表示装置１０のタッチパネルモジュール１６を操作すると、ステップＳＢ４では、表示装置１０は、座標情報算出処理を行なう。ステップＳＢ４で行われる座標情報算出処理の具体的な内容は、（４）座標情報算出方法で説明する。
【００４０】
ステップＳＢ５では、表示装置１０は、ステップＳＢ４で算出された座標情報を端末３０に送信する。端末３０は、表示装置１０からの座標情報を受信すると、ステップＳＡ５では、座標情報に応じてアプリケーションの状態を変化させる。例えば、マップ画面上の現在の位置を示すアイコンを送信された座標情報に応じて変化させる。そして、ステップＳＡ６では、端末３０は、アプリケーションＡＰを実行して得られた元画像からアプリケーション画像を生成し、表示装置１０に送信する。
以下、説明を省略するが、ユーザが表示装置１０のタッチパネルモジュール１６を操作するごとに、ステップＳＢ４−ＳＢ６、ＳＡ５、ＳＡ６の処理が繰返される。
【００４１】
（３）キャリブレーション方法
次に、図６のステップＳＢ１において実行されるキャリブレーション処理について説明する。図７は、表示装置１０が実行するキャリブレーション処理を説明するフローチャートである。図７で示すキャリブレーション処理により、アプリケーション画像に含まれるアクティブ領域の範囲が取得される。
【００４２】
ステップＳＢ１１では、ＣＰＵ１１は、端末３０から送信されたアプリケーション画像を受信する。すなわち、通信ＩＦ１５を通じてアプリケーション画像を受信すると、このアプリケーション画像をＲＡＭ１３に記録する。
【００４３】
ステップＳＢ１２では、ＣＰＵ１１は、アクティブ領域の範囲の初期値をもとに、取得される仮移動量ＩＴＤを端末３０に送信する。アクティブ領域の範囲の初期値（ＩＡｃ＿ＬＸ、ＩＡｃ＿ＬＹ）は、ＣＰＵ１１がアクティブ領域の範囲（サイズ）を取得するために設定される初期値である。また、仮移動量ＩＴＤは、アプリケーション画像に含まれるアクティブ領域の範囲を取得するために用いられる値である。すなわち、仮移動量ＩＴＤと、アクティブ領域の範囲の初期値（ＩＡｃ＿Ｘ、ＩＡｃ＿Ｙ）とは、予め設定されている値である。
【００４４】
図８は、仮移動量ＩＴＤを説明するための図である。図８（ａ）は、アクティブ領域の範囲の初期値内を示す。また、図８（ｂ）は、図８（ａ）にアクティブ領域の範囲の初期値内を移動した座標（ポイント座標）に応じて、端末３０に入力されるポイント座標を示す。図８（ａ）では、アクティブ領域の範囲の初期値（ＩＡｃ＿ＬＸ、ＩＡｃ＿ＬＹ）をそれぞれ（３００、４００）としている。また、図８（ｂ）では、端末３０の画像（タッチパネルモジュール３６）サイズ（Ｍ＿ＬＸ、Ｍ＿ＬＹ）を、（７２０、１２８０）としている。
【００４５】
図８（ａ）に示すように、アクティブ領域の範囲の初期値の中心（１５０、２００）から左方向に１００移動して、アクティブ領域の範囲の初期値の左端から５０（画素）分の位置をユーザがタッチしたポイント座標Ｐ１（５０、２００）とし仮定した場合の、このポイント座標Ｐ１に応じて端末３０上で命令される仮のポイント座標Ｐ２を考える。アクティブ領域の範囲の初期値のＸ方向サイズＩＡｃ＿ＬＸ＝（３００）と、端末３０の画面サイズのＸ方向サイズＭ＿ＬＸ（７２０）の比から、端末３０のタッチパネルモジュール３６の左端から１２０（画素）分の位置をポイント座標Ｐ２としたことになる。そのため、端末３０での移動量（仮移動量ＩＴＤ）は、２４０（３６０−１２０）となる。すなわち、表示装置１０で５０画素分の移動量が端末３０で２４０画素分の移動量に相当したことになる。
【００４６】
ステップＳＢ１３では、ＣＰＵ１１は、端末３０から仮移動量ＩＴＤに対応する実行座標ＰＣｒ（Ｘ、Ｙ）を受信する。ＣＰＵ１１は、通信ＩＦ１５を通じて、仮移動量ＩＴＤを端末３０に送信する。そして、端末３０は仮移動量ＩＴＤを受信すると、この移動量によって移動した移動後の実行座標ＰＣｒ（Ｘ、Ｙ）を返信する。
【００４７】
ステップＳＢ１４では、ＣＰＵ１１は、端末３０から返信された実行座標ＰＣｒ（Ｘ、Ｙ）から、端末３０での実行移動量ＲＴＤを算出する。実行移動量は、端末３０から返信された実行座標ＰＣｒ（Ｘ、Ｙ）に応じて算出される移動量を示す。
図８（ｂ）では、仮移動量ＩＴＤ（２４０）に対して、実行座標ＰＣｒ（６０、６４０）が返信された場合を示す。
端末３０から返信された実行座標ＰＣｒ（６０、６８０）であれば、Ｘ方向での中心（３６０）から６０まで移動したことになるため、実行移動量ＲＴＤは３００（３６０−６０）となる。なお、説明を省略するが、Ｙ方向にたいしても、ステップＳＢ１２からＳＢ１４までの処理を行なう。
【００４８】
ステップＳＢ１５では、ＣＰＵ１１は、仮移動量ＩＴＤと、実行移動量ＲＴＤとを、下記式（１−１）（１−２）に代入して、アプリケーション画像に含まれるアクティブ領域のサイズ（範囲）を算出する。
アクティブ領域のサイズ（ＬＸ）＝仮移動量ＩＴＤ（Ｘ）÷実行移動量ＲＴＤ（Ｘ）×アクティブ領域の範囲の初期値（ＬＸ）    …    （１−１）
アクティブ領域のサイズ（ＬＹ）＝仮移動量ＩＴＤ（Ｙ）÷実行移動量ＲＴＤ（Ｙ）×仮アクティブ領域の範囲の初期値（ＬＹ）    …    （１−２）
【００４９】
ステップＳＢ１６では、ＣＰＵ１１は、ステップＳＢ１５で算出されたアクティブ領域の範囲（ＬＸ、ＬＹ）を記録する。すなわち、アプリケーションン画像に含まれるアクティブ領域の範囲が取得されたことになる。
【００５０】
（４）座標情報算出方法
次に、図６のステップＳＢ４において実行される座標情報算出処理について説明する。図９は、表示装置１０が実行する座標情報算出処理について説明するフローチャートである。
【００５１】
ステップＳＢ４１では、ＣＰＵ１１は、タッチパネルモジュール１６からの出力をもとに、操作座標ＯＰ（Ｘ、Ｙ）を取得する。操作座標ＯＰ（Ｘ、Ｙ）は、ユーザがタッチパネルモジュール１６を操作することで、ＣＰＵ１１が得る座標である。
【００５２】
ステップＳＢ４１で取得した操作座標ＯＰ（Ｘ、Ｙ）が、アクティブ領域の範囲内であれば（ステップＳＢ４２：ＹＥＳ）、ＣＰＵ１１は、ステップＳＢ４３に進む。アクティブ領域の範囲は、キャリブレーション処理で取得された値である。
【００５３】
ステップＳＢ４３では、ＣＰＵ１１は、ステップＳＢ４１で取得した操作座標ＯＰ（Ｘ、Ｙ）から、下記式（２−１）（２−２）を用いて、アプリケーション画像上での対応座標ＣＣｒ（Ｘ、Ｙ）を算出する。
対応座標ＣＣｒ（Ｘ）＝操作座標ＯＰ（Ｘ）×端末の画像サイズ（ＬＸ）÷アクティブ領域の範囲（ＬＸ）×補正係数    …    （２−１）
対応座標ＣＣｒ（Ｙ）＝操作座標ＯＰ（Ｙ）×端末の画像サイズ（ＬＹ）÷アクティブ領域の範囲（ＬＹ）×補正係数    …    （２−２）
ここで、補正係数は、装置の特徴に応じて設定された値である。
【００５４】
一方、ステップＳＢ４１で取得した操作座標ＯＰ（Ｘ、Ｙ）が、アクティブ領域外であれば、ＣＰＵ１１は、処理を終了する。すなわち、ユーザがタッチしたタッチパネルモジュール１６の領域が非アクティブ領域であるため、座標情報を算出しない。
【００５５】
ステップＳＢ４４では、ＣＰＵ１１は、ステップＳＢ４３で算出した対応座標（Ｘ、Ｙ）をもとに端末３０に送信するための相対座標ＲＣ（ＲＸ、ＲＹ）を算出する。一例として、ＣＰＵ１１は、下記式（３−１）（３−２）とをもとに、相対座標を算出する。
相対座標ＲＣ（ＲＸ）＝前回の対応座標ＣＣｒｉ−１（Ｘ）−今回の対応座標ＣＣｒｉ（Ｘ）…（３−１）
相対座標ＲＣ（ＲＹ）＝前回の対応座標ＣＣｒｉ−１（Ｙ）−今回の対応座標ＣＣｒｉ（Ｙ）…（３−２）
ここで、ｉは、回数を示す添え字である。
【００５６】
ステップＳＢ４５では、ＣＰＵ１１は、ステップＳＢ４２で算出された対応座標ＣＣｒ（Ｘ、Ｙ）と、ステップＳＢ４４で算出された相対座標ＲＣ（ＲＸ、ＲＹ）を、記録する。そして、ステップＳＢ４５で記録された座標情報（相対座標ＲＣ）は、送信制御部１１３により通信ＩＦ１５を用いて端末３０に送信される（図６、ステップＳＢ５）。
【００５７】
以上説明したように、この第１の実施形態では、以下の効果を奏する。すなわち、表示装置１０は、アプリケーション画像に含まれるアクティブ領域の範囲を取得し、取得されたアクティブ領域の範囲と、タッチパネルモジュール１６に表示されたアプリケーション画像をユーザが操作したときの操作座標と、をもとに端末が実行するアプリケーションを操作するための座標情報を算出する。そのため、端末から非アクティブ領域が含まれるアプリケーション画像を受信する場合でも、表示装置１０から端末３０へ正確な座標情報を送信することができる。
【００５８】
２．第２の実施形態：
この第２の実施形態では、図６のステップＳＢ１において、表示装置１０がアクティブ領域を取得する手法が第１の実施形態と比べて異なる。
【００５９】
図１０は、第２の実施形態において、キャリブレーション処理を説明するフローチャートである。図１０で示すキャリブレーション処理では、アプリケーション画像に含まれるアクティブ領域が検出される。また、図１１は、第２の実施形態におけるアクティブ領域を検出する手法を説明する図である。
【００６０】
ステップＳＢ１１１では、ＣＰＵ１１は、端末３０から送信されたアプリケーション画像を受信する。図１１（ａ）は、表示パネル１０の解像度に応じて変換されたアプリケーション画像を構成する画素配列ｇ[ｉ][ｊ]を示している。図１１（ａ）では、アプリケーション画像は、Ｘ方向に８００、Ｙ方向に４８０の画素列で構成されるため、ｉ＝（０〜７９９）、ｊ＝（０〜４７９）となる。
【００６１】
ステップＳＢ１１２では、ＣＰＵ１１は、アプリケーション画像の画素配列ｇ[ｉ][ｊ]をＸ方向に走査して、低輝度の配列要素が連続する画素配列ｇ[ｉ][ｊ]の位置（画素）を検出する。図１１（ａ）では、ｉ＝０となる画素配列ｇ[０][０]〜画素配列ｇ[７９９][０]に対して配列要素が低輝度（例えば０〜２５５階調における『０』）となる画素配列ｇ[ｉ][ｊ]の位置を検出している。
【００６２】
ステップＳＢ１１３では、ＣＰＵ１１は、ステップＳＢ１１２で検出された配列要素が低輝度となる画素配列ｇ[ｉ][ｊ]を記録する。
【００６３】
ＣＰＵ１１は、画素配列ｇ[ｉ][ｊ]のＹ方向の全ての画素において検出を行っていなければ（ステップＳＢ１１４：ＮＯ）、ステップＳＢ１１５では、ＣＰＵ１１は、走査対象をｊに１をプラスした画素配列ｇ[ｉ][ｊ]に変更する。
【００６４】
ＣＰＵ１１は、画素配列ｇ[ｉ][ｊ]のＹ方向の全ての画素において検出を行っていれば（ステップＳＢ１１４：ＹＥＳ）、ステップＳＢ１１６に進む。ステップＳＢ１１６では、ＣＰＵ１１は、ステップＳＢ１１３で記録した低輝度の配列要素が連続する画素配列ｇ[ｉ][ｊ]の位置をもとに、アプリケーション画像における非アクティブ領域の位置を取得する。
図１１（ｂ）では、ＣＰＵ１１がステップＳＢ１１２〜ＳＢ１１５の処理を繰返すことで、低輝度の配列要素が連続する画素配列ｇ[ｉ][ｊ]の位置（すなわち、非アクティブ領域の位置）が検出される。
【００６５】
ステップＳＢ１１７では、ＣＰＵ１１は、ステップＳＢ１１６で取得された非アクティブ領域の位置をもとに、アプリケーション画像におけるアクティブ領域の位置を検出する。すなわち、図１１（ｂ）に示すように、アプリケーション画像を構成する全ての画素配列ｇ[ｉ][ｊ]から、ステップＳＢ１１６により検出された非アクティブ領域を構成する画素配列ｇ[ｉ][ｊ]を除いた画素配列ｇ[ｉ][ｊ]が、アクティブ領域を構成する画素配列ｇ[ｉ][ｊ]となる。
【００６６】
ステップＳＢ１１８では、ＣＰＵ１１は、ステップＳＢ１１７で検出したアクティブ領域の位置を記録する。
【００６７】
以上説明したように、この第２の実施形態では、第１の実施形態で奏する効果に加えて以下の効果を奏する。すなわち、表示装置１０は、アプリケーション画像に含まれるアクティブ領域を検出する際、端末３０と通信を行う必要がないため、キャリブレーション処理に要する時間を軽減することができる。また、端末３０は、キャリブレーション処理に際し、表示装置１０に実行座標ＰＣｒ（Ｘ、Ｙ）を返信する必要がないため、端末３０の処理負荷を軽減することができる。
【００６８】
３．第３の実施形態：
端末３０がその向きに応じて、タッチパネルモジュール３６に表示する元画像を表示する向きを変更する場合に、表示装置１０が座標情報を算出する処理を変更してもよい。
この第３の実施形態では、端末３０は、向き検出センサー３７が向きの変化を検出すると、ＣＰＵ３１に検出信号を出力する。そして、ＣＰＵ３１は、端末３０の向きに応じて、タッチパネルモジュール３６の表示領域の縦横比に応じて、図１２（ａ）（ｂ）のいずれかの元画像を表示する。また、端末３０は、向きが変化したことを、通信ＩＦ３５を通じて表示装置１０に送信する。
【００６９】
図１２は、第３の実施形態において、表示装置が実行する座標情報算出処理について説明する図である。図１２（ａ）は、端末３０を縦方向に向けた場合に端末３０と、表示装置１０のそれぞれに表示される画像を示す。また、図１２（ｂ）は、端末３０を横方向に向けた場合に端末３０と、表示装置１０のそれぞれに表示される画像を示す。
【００７０】
図１２（ａ）では、端末３０には、タッチパネルモジュール３６の向き（縦方向を７２０画素、横方向を１２８０画素）に合わせて元画像が表示されている。すなわち、端末３０には、横方向が長い元画像が表示される。そして、表示装置１０は、端末３０に表示される元画像に合わせて、横方向に長いアプリケーション画像が表示される。一例として、図１２（ａ）では、表示装置１０に表示されるアプリケーション画像には、非アクティブ領域が含まれていない。すなわち、全てがアクティブ領域により構成されている。
【００７１】
一方、図１２（ｂ）では、タッチパネルモジュール３６の向き（縦方向を１２８０画素、横方向を７２０画素）に合わせて元画像が表示されている。すなわち、端末３０の向き（縦方向、横方向）に応じて、縦方向が長い元画像が表示されている。そして、表示装置１０は、端末３０に表示される元画像に合わせて、縦方向に長いアプリケーション画像が表示される。一例として、図１２（ｂ）では、表示装置１０に表示されるアプリケーション画像の両側には非アクティブ領域が含まれている。すなわち、元画像のアスペクト比を維持するため、元画像の両側に非アクティブ画像が合成されている。
【００７２】
表示装置１０のＣＰＵ１１は、通信ＩＦ１５を通じて端末３０から送信される向き検出信号をもとに、端末３０の向きを検出する向き検出部としても機能する。そして、座標情報算出部１１２は、検出された端末３０の向きに応じて、縦方向でのパラメータと、横方向でのパラメータとを使い分けて、座標情報を算出する。ここで、キャリブレーション部１１１は、端末３０が縦方向（図１２（ａ））の場合のアクティブ領域の範囲と、端末３０が横方向（図１２（ｂ））の場合のアクティブ領域の範囲と、をキャリブレーション処理により取得しているものとする。
【００７３】
図１３は、第３の実施形態において、表示装置１０が実行する座標情報算出処理について説明するフローチャートである。図１３に示す処理は、図６のステップＳＢ４において実行される処理である。
【００７４】
ステップＳＢ１４１では、ＣＰＵ１１は、タッチパネルモジュール１６からの出力をもとに、操作座標ＰＣｒ（Ｘ、Ｙ）を取得する。操作座標ＯＰ（Ｘ、Ｙ）は、ユーザがタッチパネルモジュール１６を操作することで、ＣＰＵ１１が得る座標である。
【００７５】
ステップＳＢ１４１で取得した操作座標ＯＰ（Ｘ、Ｙ）が、アクティブ領域内であれば（ステップＳＢ１４２：ＹＥＳ）、ＣＰＵ１１は、ステップＳＢ１４３に進む。
そして、端末３０から送信される向き検出信号により、端末３０が縦方向であれば（ステップＳ１４３：ＹＥＳ）、ステップＳＢ１４４に進む。
【００７６】
ステップＳＢ１４４では、ＣＰＵ１１は、ステップＳＢ１４１で取得した操作座標ＯＰ（Ｘ、Ｙ）から、端末３０を縦方向とする場合のパラメータを用いてアプリケーション画像上での対応座標ＣＣｒ（Ｘ、Ｙ）を算出する。一例として、ＣＰＵ１１は、下記式（４−１）（４−２）をもとに、対応座標ＣＣｒ（Ｘ、Ｙ）を取得する。
対応座標ＣＣｒ（Ｘ）＝操作座標ＯＰ（Ｘ）×縦方向端末画像サイズ（ＬＸ）÷縦方向アクティブ領域の範囲（ＬＸ）×縦方向補正係数    …    （４−１）
対応座標ＣＣｒ（Ｙ）＝操作座標ＯＰ（Ｙ）×縦方向端末画像サイズ（ＬＹ）÷縦方向アクティブ領域の範囲（ＬＹ）×縦方向補正係数    …    （４−２）
ここで、式（４−１）（４−２）では、縦方向端末画像サイズ（ＬＸ）、縦方向アクティブ領域の範囲（ＬＸ）、縦方向補正係数、縦方向端末画像サイズ（ＬＹ）、縦方向アクティブ領域の範囲（ＬＹ）、縦方向補正係数が、端末３０を縦方向とする場合のパラメータである。
【００７７】
一方、端末３０から送信される向き検出信号により、端末３０が横方向であれば（ステップＳ１４３：ＮＯ）、ステップＳＢ１４５に進む。
ステップＳＢ１４５では、ＣＰＵ１１は、ステップＳＢ１４１で取得した操作座標ＯＰ（Ｘ、Ｙ）から、端末３０を横方向とする場合のパラメータを用いてアプリケーション画像上での対応座標ＣＣｒ（Ｘ、Ｙ）を算出する。一例として、ＣＰＵ１１は、下記式（５−１）（５−２）をもとに、対応座標ＣＣｒ（Ｘ、Ｙ）を取得する。
対応座標ＣＣｒ（Ｘ）＝操作座標ＯＰ（Ｘ）×横方向端末画像サイズ（ＬＸ）÷横方向アクティブ領域の範囲（ＬＸ）×横方向補正係数    …    （５−１）
対応座標ＣＣｒ（Ｙ）＝操作座標ＯＰ（Ｙ）×横方向端末画像サイズ（ＬＹ）÷横方向アクティブ領域のサイズ（ＬＹ）×横方向補正係数    …    （５−２）
ここで、式（５−１）（５−２）では、横方向端末画像サイズ（ＬＸ）、横方向アクティブ領域の範囲（ＬＸ）、横方向補正係数、横方向端末画像サイズ（ＬＹ）、横方向アクティブ領域の範囲（ＬＹ）、横方向補正係数が、端末３０を横方向とする場合のパラメータである。
【００７８】
なお、ステップＳＢ４１で取得した操作座標ＯＰ（Ｘ、Ｙ）が、アクティブ領域外であれば、ＣＰＵ１１は、処理を終了する。すなわち、ユーザがタッチしたタッチパネルモジュール１６の領域が非アクティブ領域であるため、座標情報を算出しない。
【００７９】
ステップＳＢ１４６では、ＣＰＵ１１は、ステップＳ１４４またはＳ１４５で算出した対応座標（Ｘ、Ｙ）をもとに端末３０に送信するための相対座標ＲＣ（ＲＸ、ＲＹ）を算出する。一例として、ＣＰＵ１１は、上記式（３−１）（３−２）をもとに、相対座標を算出する。
【００８０】
ステップＳＢ１４７では、ＣＰＵ１１は、ステップＳＢ１４４または１４５で算出された対応座標ＣＣｒ（Ｘ、Ｙ）と、ステップＳＢ１４６で算出された相対座標ＲＣ（ＲＸ、ＲＹ）を、記録する。
以下、ステップＳＢ１４７で記録された座標情報（相対座標ＲＣ）は、送信制御部１１３により通信ＩＦ１５を用いて端末３０に送信される。
【００８１】
以上説明したように、この第３の実施形態では、第１の実施形態が奏する効果に加えて以下の効果を奏する。すなわち、表示装置１０は、端末３０の向きに応じて元画像が変化する場合でも、端末３０の向きに応じて変化するアクティブ領域の範囲を取得することができ、表示装置１０から端末３０へ正確な座標情報を送信することができる。
【００８２】
４．第４の実施形態：
第２の実施形態に示したように、アプリケーション画像の画素配列ｇ[ｉ][ｊ]の要素をもとに、アクティブ領域の範囲を検出する場合でも、上記した第３の実施形態を適用することができる。
【００８３】
５．第５の実施形態：
ＣＰＵ１１（キャリブレーション部１１１）によるキャリブレーション処理は、表示装置１０と端末３０との通信が開始される場合のみに限定されない。
例えば、ＣＰＵ１１（キャリブレーション部１１１）は、端末３０からアプリケーション画像が送信されている間、アクティブ領域の範囲を検出するためのキャリブレーション処理を所定周期で行なう構成としてもよい。
上記のように構成することで、端末の向きやアプリケーションの状態変化を常に監視することができるため、座標情報をより正確に算出することができる。
【００８４】
６．その他の実施形態：
端末３０を表示装置１０と接続する場合は、端末３０の向きを固定しても元画像のサイズを変更しないようにしてもよい。例えば、図１２（ａ）に示したように、端末３０を横方向に向けた場合でも、元画像は、タッチパネルモジュール３６の表示領域の縦横比に応じて変化せず、元画像は図１２（ｂ）に示す向きを維持する。すなわち、端末３０に表示される元画像は、端末３０の向きに係わらず変化しない。
上記のように構成することで、表示装置１０には常に同じサイズでのアプリケーション画像が入力するため、表示装置１０側で行う処理負荷を軽減することができる。
【００８５】
表示装置は、車載型のものに限定されない。例えば、屋内で使用される。据え置き型の表示装置であってもよい。
【００８６】
なお、本発明は上記実施例に限られるものでないことは言うまでもない。当業者であれば言うまでもないことであるが、
・上記実施例の中で開示した相互に置換可能な部材および構成等を適宜その組み合わせを変更して適用すること
・上記実施例の中で開示されていないが、公知技術であって上記実施例の中で開示した部材および構成等と相互に置換可能な部材および構成等を適宜置換し、またその組み合わせを変更して適用すること
・上記実施例の中で開示されていないが、公知技術等に基づいて当業者が上記実施例の中で開示した部材および構成等の代用として想定し得る部材および構成等と適宜置換し、またその組み合わせを変更して適用すること
は本発明の一実施例として開示されるものである。
【符号の説明】
【００８７】
１０…表示装置、１１…ＣＰＵ、１２…ＲＯＭ、１３…ＲＡＭ、１４…フラッシュメモリ、１５…通信ＩＦ、１６…タッチパネルモジュール、１７…音声出力部、１８…バス、３０…端末、３１…ＣＰＵ、３２…ＲＯＭ、３３…ＲＡＭ、３４…フラッシュメモリ、３５…通信ＩＦ、３６…タッチパネルモジュール、３７…向き検出センサー、３８…バス、１００…アプリケーション実行システム、１１１…キャリブレーション部、１１２…座標情報算出部、１１３…送信制御部
【図１】
2015161978.tif 000003
【図２】
2015161978.tif 000004
【図３】
2015161978.tif 000005
【図４】
2015161978.tif 000006
【図５】
2015161978.tif 000007
【図６】
2015161978.tif 000008
【図７】
2015161978.tif 000009
【図８】
2015161978.tif 000010
【図９】
2015161978.tif 000011
【図１０】
2015161978.tif 000012
【図１１】
2015161978.tif 000013
【図１２】
2015161978.tif 000014
【図１３】
2015161978.tif 000015