(57)【要約】【課題】表示装置の機能に応じて、端末装置と表示装置の表示画像のずれに起因する入力位置のずれを容易に補正できるようにする。【解決手段】端末装置は、例えばスマートフォンなどであり、表示部に第１の画像を表示するとともに、第１の画像を一部に含む第２の画像をナビゲーション装置などの表示装置に出力する。また、端末装置は、第２の画像に対する第２の画像の相対的位置関係を示すキャリブレーション情報を外部のサーバから取得する。表示装置に表示された第２の画像に対してユーザがタッチ入力を行うと、その入力位置が表示装置から端末装置へ送信される。端末装置は、第２の画像上の入力位置を前記キャリブレーション情報に基づいて変換する必要があるか否かを示す変換要否情報を取得し、変換が必要である場合にキャリブレーション情報に基づいて、第２の画像上の入力位置を第１の画像上の入力位置に変換する。【選択図】図６
2018081711.tif 000002
【特許請求の範囲】
【請求項１】
第１画像を一部に含む第２画像を表示装置に出力する画像出力部と、
前記第２画像に対する前記第１画像の相対的位置関係を示す相対位置情報を取得する相対位置情報取得部と、
前記相対位置情報に基づいて、前記第２画像上の入力位置を変換するか否かを示す変換情報を、前記表示装置から取得する変換情報取得部と、
前記変換情報が、変換が必要であることを示した場合に、前記相対位置情報に基づいて、前記第２画像上の入力位置を前記第１画像上の入力位置に変換する変換部と、
を備えることを特徴とする端末装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、相互に接続された端末装置と表示装置のタッチ入力のキャリブレーションに関する。
【背景技術】
【０００２】
近年、カーナビゲーション装置などの車載機と、スマートフォンなどの端末装置とを接続して利用することが行われている。
【０００３】
例えば、特許文献１には、携帯端末と車載機を連携させ、車載機から携帯端末で実行されるアプリケーションを操作するシステムが記載されている。
【０００４】
非特許文献１は、スマートフォンにインストールされたアプリケーションに専用のモジュールを組み込むことにより、スマートフォンの表示画像を車載機に送信して車載機の表示部に表示し、かつ、車載機の表示部に対するタッチ入力によってスマートフォンのアプリケーションを操作する技術を提案している。
【０００５】
非特許文献１のように、スマートフォンの表示画像を表示装置に送信して表示する場合、スマートフォンと表示装置とで表示画像の画素数やアスペクト比は必ずしも一致しない。よって、スマートフォンの機種によっては、出力する画像のアスペクト比を確保するために、出力画像の上下／左右に黒枠のエリアが付加される場合がある。即ち、表示装置のタッチパネルに表示される画像は、スマートフォンの表示画像の上下／左右に黒枠のエリアを付加した画像となる。
【０００６】
この場合、黒枠のエリアは表示画像内であるので、表示装置は黒枠のエリアが表示されているか否かを判別することはできない。そのため、表示装置のタッチパネル上で黒枠の部分がタッチされた場合、そのエリアはスマートフォンとしてはボタンなどが無いエリアであるにも関わらず、スマートフォン側では表示画像内のエリアがタッチされたと判定してしまう恐れがある。また、表示装置のタッチパネルに表示されている画像のエリアと、実際のタッチエリアとが一致しないため、黒枠のエリアより内側のエリアでもユーザによるタッチ座標がずれる可能性がある。
【０００７】
そこで、特許文献２は、スマートフォンと表示装置の組合せ毎にキャリブレーション情報を用意し、キャリブレーション情報に基づいて、表示装置におけるユーザの入力座標をスマートフォンにおける入力座標に変換する手法を記載している。
【先行技術文献】
【特許文献】
【０００８】
【特許文献１】特開２０１０−１３０６７０号公報
【特許文献２】国際公開ＷＯ２０１３／１５０６３７公報
【非特許文献】
【０００９】
【非特許文献１】AppRadio Pioneer Electronics USA  http://www.pioneerelectronics.com/PUSA/Car/AppRadio
【発明の概要】
【発明が解決しようとする課題】
【００１０】
しかし、車両に搭載される表示装置によっては、上記のような黒枠のエリアが表示されることに独自に対応する機能を有するもの存在する。そのような機能を有する表示装置については、特許文献２のような座標変換処理が必要でない場合がある。また、表示装置側で独自に黒枠のエリアに対する処理を実行した際に、さらにスマートフォン側で特許文献２のような処理を行うと、却ってスマートフォン側が認識する座標がずれてしまうという問題も発生しうる。
【００１１】
本発明が解決しようとする課題としては、上記のものが例として挙げられる。本発明は、表示装置の機能に応じて、端末装置と表示装置の表示画像のずれに起因する入力位置のずれを容易に補正できるようにすることを目的とする。
【課題を解決するための手段】
【００１２】
請求項１に記載の発明は、端末装置であって、第１の画像を表示する表示部と、前記第１の画像を一部に含む第２の画像を表示装置に出力する画像出力部と、前記表示装置に表示された第２の画像に対してユーザが行ったタッチ入力の位置を示す第２の画像上の入力位置を、前記表示装置から取得する入力位置取得部と、前記第２の画像に対する前記第１の画像の相対的位置関係を示す相対位置情報を外部のサーバから取得する相対位置情報取得部と、前記第２の画像上の入力位置を前記相対位置情報に基づいて変換する必要があるか否かを示す変換要否情報を、前記表示装置から取得する変換要否情報取得部と、変換が必要であることを示す変換要否情報を前記変換要否情報取得部が取得した場合に、前記相対位置情報に基づいて、前記第２の画像上の入力位置を前記第１の画像上の入力位置に変換する変換部と、を備えることを特徴とする。
【００１３】
請求項４に記載の発明は、表示部を備える端末装置により実行されるキャリブレーション方法であって、前記表示部に第１の画像を表示する表示工程と、前記第１の画像を一部に含む第２の画像を表示装置に出力する画像出力工程と、前記表示装置に表示された第２の画像に対してユーザが行ったタッチ入力の位置を示す、第２の画像上の入力位置を、前記表示装置から取得する入力位置取得工程と、前記第２の画像に対する前記第１の画像の相対的位置関係を示す相対位置情報を外部のサーバから取得する相対位置情報取得工程と、前記第２の画像上の入力位置を前記相対位置情報に基づいて変換する必要があるか否かを示す変換要否情報を、前記表示装置から取得する変換要否情報取得工程と、変換が必要であることを示す変換要否情報を前記変換要否情報取得工程が取得した場合に、前記相対位置情報に基づいて、前記第２の画像上の入力位置を前記第１の画像上の入力位置に変換する変換工程と、を有することを特徴とする。
【００１４】
請求項５に記載の発明は、表示部及びコンピュータを備える端末装置により実行されるキャリブレーションプログラムであって、前記表示部に第１の画像を表示する表示工程と、前記第１の画像を一部に含む第２の画像を表示装置に出力する画像出力工程と、前記表示装置に表示された第２の画像に対してユーザが行ったタッチ入力の位置を示す、第２の画像上の入力位置を、前記表示装置から取得する入力位置取得工程と、前記第２の画像に対する前記第１の画像の相対的位置関係を示す相対位置情報を外部のサーバから取得する相対位置情報取得工程と、前記第２の画像上の入力位置を前記相対位置情報に基づいて変換する必要があるか否かを示す変換要否情報を、前記表示装置から取得する変換要否情報取得工程と、変換が必要であることを示す変換要否情報を前記変換要否情報取得工程が取得した場合に、前記相対位置情報に基づいて、前記第２の画像上の入力位置を前記第１の画像上の入力位置に変換する変換工程と、を前記コンピュータに実行させることを特徴とする。
【図面の簡単な説明】
【００１５】
【図１】本発明の実施例に係るシステムの構成を示す。
【図２】画像サイズ調整機能を有しない表示装置を使用した場合のシステムの機能構成を示すブロック図である。
【図３】アスペクト比を調整するために黒枠が付加された画像の例を示す。
【図４】入力位置の変換方法の一例を示す。
【図５】画像サイズ調整機能を有する表示装置を使用した場合のシステムの機能構成を示すブロック図である。
【図６】入力位置の変換処理のフローチャートである。
【図７】キャリブレーション画像の一例を示す。
【発明を実施するための形態】
【００１６】
本発明の好適な実施形態では、端末装置は、第１の画像を表示する表示部と、前記第１の画像を一部に含む第２の画像を表示装置に出力する画像出力部と、前記表示装置に表示された第２の画像に対してユーザが行ったタッチ入力の位置を示す第２の画像上の入力位置を、前記表示装置から取得する入力位置取得部と、前記第２の画像に対する前記第１の画像の相対的位置関係を示す相対位置情報を外部のサーバから取得する相対位置情報取得部と、前記第２の画像上の入力位置を前記相対位置情報に基づいて変換する必要があるか否かを示す変換要否情報を、前記表示装置から取得する変換要否情報取得部と、変換が必要であることを示す変換要否情報を前記変換要否情報取得部が取得した場合に、前記相対位置情報に基づいて、前記第２の画像上の入力位置を前記第１の画像上の入力位置に変換する変換部と、を備える。
【００１７】
上記の端末装置は、例えばスマートフォンなどであり、表示部に第１の画像を表示するとともに、第１の画像を一部に含む第２の画像を、ナビゲーション装置などの表示装置に出力する。また、端末装置は、第２の画像に対する第１の画像の相対的位置関係を示す相対位置情報を外部のサーバから取得する。表示装置に表示された第２の画像に対してユーザがタッチ入力を行うと、その入力位置が表示装置から端末装置へ送信される。端末装置は、第２の画像上の入力位置を前記相対位置情報に基づいて変換する必要があるか否かを示す変換要否情報を取得し、変換が必要である場合に相対位置情報に基づいて、第２の画像上の入力位置を第１の画像上の入力位置に変換する。これにより、端末装置の表示部と表示装置の表示部の仕様が異なり、端末装置側で座標変換が必要な場合には表示装置に対する入力位置を端末装置に対する入力位置に正しく変換することが可能となる。一方、表示装置が座標変換の機能を有し、端末装置側での座標変換が不要な場合には、座標変換を行わないので、不要な座標変換を実行することにより却って入力位置がずれてしまうことを防止できる。
【００１８】
上記の端末装置の一態様では、前記相対位置情報取得部は、外部から取得した相対位置情報を端末装置内の記憶部に保存し、前記変換部は、過去に取得した相対位置情報が記憶部に記憶されている場合には、当該記憶部に記憶されている相対位置情報を使用する。これにより、外部のサーバから相対位置情報を毎回取得する必要が無くなり、通信量を減らすことができる。
【００１９】
上記の端末装置の他の一態様は、キャリブレーション画像を前記表示装置に供給するキャリブレーション画像出力部と、前記表示装置に表示されたキャリブレーション画像に対するユーザのタッチ入力の位置を示すキャリブレーション入力位置を前記表示装置から取得するキャリブレーション入力位置取得部と、取得したキャリブレーション入力位置に基づいて、相対位置情報を生成する相対位置情報生成部と、生成された相対位置情報を外部のサーバへ送信する通信部と、を備える。
【００２０】
この態様では、外部のサーバから相対位置情報を取得できないような場合に、キャリブレーション画像に対するユーザの入力に基づいて、相対位置情報を作成することができる。また、作成した相対位置情報をサーバにアップロードすることにより、多数のユーザで共有することが可能となる。
【００２１】
本発明の他の好適な実施形態では、表示部を備える端末装置により実行されるキャリブレーション方法は、前記表示部に第１の画像を表示する表示工程と、前記第１の画像を一部に含む第２の画像を表示装置に出力する画像出力工程と、前記表示装置に表示された第２の画像に対してユーザが行ったタッチ入力の位置を示す、第２の画像上の入力位置を、前記表示装置から取得する入力位置取得工程と、前記第２の画像に対する前記第１の画像の相対的位置関係を示す相対位置情報を外部のサーバから取得する相対位置情報取得工程と、前記第２の画像上の入力位置を前記相対位置情報に基づいて変換する必要があるか否かを示す変換要否情報を、前記表示装置から取得する変換要否情報取得工程と、変換が必要であることを示す変換要否情報を前記変換要否情報取得工程が取得した場合に、前記相対位置情報に基づいて、前記第２の画像上の入力位置を前記第１の画像上の入力位置に変換する変換工程と、を有する。これにより、端末装置の表示部と表示装置の表示部の仕様が異なり、端末装置側で座標変換が必要な場合には、表示装置に対する入力位置を端末装置に対する入力位置に正しく変換することが可能となる。
【００２２】
本発明の他の好適な実施形態では、表示部及びコンピュータを備える端末装置により実行されるキャリブレーションプログラムは、前記表示部に第１の画像を表示する表示工程と、前記第１の画像を一部に含む第２の画像を表示装置に出力する画像出力工程と、前記表示装置に表示された第２の画像に対してユーザが行ったタッチ入力の位置を示す、第２の画像上の入力位置を、前記表示装置から取得する入力位置取得工程と、前記第２の画像に対する前記第１の画像の相対的位置関係を示す相対位置情報を外部のサーバから取得する相対位置情報取得工程と、前記第２の画像上の入力位置を前記相対位置情報に基づいて変換する必要があるか否かを示す変換要否情報を、前記表示装置から取得する変換要否情報取得工程と、変換が必要であることを示す変換要否情報を前記変換要否情報取得工程が取得した場合に、前記相対位置情報に基づいて、前記第２の画像上の入力位置を前記第１の画像上の入力位置に変換する変換工程と、を前記コンピュータに実行させる。これにより、端末装置の表示部と表示装置の表示部の仕様が異なり、端末装置側で座標変換が必要な場合には、表示装置に対する入力位置を端末装置に対する入力位置に正しく変換することが可能となる。
【実施例】
【００２３】
以下、図面を参照して本発明の好適な実施例について説明する。
【００２４】
［基本構成］
図１は、本発明の実施例に係る端末装置を含むシステムの構成を示す。図１に示すように、本システムは、サーバ１と、スマートフォン１０と、表示装置２０とにより構成される。
【００２５】
スマートフォン１０と表示装置２０とは相互に通信可能に構成される。スマートフォン１０は、本発明の端末装置に相当する。表示装置２０は車両に搭載される装置であり、例えばナビゲーション装置、車載用のＡＶ機器などが挙げられる。
【００２６】
本システムでは、スマートフォン１０の表示画像を表示装置２０に送信し、表示装置２０に表示する。ユーザが表示装置２０に対して操作入力を行うと、表示装置２０はその操作入力に対応する信号をスマートフォン１０へ送信する。これにより、ユーザは、表示装置２０に対して操作入力を行うことにより、スマートフォン１０を操作することができる。
【００２７】
スマートフォン１０は、液晶ディスプレイなどを用いたタッチパネル（表示部）１４に画像を表示する。スマートフォン１０は、例えばＨＤＭＩ（Ｈｉｇｈ  Ｄｅｆｉｎｉｔｉｏｎ  Ｍｕｌｔｉｍｅｄｉａ  Ｉｎｔｅｒｆａｃｅ）などにより、タッチパネル１４に表示した画像Ｄ１を表示装置２０に送信する。
【００２８】
表示装置２０は、液晶ディスプレイなどを用いたタッチパネル（表示部）２１を備える。表示装置２０は、スマートフォン１０から画像Ｄ１を受信し、タッチパネル２１に表示する。また、表示装置２０は、タッチパネル２１に対してユーザが行った操作入力を検出し、その入力位置（位置座標）Ｄ２をスマートフォン１０へ送信する。入力位置Ｄ２は、例えばＢｌｕｅｔｏｏｔｈ（登録商標）のＳＰＰ（Ｓｅｒｉａｌ  Ｐｏｒｔ  Ｐｒｏｆｉｌｅ）などによりスマートフォン１０へ送信される。
【００２９】
サーバ１はデータベース２を備える。データベース２には、後述するように、相対位置情報Ｄ３（以下、キャリブレーション情報Ｄ３とも記す）が記憶される。スマートフォン１０は、無線通信機能などによりサーバ１にアクセスし、キャリブレーション情報をダウンロードすることができる。
【００３０】
［表示装置が画像サイズ調整機能を有しない場合］
図２は、画像サイズ調整機能を有しない表示装置２０Ａを使用した場合の、図１に示すシステムの機能構成を示すブロック図である。なお、以下の説明では、画像サイズ調整機能を有しない表示装置を指す場合に「表示装置２０Ａ」と記し、画像サイズ調整機能を有する表示装置を指す場合に「表示装置２０Ｂ」と記し、いずれかに限定せずに表示装置を指す場合に単に「表示装置２０」と記す。
【００３１】
画像サイズ調整機能とは、例えば、表示装置に表示されている画像の一部をユーザが任意に切り出し、その切り出された画像を画面全体に引き延ばして（拡大して）して表示する機能である。図２の例では、表示装置２０Ａは画像サイズ調整機能を有しないので、スマートフォン１０側で以下に述べる座標変換を行って、スマートフォン１０に表示される画像サイズと表示装置２０Ａに表示される画像サイズとの整合をとる。
【００３２】
スマートフォン１０は、アプリケーション１１と、画像出力部１２と、制御部１３と、タッチパネル１４と、通信部１５及び１６とを備える。
【００３３】
アプリケーション１１は、スマートフォン１０上で実行されるアプリケーションであり、本実施例では上述のように表示装置２０によりスマートフォン１０を操作するためのものである。なお、アプリケーション１１は、実際にはＣＰＵなどのコンピュータが予め用意されたプログラムを実行することにより実現される。なお、アプリケーション１１は、本発明の入力位置取得部、キャリブレーション情報取得部、キャリブレーション画像出力部、キャリブレーション位置情報取得部、変換要否情報取得部、及び、キャリブレーション情報生成部として機能する。
【００３４】
画像出力部１２は、スマートフォン１０の表示画像をアプリケーション１１から受け取り、画像Ｄ１として表示装置２０へ送信する。
【００３５】
制御部１３は、スマートフォン１０全体を制御するものであり、実際にはスマートフォン１０に搭載されたＯＳ及び基本的なアプリケーションにより実現される。制御部１３は、スマートフォン１０上で動作する各種のアプリケーションにより生成された画像Ｄ１２をタッチパネル１４に表示するとともにアプリケーション１１に供給する。
【００３６】
通信部１５は、サーバ１との間で無線通信を行い、サーバ１からキャリブレーション情報Ｄ３を受信するための通信機能を有する。通信部１６は表示装置２０からユーザの操作入力に対応する入力位置Ｄ２を受信するための通信機能を有する。
【００３７】
一方、表示装置２０Ａは、タッチパネル２１と、通信部２２と、入力部２３と、制御部２５とを備える。タッチパネル２１は、ユーザが所望の操作入力を行う際に使用される。入力部２３は、タッチパネル２１に対してユーザが行った操作入力を検出し、その入力位置Ｄ２を通信部２２に送る。通信部２２は、入力位置Ｄ２をスマートフォン１０へ送信する。
【００３８】
制御部２５は、表示装置２０Ａ全体の制御を行う。また、制御部２５は内部にメモリ２６を備える。メモリ２６は、その表示装置自身が画像サイズ調整機能を有するか否かを示す情報を記憶している。画像サイズ調整機能を有するか否かの情報は、例えばフラグ（以下、「調整機能フラグ」とも呼ぶ。）として設定することができる。一例では、画像サイズ調整機能を有する表示装置は、そのメモリ２６に「調整機能フラグ＝１」が記憶されている。一方、画像サイズ調整機能を有しない表示装置は、そのメモリ２６に「調整機能フラグ＝０」が記憶されている。図２の例では、表示装置２０Ａは画像サイズ調整機能を有しないので、メモリ２には「調整機能フラグ＝０」が記憶されている。
【００３９】
制御部２５は、表示装置２０Ａがスマートフォン１０に接続されたときに、メモリ２６内に記憶されている調整機能フラグの値に基づいてスマートフォン１０に、スマートフォン１０側での座標変換の要否を通知する。図２の例では、表示装置２０Ａは画像サイズ調整機能を有さず、スマートフォン１０の画像サイズと表示装置２０の画像サイズとの相違を吸収するための座標変換をスマートフォン１０側で実行してもらう必要があるので、制御部２５は、スマートフォン１０に対して、スマートフォン１０側で座標変換が必要である旨（「座標変換：必要」）を通知する。
【００４０】
次に、アプリケーション１１が行う処理について説明する。アプリケーション１１は、スマートフォン１０で実行される各種のアプリケーションが生成する画像Ｄ１２を制御部１３から受け取り、画像出力部１２に送る。画像出力部１２は、画像Ｄ１２を画像Ｄ１として表示装置２０Ａへ送信する。表示装置２０Ａは、受信した画像Ｄ１をタッチパネル２１に表示する。これにより、スマートフォン１０の表示画像が表示装置２０Ａのタッチパネル２１に表示される。
【００４１】
ユーザは、表示装置２０Ａの表示画像を見て、表示装置２０Ａのタッチパネル２１に対して操作入力を行う。具体的には、ユーザは、タッチパネル２１に表示された画像中のボタンにタッチするなどして操作入力を行う。この操作入力は入力部２３により検出され、対応する入力位置Ｄ２が通信部２２を介してスマートフォン１０へ送信される。
【００４２】
スマートフォン１０では、通信部１６が入力位置Ｄ２を受信し、アプリケーション１１へ供給する。アプリケーション１１は、スマートフォン１０に対するユーザの操作入力の入力位置を取得し、その入力位置を制御部１３へ供給する。制御部１３は、表示画像Ｄ１２と、アプリケーション１１から受け取った入力位置に基づいて、ユーザが行った操作入力に対応する処理を実行する。こうして、表示装置２０Ａからスマートフォン１０を操作することが可能となる。
【００４３】
（入力位置の変換方法）
さて、このようにスマートフォン１０の画像を表示装置２０Ａに送信して表示する場合、スマートフォン１０のタッチパネル１４と表示装置２０のタッチパネル２１の仕様、具体的には画素数やアスペクト比などが一致しているとは限らない。よって、スマートフォン１０は、画像を表示装置２０Ａに送信する際に、画素数やアスペクト比などを調整するために、画像の上下左右に黒枠を付加することがある。例えば、上述のＨＤＭＩの規格では、伝送する画像のアスペクト比は、１６：９又は４：３に固定されているが、スマートフォン１０のタッチパネル１４のアスペクト比は機種によってまちまちである。よって、スマートフォン１０は、ＨＤＭＩにより画像を出力する場合に画像出力部１２により機種ごとに異なる黒枠を付加してアスペクト比を調整することがある。
【００４４】
図３は、アスペクト比を調整するために黒枠が付加された画像の例を示す。スマートフォン１０のタッチパネル１４には画像ＩＭが表示されている。この画像ＩＭは、あるアルバムに属する複数の曲のリストと、以前の画面に戻る「ＢＡＣＫ」ボタンとを含んでいる。この画像ＩＭを表示装置２０Ａに送信して表示する場合、スマートフォン１０はＨＤＭＩ規格に適合するようにアスペクト比を調整した画像ＩＭｘを画像Ｄ２として表示装置２０Ａに送信する。表示装置２０Ａのタッチパネル２１に表示される画像ＩＭｘは、スマートフォン１０に表示されている画像ＩＭの外周に黒枠エリアＢＫが付加されたものとなっている。
【００４５】
この場合、黒枠エリアＢＫもタッチパネル２１内に表示されているので、ユーザは黒枠エリアＢＫに対してもタッチ入力が可能である。しかし、黒枠エリアＢＫはスマートフォン１０の画像ＩＭには存在せず、操作入力エリアではないので、黒枠エリアＢＫに対するタッチ入力は不適当な入力として処理されなければならない。また、スマートフォン１０に表示されている画像ＩＭと表示装置２０Ａに表示されている画像ＩＭｘとはスケールが異なるので、黒枠エリアＢＫの内側のエリアに対するタッチ入力についても、その位置座標をスマートフォン１０の画像ＩＭ上における位置座標に変換する必要がある。
【００４６】
ここで、表示装置２０が画像サイズ調整機能を有する場合には、表示装置２０から送信される入力位置Ｄ２は既にスマートフォン１０の画像サイズに適合したものとなっているので、スマートフォン１０側で位置座標の変換処理を行う必要は無い。一方、図２の例のように、表示装置２０Ａが画像サイズ調整機能を有しない場合には、表示装置２０Ａから送信される入力位置Ｄ２は表示装置２０Ａの画像サイズに対応するものとなっており、スマートフォン１０の画像サイズと整合がとれていない。そこで、本実施例では、表示装置２０Ａが画像サイズ調整機能を有さず、表示装置２０Ａから座標変換要否情報として「座標変換：必要」の通知を受信した場合には、スマートフォン１０のアプリケーション１１が変換部１１ｘとして機能し、この変換処理を行うこととした。
【００４７】
具体的には、変換部１１ｘは、タッチパネル２１における入力位置Ｄ２（即ち、画像ＩＭｘにおける入力位置）を表示装置２０Ａから受け取り、これをスマートフォン１０のタッチパネル１４における入力位置（即ち、画像ＩＭにおける入力位置）に変換する。この際、変換部１１ｘは主として以下の２つの処理を行う。
【００４８】
第１に、黒枠エリアＢＫに対するタッチ入力が単なるタッチ（即ち、ほぼ１点にタッチしてその後にタッチ位置を移動せずに離すタイプの入力）である場合、変換部１１ｘはそのタッチ入力を単純に無視する。一方、黒枠エリアＢＫに対するタッチ入力が、いわゆるドラッグなどのタッチ位置の移動を伴う入力である場合、変換部１１ｘは、黒枠エリアＢＫに対するタッチ入力の入力位置を、その位置に最も近い黒枠エリアＢＫの内側のエリア（以下、「正規エリア」と呼ぶ。）の位置に変換する。これらいずれかの手法により、変換部１１ｘは黒枠エリアＢＫに対して行われたタッチ入力を処理する。
【００４９】
第２に、変換部１１ｘは、正規エリアに対するタッチ入力の入力位置を、スマートフォン１０のタッチパネル１４上の対応する位置に変換する。これにより、スマートフォン１０のタッチパネル１４と表示装置２０Ａのタッチパネル２１の画素数が異なっていても、表示装置２０Ａのタッチパネル２１に対する入力位置をスマートフォン１０のタッチパネル１４に対する入力位置に正しく変換することができる。
【００５０】
図４は、上記の変換方法の一例を示す。まず、横方向について考える。表示装置２０Ａのタッチパネル２１の横方向のドット数を「Ｗ」とし、タッチパネル２１に表示される黒枠エリアＢＫの左右の幅をそれぞれ「Ｗａ」、「Ｗｂ」とする。また、スマートフォン１０のタッチパネル１４の横方向のドット数を「Ｗｓ」とする。
【００５１】
この場合、表示装置２０Ａのタッチパネル２１上の入力位置「Ｘ」をスマートフォン１０のタッチパネル１４上の入力位置「ｘｓ」に変換する式は以下の通りである。
【００５２】
ｘｓ＝０    ：Ｘ＜Ｗａのとき
ｘｓ＝Ｗｓ＊（ＸーＷａ）／｛Ｗ−（Ｗａ＋Ｗｂ）｝  ：Ｗａ＜Ｘ＜Ｗｂのとき
ｘｓ＝Ｗｓ  ：Ｘ＞（Ｗ−Ｗｂ）のとき
縦方向についても同様である。表示装置２０Ａのタッチパネル２１の縦方向のドット数を「Ｈ」とし、タッチパネル２１に表示される黒枠エリアＢＫの上下の幅をそれぞれ「Ｈｂ」、「Ｈａ」とし、スマートフォン１０のタッチパネル１４の縦方向のドット数を「Ｈｓ」とする。
【００５３】
この場合、表示装置２０Ａのタッチパネル２１上の入力位置「Ｙ」をスマートフォン１０のタッチパネル１４上の入力位置「ｙｓ」に変換する式は以下の通りである。
【００５４】
ｙｓ＝０    ：Ｙ＜Ｈａのとき
ｙｓ＝Ｈｓ＊（ＹーＨａ）／｛Ｈ−（Ｈａ＋Ｈｂ）｝  ：Ｈａ＜Ｙ＜Ｈｂのとき
ｙｓ＝Ｈｓ  ：Ｙ＞（Ｈ−Ｈｂ）のとき
なお、黒枠エリアＢＫに対するタッチ入力が単なるタッチである場合には、上述のように変換部１１ｘはそのタッチ入力を無視すればよい。
【００５５】
以上の変換方法によれば、表示装置２０Ａのタッチパネル２１に黒枠エリアＢＫを含む画像ＩＭｘが表示された場合でも、タッチパネル２１に対する入力位置をスマートフォン１０のタッチパネル１４に対する入力位置に正しく変換することができる。
【００５６】
さて、上記の変換を実行するためには、スマートフォン１０のタッチパネル１４のドット数（縦方向のドット数：Ｈｓ、横方向のドット数：Ｗｓ）と、表示装置２０Ａのタッチパネル２１のドット数（縦方向のドット数：Ｈ、横方向のドット数：Ｗ）と、黒枠エリアＢＫの上下左右の幅（Ｗａ、Ｗｂ、Ｈａ、Ｈｂ）とが必要となる。アプリケーション１１は、これらのうちスマートフォン１０のタッチパネル１４のドット数をスマートフォン１０の制御部１３などから取得することができ、表示装置２０Ａのタッチパネル２１のドット数を表示装置２０Ａから取得することができる。一方、黒枠エリアＢＫの上下左右の幅は、スマートフォン１０及び表示装置２０が通常所持している情報ではない。
【００５７】
そこで、アプリケーション１１は、黒枠エリアＢＫの上下左右の幅を、キャリブレーション情報Ｄ３としてサーバ１から取得する。具体的に、黒枠エリアＢＫの上下左右の幅は、スマートフォン１０のタッチパネル１４の仕様と、表示装置のタッチパネル２１の仕様に基づいて決まることになる。そこで、サーバ１は、スマートフォン１０と表示装置２０Ａの組合せに対応付けて、黒枠エリアＢＫの上下左右の幅をキャリブレーション情報Ｄ３として予め保持しておく。例えば、サーバ１は、スマートフォン１０の機種名などを示すＩＤと、表示装置２０Ａの機種名などを示すＩＤとの組合せに対応付けて、黒枠エリアＢＫの上下左右の幅を示すキャリブレーション情報Ｄ３を記憶しておく。スマートフォン１０は、表示装置２０Ａに接続されたときに当該表示装置２０ＡのＩＤを取得し、スマートフォン１０のＩＤと表示装置２０ＡのＩＤとをサーバ１に送信し、それらの組合せに対応するキャリブレーション情報Ｄ３をサーバ１から取得する。そして、スマートフォン１０は、取得したキャリブレーション情報Ｄ３を使用して、上記のように、表示装置２０Ａのタッチパネル２１に対する入力位置をスマートフォン１０のタッチパネル１４に対する入力位置に変換する。
【００５８】
［表示装置が画像サイズ調整機能を有する場合］
図５は、画像サイズ調整機能を有する表示装置２０Ｂを使用した場合の、図１に示すシステムの機能構成を示すブロック図である。画像サイズ調整機能は、例えば、表示装置に表示されている画像の一部をユーザが任意に切り出し、その切り出された画像を画面全体に引き延ばして（拡大して）表示する機能である。図２と比較すると理解されるように、図５における表示装置２０Ｂは、変換部２７を有し、入力部２３から出力された入力座標を変換して入力座標Ｄ２として通信部２２へ供給する点で図２に示す表示装置２０Ａと異なるが、それ以外は図２に示す表示装置２０Ａと同様である。また、図５において、サーバ１及びスマートフォン１０は図２と同様である。
【００５９】
前述のように、スマートフォン１０は、画像を表示装置２０Ｂに送信する際に、画素数やアスペクト比などを調整するために、画像の上下左右に黒枠を付加することがある。この場合、スマートフォン１０が付加した黒枠は画像データの一部であるので、表示装置２０Ｂの表示部２１にそのまま表示される。そこで、ユーザは、表示装置２０Ｂの画像サイズ調整機能を使用し、黒枠が表示されないように（黒枠以外の画像領域を切り出すことによって）、スマートフォン１０から送信された画像Ｄ１を引き延ばして（拡大して）表示する。これにより、スマートフォン１０が付加した黒枠は表示装置２０Ｂの表示部２１には表示されなくなる。
【００６０】
また、表示装置２０Ｂは、画像サイズ調整機能により、ユーザが表示画像をどの程度拡大したかを把握しており、変換部２７は、拡大後の表示画像におけるユーザの入力位置を、拡大前の表示画像における入力位置（即ち、スマートフォン１０の画像サイズに対応する入力位置）の座標に変換する。これにより、ユーザが表示画像を任意のサイズに拡大した場合でも、ユーザのタッチ入力の入力位置（入力座標）を、スマートフォン１０の画像サイズにおける入力位置に正しく変換することができる。通信部２２は、変換部２７によりスマートフォン１０の画像サイズに適合するように変換された後の入力位置Ｄ２をスマートフォン１０へ送信する。これにより、スマートフォン１０側での座標変換は不要となる。
【００６１】
図５に示す表示装置２０Ｂは画像サイズ調整機能を有するので、制御部２５のメモリ２６には、「調整機能フラグ＝１」が記憶されている。よって、制御部２５は、スマートフォン１０に対して、スマートフォン１０側で座標変換が不要である旨の座標変換要否情報（「座標変換：不要」）を通知する。これにより、スマートフォン１０側で座標変換は行われないので、表示装置２０Ｂ側でスマートフォン１０の画像サイズに正しく適合する入力位置Ｄ２を送信したのに、スマートフォン１０側でさらに不要な座標変換を行ってしまうことが防止できる。
【００６２】
また、表示装置２０Ｂは、例えば通信部２２を用いてスマートフォン１０からキャリブレーション情報Ｄ３を取得し、変換部２７は当該取得したキャリブレーション情報Ｄ３を用いて上述した変換処理を行うようにしても良い。このような構成にすれば、例えばユーザ画像サイズ調整機能により、黒枠が一部残された画像領域を切り出して拡大表示させたとしても、表示装置２０Ｂとスマートフォン１０との間における適切な座標変換を行うことができる。
【００６３】
［入力位置の変換処理］
図６は、入力位置の変換処理のフローチャートである。この処理は、スマートフォン１０内のアプリケーション１１により実行される。なお、前提として、スマートフォン１０と表示装置２０とが相互に通信可能な状態にされているものとする。また、この処理は、スマートフォン１０上でアプリケーション１１が起動されたときに実行される。
【００６４】
まず、アプリケーション１１が起動されると、アプリケーション１１は、表示装置２０に座標変換要否情報をリクエストし、表示装置２０の制御部２５から座標変換要否情報を受信する（ステップＳ９）。座標変換要否情報は、前述のように表示装置２０が画像サイズ調整機能を有するか否かに基づいて決定される。表示装置２０から受信した座標変換要否情報が「座標変換：不要」である場合（ステップＳ１０：Ｎｏ）、スマートフォン１０側での座標変換は不要であるので、アプリケーション１１は処理を終了する。
【００６５】
一方、表示装置２０から受信した座標変換要否情報が「座標変換：必要」である場合（ステップＳ１０：Ｙｅｓ）、アプリケーション１１は、それが初回の起動であるか否かを判定する（ステップＳ１１）。なお、この判定は、例えばアプリケーション１１内に記憶された処理の履歴情報などに基づいて行われる。
【００６６】
初回の起動である場合、通常はアプリケーション１１内には未だキャリブレーション情報が存在しない。よって、アプリケーション１１はスマートフォン１０のＩＤと表示装置２０のＩＤを特定してそれらの組合せに対応するキャリブレーション情報をサーバ１に要求し、対応するキャリブレーション情報を取得してスマートフォン１０内の記憶部などに保存する（ステップＳ１２）。そして、処理はステップＳ１４へ進む。
【００６７】
一方、初回の起動でない場合（ステップＳ１１；Ｎｏ）、アプリケーション１１はスマートフォン１０の記憶部などにキャリブレーション情報があるか否かを判定する（ステップＳ１３）。なお、この場合のキャリブレーション情報は、現在使用しているスマートフォン１０と表示装置２０との組合せに対応するキャリブレーション情報を意味する。キャリブレーション情報が無い場合（ステップＳ１３；Ｎｏ）、アプリケーション１１はサーバ１からキャリブレーション情報を取得する（ステップＳ１２）。一方、キャリブレーション情報がある場合（ステップＳ１３；Ｙｅｓ）、処理はステップＳ１４へ進む。
【００６８】
ステップＳ１４では、アプリケーション１１は、キャリブレーション情報の取得が成功したか否かを判定する。即ち、アプリケーション１１は、ステップＳ１２又はＳ１３の処理により、キャリブレーション情報が用意できたか否かを判定する。アプリケーション１１がキャリブレーション情報の取得に成功した場合（ステップＳ１４：Ｙｅｓ）、処理はステップＳ１５へ進む。
【００６９】
一方、アプリケーション１１がキャリブレーション情報の取得に成功しなかった場合（ステップＳ１４；Ｎｏ）、アプリケーション１１は、表示装置２０を利用してキャリブレーション情報を自ら作成する処理を行う。具体的には、アプリケーション１１は、表示装置２０にキャリブレーション画像を送信し、表示装置２０のタッチパネル２１にキャリブレーション画像を表示させる（ステップＳ１６）。なお、キャリブレーション情報の取得に成功しない理由としては、当該スマートフォン１０と表示装置２０の組合せに対応するキャリブレーション情報がサーバ１に存在しない場合や、サーバ１との通信が正常にできなかった場合などが考えられる。
【００７０】
キャリブレーション画像の一例を図７に示す。図７の例では、アプリケーション１１は、黒枠エリアＢＫとの区別がつくように、正規エリアを淡色などで表現した画像をキャリブレーション画像として表示装置２０に送信する。この場合、スマートフォン１０のタッチパネル１４と表示装置２０のタッチパネルの画素数やアスペクト比などの違いに基づいて、キャリブレーション画像には黒枠エリアＢＫが含まれる。さらに、アプリケーション１１は、マークＣ１〜Ｃ４により黒枠エリアＢＫの内側の四隅の位置を示し、ユーザに黒枠エリアＢＫの内側の四隅をタッチさせる。ユーザがマークＣ１〜Ｃ４の位置にタッチすると、表示装置２０は、各位置の座標を取得し、スマートフォン１０へ送信する。
【００７１】
アプリケーション１１は、黒枠エリアＢＫの内側の四隅に対応する位置座標を取得し、黒枠エリアＢＫの上下左右の幅を算出することにより、キャリブレーション情報を生成し、スマートフォン１０の記憶部などに保存する（ステップＳ１７）。さらに、アプリケーション１１は、生成したキャリブレーション情報を、スマートフォンのＩＤ及び表示装置のＩＤとともにサーバ１へアップロードする（ステップＳ１８）。これにより、サーバ１には、当該スマートフォンと表示装置との組合せに対応するキャリブレーション情報が用意されることになり、その後に別のユーザによる使用が可能となる。そして、処理はステップＳ１５へ進む。
【００７２】
ステップＳ１５では、アプリケーション１１は、用意されたキャリブレーション情報を使用して入力位置を変換する（ステップＳ１５）。即ち、表示装置２０のタッチパネル２１に対する入力位置を表示装置２０から取得し、スマートフォン１０のタッチパネル１４に対する入力位置に変換する。そして、変換により得られた入力位置Ｄ１３をスマートフォン１０の制御部１３に供給し、変換処理を終了する。なお、スマートフォン１０の制御部１３は、その入力位置Ｄ１３に基づいて、ユーザによる操作入力を処理する。
【００７３】
こうして、スマートフォン１０のタッチパネル１４と表示装置２０のタッチパネル２１との間で画素数やアスペクト比などの仕様が異なり、表示装置２０の表示画像に黒枠エリアＢＫが表示される場合でも、表示装置２０のタッチパネル２１に対する入力位置をスマートフォン１０のタッチパネル１４に対する入力位置に正しく変換することができる。
【００７４】
アプリケーション１１は、入力位置の変換に使用されるキャリブレーション情報がスマートフォン１０内に保存されている場合にはそれを用いるので、サーバ１からダウンロードする必要が無い。また、アプリケーション１１は、キャリブレーション情報がサーバ１から入手できないような場合には、図７に例示するキャリブレーション画像を用いて、ユーザの入力に基づいてキャリブレーション情報を生成するので、サーバ１に情報が無い新機種のスマートフォンや表示装置などを使用する場合でも変換処理が可能となる。なお、キャリブレーション画像を用いてキャリブレーション情報を作成する作業は、上記のようにキャリブレーション情報を入手不可能な場合に行うことには限らない。例えばキャリブレーション情報の作成処理をスマートフォン１０のメニューなどに登録しておいて、利用者が希望するときに実行可能としてもよい。
【００７５】
また、アプリケーション１１は、そうして作成したキャリブレーション情報をサーバ１へアップロードするので、その後は他のユーザもそのキャリブレーション情報を利用することができる。なお、サーバ１は、複数のスマートフォンからキャリブレーション情報を受信した場合には、それらの精度を分析したり、平均化処理を行ったりして、より精度の高いキャリブレーション情報を保持するようにすることができる。
【００７６】
［変形例］
上記の実施例では、表示装置２０の制御部２５は、表示装置２０が画像サイズ調整機能を有する場合には「座標変換：不要」の座標変換要否情報をスマートフォン１０へ送信し、表示装置２０が画像サイズ調整機能を有しない場合には「座標変換：必要」の座標変換要否情報をスマートフォン１０へ送信している。
【００７７】
しかし、表示装置２０が画像サイズ調整機能を有する場合でも、ユーザが実際に画像サイズ調整機能を使用せず（例えば画像サイズ調整機能をオフに設定しているなど）、スマートフォン１０から送信されている画像Ｄ１をそのまま表示部２１に表示しているような場合には、制御部２５は「座標変換：必要」の座標変換要否情報をスマートフォン１０へ送信して、スマートフォン１０側での座標変換を実施することとしてもよい。
【００７８】
また、例えば表示装置２０側の画像サイズ調整機能が、画像全体の拡大のみでなく、縦方向のみの拡大、横方向のみの拡大などが可能である場合には、制御部２５は座標変換要否情報として縦方向、横方向のそれぞれについて座標変換の要否をスマートフォン１０へ通知することとしてもよい。例えば、表示装置２０の画像サイズ調整機能を利用してユーザが縦方向のみのサイズ調整を行っており、横方向のサイズ調整は行っていない場合に、制御部２５はその設定に基づいて、「縦方向座標変換：不要、横方向座標変換：必要」との座標変換要否情報をスマートフォン１０へ送信することとしてもよい。
【符号の説明】
【００７９】
１  サーバ
１０  スマートフォン
１１  アプリケーション
１１ｘ、２４  変換部
１２  画像出力部
１３  制御部
１４、２１  タッチパネル
２０  表示装置
【図１】
2018081711.tif 000003
【図２】
2018081711.tif 000004
【図３】
2018081711.tif 000005
【図４】
2018081711.tif 000006
【図５】
2018081711.tif 000007
【図６】
2018081711.tif 000008
【図７】
2018081711.tif 000009