(57)【要約】【課題】画像表示装置を操作するための機器や部品を追加することなく、また、ユーザの位置及び動作を制限せずに画像表示装置の操作を行なうことを課題とする。【解決手段】端末装置は、ネットワークを介して所定アプリケーションを取得する取得部と、画像を表示する画像表示装置を操作するための端末装置に対するユーザの動作を検知する検知部と、を有する。また、所定アプリケーションは、ユーザの動作と画像表示装置に対する操作とを対応付けて保持する保持部と、保持部に基づいて、検知部によって検知された動作に対応する操作を特定する操作特定部と、操作特定部によって特定された操作を画像表示装置に対して送信する送信部、として機能する。【選択図】図２
2014038474.tif 000002
【特許請求の範囲】
【請求項１】
端末装置であって、
ネットワークを介して所定アプリケーションを取得する取得部と、
画像を表示する画像表示装置を操作するための前記端末装置に対するユーザの動作を検知する検知部と
を有し、
前記所定アプリケーションは、
前記動作と、前記画像表示装置に対する前記操作とを対応付けて保持する保持部と、
前記保持部に基づいて、前記検知部によって検知された動作に対応する操作を特定する操作特定部と、
前記操作特定部によって特定された操作を前記画像表示装置に対して送信する送信部として機能する
ことを特徴とする端末装置。
【請求項２】
前記取得部は、前記端末装置に搭載されたブラウザを利用して、前記所定アプリケーションを取得することを特徴とする請求項１に記載の端末装置。
【請求項３】
前記所定アプリケーションは、前記端末装置に搭載されたブラウザで実行可能な形式で構成されたアプリケーションであることを特徴とする請求項１又は２に記載の端末装置。
【請求項４】
前記検知部は、前記端末装置に対するユーザの動作として、前記端末装置の傾き及び移動方向の少なくとも一つを、加速度センサを利用して検知し、
前記操作特定部は、検知された前記端末装置の傾き及び移動方向の少なくとも一つに対応する操作を特定することを特徴とする請求項１に記載の端末装置。
【請求項５】
前記端末装置に対するユーザの動作を開始するための、前記端末装置に対する前記ユーザの特定動作を表す第１動作と、前記端末装置に対するユーザの動作を終了するための、前記端末装置に対する前記ユーザの特定動作を表す第２動作を検知する特定動作検知部をさらに有し、
前記所定アプリケーションは、
検知された前記第１動作又は前記第２動作から、前記端末装置に対するユーザの動作の開始又は終了の何れであるかを判定する判定部としてさらに機能し、
前記操作特定部は、前記端末装置に対するユーザの動作の開始又は終了の判定結果に応じて、検知された動作に対応する操作を特定することを特徴とする請求項１に記載の端末装置。
【請求項６】
前記特定動作検知部は、前記端末装置の画面に前記ユーザが接触したことを前記第１動作として検知し、検知された前記第１動作の接触状態から非接触になったことを前記第２動作として検知し、
前記判定部は、前記第１動作が検知された場合に、前記端末装置に対するユーザの動作が開始されることを判定し、前記第２動作が検知された場合に、前記端末装置に対するユーザの動作が終了されることを判定することを特徴とする請求項５に記載の端末装置。
【請求項７】
前記所定アプリケーションは、
前記動作に対応する前記操作を特定できた場合に、前記画像表示装置の操作が成功したことを報知し、前記動作に対応する前記操作を特定できない場合に、前記画像表示装置の操作が失敗したことを報知する報知部としてさらに機能することを特徴とする請求項１に記載の端末装置。
【請求項８】
前記報知部は、音の出力及び振動の発生の少なくとも一つにより報知することを特徴とする請求項７に記載の端末装置。
【請求項９】
端末装置と画像を表示する画像表示装置とを有する表示システムであって、
前記端末装置は、
ネットワークを介して所定アプリケーションを取得する取得部と、
前記画像表示装置を操作するための前記端末装置に対するユーザの動作を検知する検知部と
を有し、
前記所定アプリケーションは、
前記動作と、前記画像表示装置に対する前記操作とを対応付けて保持する保持部と、
前記保持部に基づいて、前記検知部によって検知された動作に対応する操作を特定する操作特定部と、
前記操作特定部によって特定された操作を前記画像表示装置に対して送信する送信部として機能し、
前記画像表示装置は、
表示対象の前記画像を記憶する画像記憶部と、
前記送信部によって送信された操作を受信する受信部と、
受信された操作に応じた前記画像を前記画像記憶部から取得する画像取得部と、
取得された前記画像をもとに表示画像を生成する生成部と、
生成された前記表示画像を表示する表示部と
を有することを特徴とする表示システム。
【請求項１０】
コンピュータを、
ネットワークを介して所定アプリケーションを取得する取得部と、
画像を表示する画像表示装置を操作するための端末装置に対するユーザの動作を検知する検知部
として機能させ、
前記所定アプリケーションは、
前記動作と、前記画像表示装置に対する前記操作とを対応付けて保持する保持部と、
前記保持部に基づいて、前記検知部によって検知された動作に対応する操作を特定する操作特定部と、
前記操作特定部によって特定された操作を前記画像表示装置に対して送信する送信部として機能する
ことを特徴とする操作プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、端末装置、表示システム及び操作プログラムに関する。
【背景技術】
【０００２】
従来、画像ファイルを表示するプロジェクタ等の画像表示装置が知られている。また、画像表示装置による画像ファイルの表示に関しては、ユーザの所定動作であるジェスチャを検知し、検知したジェスチャに対応する操作を画像表示装置に指示することで、所望の画像ファイルを表示する技術がある。
【０００３】
かかる技術において、ユーザによるジェスチャは、例えば、カメラによって撮像されたユーザの映像から検知される。このため、ユーザは、画像表示装置を操作するためのジェスチャとして誤検知が生じないように自身の動きに留意することになる。加えて、ユーザは、ジェスチャとして検知させるために、カメラによって撮像可能な範囲に居なければならないので、自身の位置が制限されてしまう。また、ジェスチャの検知においては、上記のようにカメラ等の機器を要することになるためコストが増大してしまう。
【０００４】
そこで、最近では、角度センサや加速度センサを備えたリモートコントローラを用いて、その運動方向や傾きをユーザによるジェスチャとして検知することにより、画像表示装置を操作する技術がある。
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、上述した従来技術であっても、専用のリモートコントローラを用意しなければならないために、コストが増大するという問題は解消できない。
【０００６】
本発明は、上記に鑑みてなされたものであって、画像表示装置を操作するための機器や部品を追加することなく、また、ユーザの位置及び動作を制限せずに画像表示装置の操作を行なうことが可能である端末装置、表示システム及び操作プログラムを提供することを目的とする。
【課題を解決するための手段】
【０００７】
上述した課題を解決し、目的を達成するため、本発明に係る端末装置は、端末装置であって、ネットワークを介して所定アプリケーションを取得する取得部と、画像を表示する画像表示装置を操作するための前記端末装置に対するユーザの動作を検知する検知部とを有し、前記所定アプリケーションは、前記動作と、前記画像表示装置に対する前記操作とを対応付けて保持する保持部と、前記保持部に基づいて、前記検知部によって検知された動作に対応する操作を特定する操作特定部と、前記操作特定部によって特定された操作を前記画像表示装置に対して送信する送信部として機能する。
【０００８】
また、本発明に係る表示システムは、端末装置と画像を表示する画像表示装置とを有する表示システムであって、前記端末装置は、ネットワークを介して所定アプリケーションを取得する取得部と、前記画像表示装置を操作するための前記端末装置に対するユーザの動作を検知する検知部とを有し、前記所定アプリケーションは、前記動作と、前記画像表示装置に対する前記操作とを対応付けて保持する保持部と、前記保持部に基づいて、前記検知部によって検知された動作に対応する操作を特定する操作特定部と、前記操作特定部によって特定された操作を前記画像表示装置に対して送信する送信部として機能し、前記画像表示装置は、表示対象の前記画像を記憶する画像記憶部と、前記送信部によって送信された操作を受信する受信部と、受信された操作に応じた前記画像を前記画像記憶部から取得する画像取得部と、取得された前記画像をもとに表示画像を生成する生成部と、生成された前記表示画像を表示する表示部とを有する。
【０００９】
また、本発明に係る操作プログラムは、コンピュータを、ネットワークを介して所定アプリケーションを取得する取得部と、画像を表示する画像表示装置を操作するための端末装置に対するユーザの動作を検知する検知部として機能させ、前記所定アプリケーションは、前記動作と、前記画像表示装置に対する前記操作とを対応付けて保持する保持部と、前記保持部に基づいて、前記検知部によって検知された動作に対応する操作を特定する操作特定部と、前記操作特定部によって特定された操作を前記画像表示装置に対して送信する送信部として機能する。
【発明の効果】
【００１０】
本発明の一つの様態によれば、画像表示装置を操作するための機器や部品を追加することなく、また、ユーザの位置及び動作を制限せずに画像表示装置の操作を行なうことができるという効果を奏する。
【図面の簡単な説明】
【００１１】
【図１】図１は、実施の形態１に係る表示システムの構成例を示す図である。
【図２】図２は、実施の形態１に係る端末装置及び画像表示装置の構成例を示す機能ブロック図である。
【図３】図３は、ジェスチャの開始及び終了に係るユーザの特定動作の例を説明する図である。
【図４】図４は、端末装置に対するユーザのジェスチャに対応する操作の例を説明する図である。
【図５】図５は、スライドの拡大中における、端末装置に対するユーザのジェスチャに対応する操作の例を説明する図である。
【図６Ａ】図６Ａは、Ｗｅｂアプリケーションのユーザインタフェースの例を示す図である。
【図６Ｂ】図６Ｂは、Ｗｅｂアプリケーションのユーザインタフェースの例を示す図である。
【図７】図７は、音の出力又は振動の発生のパターンの例について説明する図である。
【図８】図８は、実施の形態１に係る装置間の処理の流れの例を示す処理シーケンス図である。
【図９】図９は、実施の形態１に係る操作指示処理の流れの例を示すフローチャートである。
【図１０】図１０は、実施の形態１に係る表示処理の流れの例を示すフローチャートである。
【図１１】図１１は、実施の形態２に係る表示システムの構成例を示す図である。
【図１２】図１２は、実施の形態２に係る端末装置及び画像表示装置の構成例を示す機能ブロック図である。
【図１３】図１３は、端末装置のハードウェア構成例を示す図である。
【発明を実施するための形態】
【００１２】
以下に添付図面を参照して、本発明に係る端末装置、表示システム及び操作プログラムの実施の形態を説明する。なお、以下の実施の形態により本発明が限定されるものではない。
【００１３】
（実施の形態１）
［システム構成］
図１を用いて、実施の形態１に係る表示システムの構成を説明する。図１は、実施の形態１に係る表示システムの構成例を示す図である。図１に示すように、表示システム１では、サーバ装置１０と、端末装置２０と、画像表示装置３０とがネットワーク２に接続されている。なお、ネットワーク２には、複数の端末装置２０が接続されていても良い。
【００１４】
これらのうち、サーバ装置１０は、画像表示装置３０を操作するためのユーザの動作であるジェスチャを認識するための所定アプリケーションを記憶する。実施の形態１では、所定アプリケーションを「Ｗｅｂアプリケーション」と呼ぶ場合がある。
【００１５】
端末装置２０は、Ｗｅｂブラウザや加速度センサ等が搭載されたスマートフォン（Smartphone）等の多機能携帯電話機である。かかるＷｅｂブラウザは、ＪａｖａＳｃｒｉｐｔ（登録商標）でアクセス可能な加速度センサの情報を取得するＡＰＩ（Application  Program  Interface）を提供する。また、端末装置２０は、Ｗｅｂブラウザを利用してサーバ装置１０からＷｅｂアプリケーションを取得及び実行する。
【００１６】
画像表示装置３０は、ユーザによるジェスチャに応じた操作の操作対象となるプロジェクタ等の機器である。かかる画像表示装置３０は、Ｈｔｔｐ（HyperText  Transfer  Protocol）リクエストによりプロジェクタの操作を可能にするＷｅｂＡＰＩを提供する。なお、Ｗｅｂアプリケーションから画像表示装置３０のＷｅｂＡＰＩにアクセスする際には、異なるドメインのサービスに接続することによるクロスドメイン（Cross  Domain）の問題が発生する可能性がある。クロスドメインの問題の解決手段は、例えば、サーバ装置１０によって提供されれば良い。また、上記サーバ装置１０の役割については、画像表示装置３０によって代替されても良い。
【００１７】
[実施の形態１に係る装置構成]
次に、図２を用いて、実施の形態１に係る端末装置２０及び画像表示装置３０の構成を説明する。図２は、実施の形態１に係る端末装置２０及び画像表示装置３０の構成例を示す機能ブロック図である。以下では、端末装置２０の構成について説明した後に、画像表示装置３０の構成について説明する。
【００１８】
図２に示すように、端末装置２０は、Ｗｅｂブラウザ２１と、取得部２２と、特定動作検知部２３と、検知部２４とを有する。
【００１９】
取得部２２は、Ｗｅｂブラウザ２１を利用して、Ｗｅｂアプリケーション２５を記憶するサーバ装置１０から、Ｗｅｂアプリケーション２５を取得する。取得部２２によって取得されたＷｅｂアプリケーション２５は、Ｗｅｂブラウザ２１によって読み込まれ、Ｗｅｂブラウザ２１によってその各種機能が実行可能な形式で構成されている。Ｗｅｂアプリケーション２５の各種機能は、判定部２５ａ、操作特定部２５ｂ、保持部２５ｃ、送信部２５ｄ及び報知部２５ｅとして機能する。なお、Ｗｅｂアプリケーション２５の各種機能による処理については後述する。
【００２０】
特定動作検知部２３は、画像表示装置３０を操作するための端末装置２０に対するユーザのジェスチャを開始するための、該端末装置２０に対するユーザの特定動作を表す第１動作を検知する。かかる第１動作は、例えば、端末装置２０のタッチパネルにユーザが接触する動作や、端末装置２０のハードキーをユーザが押下する動作である。つまり、タッチパネルを利用した検知を例に挙げると、特定動作検知部２３は、画像表示装置３０を操作するためのジェスチャを開始するユーザが端末装置２０のタッチパネルに接触すると、タッチパネルに対する操作を検知するタッチセンサ等により、タッチパネルに接触したことを検知する。なお、タッチパネルへの接触やハードキーの押下は、例えば、端末装置２０を持つユーザの手で行なわれる。また、特定動作検知部２３によって検知された第１動作の検知結果は、Ｗｅｂブラウザ２１を介して、判定部２５ａに通知される。
【００２１】
また、特定動作検知部２３は、画像表示装置３０を操作するための端末装置２０に対するユーザのジェスチャを終了するための、該端末装置２０に対するユーザの特定動作を表す第２動作を検知する。かかる第２動作は、例えば、端末装置２０のタッチパネルにユーザが接触している状態から非接触の状態になった動作や、端末装置２０のハードキーをユーザが押下している状態から押下をやめた状態になった動作である。つまり、タッチパネルを利用した検知を例に挙げると、特定動作検知部２３は、画像表示装置３０を操作するためのジェスチャを終了するユーザが端末装置２０のタッチパネルへの接触をやめると、タッチパネルに対する操作を検知するタッチセンサ等により、タッチパネルに接触した状態から非接触の状態になったことを検知する。また、特定動作検知部２３によって検知された第２動作の検知結果は、Ｗｅｂブラウザ２１を介して、判定部２５ａに通知される。
【００２２】
検知部２４は、画像表示装置３０を操作するための端末装置２０に対するユーザのジェスチャとして、該端末装置２０の傾き及び移動方向の少なくとも一つを、加速度センサ等により検知する。検知部２４によって検知された端末装置２０の傾きや移動方向の検知結果は、Ｗｅｂブラウザ２１を介して、操作特定部２５ｂに通知される。
【００２３】
判定部２５ａは、特定動作検知部２３から第１動作の検知結果を受け付けた場合に、画像表示装置３０を操作するための端末装置２０に対するユーザのジェスチャが開始されると判定する。そして、判定部２５ａは、検知部２４によって通知されるユーザのジェスチャの記録を開始する指示、すなわち端末装置２０の傾きや移動方向の検知結果の記録を開始する指示を、操作特定部２５ｂに対して行なう。
【００２４】
一方、判定部２５ａは、特定動作検知部２３から第２動作の検知結果を受け付けた場合に、画像表示装置３０を操作するための端末装置２０に対するユーザのジェスチャが終了されると判定する。そして、判定部２５ａは、検知部２４によって通知されるユーザのジェスチャの記録を終了する指示、すなわち端末装置２０の傾きや移動方向の検知結果の記録を終了する指示を、操作特定部２５ｂに対して行なう。
【００２５】
図３は、ジェスチャの開始及び終了に係るユーザの特定動作の例を説明する図である。なお、図３では、タッチパネルへの接触・非接触により、ジェスチャの開始・終了を検知する場合の例を示している。
【００２６】
図３の上段に示すように、ユーザは、端末装置２０のタッチパネルを指で押さえる特定動作を行なう。これにより、特定動作検知部２３は、タッチセンサ等により、タッチパネルに接触したことを表す第１動作を検知し、検知した第１動作の検知結果を、Ｗｅｂブラウザ２１を介して判定部２５ａに通知する。第１動作の検知結果を通知された判定部２５ａは、ユーザのジェスチャが開始されることとして判定し、ユーザのジェスチャの記録を開始する指示を操作特定部２５ｂに対して行なう。
【００２７】
また、図３の中段に示すように、タッチパネルが指で押さえられている状態においては、端末装置２０がユーザによって傾けられたり移動されたりしており、ユーザによるジェスチャが行なわれている最中であることを意味する。なお、端末装置２０を利用したユーザによるジェスチャについては後述する。
【００２８】
また、図３の下段に示すように、ユーザは、端末装置２０のタッチパネルを指で押さえた状態において、該タッチパネルから指を離す特定動作を行なう。これにより、特定動作検知部２３は、タッチセンサ等により、タッチパネルに非接触になったことを表す第２動作を検知し、検知した第２動作の検知結果を、Ｗｅｂブラウザ２１を介して判定部２５ａに通知する。第２動作の検知結果を通知された判定部２５ａは、ユーザのジェスチャが終了されることとして判定し、ユーザのジェスチャの記録を終了する指示を操作特定部２５ｂに対して行なう。
【００２９】
図２の説明に戻り、操作特定部２５ｂは、検知部２４によって検知された端末装置２０の傾きや移動方向の検知結果を、ユーザのジェスチャとして受け付ける。このとき、操作特定部２５ｂは、判定部２５ａによってユーザのジェスチャの記録を開始する指示を受け付けた場合に、検知部２４から受け付けているユーザのジェスチャの記録を開始する。ジェスチャの記録は、所定のメモリ（図示せず）に対して行なわれれば良い。また、操作特定部２５ｂは、判定部２５ａによってユーザのジェスチャの記録を終了する指示を受け付けた場合に、検知部２４から受け付けているユーザのジェスチャの記録を終了する。つまり、操作特定部２５ｂは、図３の上段に示したユーザの第１動作に応じてジェスチャの記録を開始し、図３の中段に示した状態においてジェスチャの記録を継続し、図３の下段に示したユーザの第２動作に応じてジェスチャの記録を終了する。
【００３０】
そして、操作特定部２５ｂは、ジェスチャの記録を終了すると、所定のメモリから記録したジェスチャを取得し、保持部２５ｃを参照して、取得したジェスチャに対応する画像表示装置３０に対する操作を特定する。保持部２５ｃは、ジェスチャと操作とを対応付けて保持する。続いて、操作特定部２５ｂは、特定した操作を送信部２５ｄに通知する。また、操作特定部２５ｂは、ジェスチャに対応する操作を特定する場合に、対応する操作の有無に関する操作有無情報を報知部２５ｅに通知する。
【００３１】
図４は、端末装置２０に対するユーザのジェスチャに対応する操作の例を説明する図である。なお、図４に示すジェスチャは、図３の中段に示した状態、すなわちユーザがタッチパネルに触れている状態のときに行なわれる。
【００３２】
図４に示すように、ユーザによって端末装置２０が右方向に移動されることにより、「次のスライドへ進む」という操作になる。また、ユーザによって端末装置２０が左方向に移動されることにより、「前のスライドへ戻る」という操作になる。また、ユーザによって端末装置２０がタッチパネルの方向に移動されることにより、「スライドを拡大する」という操作になる。また、ユーザによって端末装置２０がタッチパネルと反対方向に移動されることにより、「スライドを縮小する」という操作になる。また、ユーザによって端末装置２０が時計回りに回転されることにより、「スライドを時計回りに回転する」という操作になる。また、ユーザによって端末装置２０が反時計回りに回転されることにより、「スライドを反時計回りに回転する」という操作になる。
【００３３】
ここで、スライドの拡大においては、一定量ずつ拡大するようにしても良いし、移動量に応じて拡大率を変化させても良い。同様に、スライドの縮小においては、一定量ずつ縮小するようにしても良いし、移動量に応じて縮小率を変化させても良い。以下に、スライドの拡大中における操作について説明する。
【００３４】
図５は、スライドの拡大中における、端末装置２０に対するユーザのジェスチャに対応する操作の例を説明する図である。図５に示すように、ユーザによって端末装置２０が右方向に移動されることにより、「表示している範囲を左に移動する」という操作になる。また、ユーザによって端末装置２０が左方向に移動されることにより、「表示している範囲を右に移動する」という操作になる。また、ユーザによって端末装置２０が上方向に移動されることにより、「表示している範囲を下に移動する」という操作になる。また、ユーザによって端末装置２０が下方向に移動されることにより、「表示している範囲を上に移動する」という操作になる。また、ユーザによって端末装置２０が左右に移動されることにより、「拡大をやめる」という操作になる。
【００３５】
図６Ａ及び図６Ｂは、Ｗｅｂアプリケーション２５のユーザインタフェースの例を示す図である。図６Ａに示すユーザインタフェースは、ユーザのジェスチャ入力を受け付けるためのものであり、画面を目視することなく操作を行なえるように、ほぼ全画面を操作可能な領域としている。ユーザは、図６Ａに示すユーザインタフェースにおいて、タッチパネルをタップしながらジェスチャを行なう。なお、ジェスチャの入力は、端末装置２０に搭載されたボタンを押下することにより行なっても良い。また、図６Ａに示す「疑問符」のアイコンは、ジェスチャの入力に慣れていないユーザのためのものである。疑問符のアイコンがタッチされた場合には、図６Ｂに示すように、ヘルプ画面に遷移する。ヘルプ画面では、図４や図５に示したジェスチャに対応する操作の説明が表示される。
【００３６】
図２の説明に戻り、送信部２５ｄは、操作特定部２５ｂによって特定された操作を、Ｗｅｂブラウザ２１を介して、画像表示装置３０に対して送信する。報知部２５ｅは、操作特定部２５ｂによってジェスチャに対応する操作が特定できた場合に、画像表示装置３０の操作が成功したこととして、操作成功の旨を報知する。一方、報知部２５ｅは、操作特定部２５ｂによってジェスチャに対応する操作が特定できない場合に、画像表示装置３０の操作が失敗したこととして、操作失敗の旨を報知する。ジェスチャに対応する操作を取得出来たか否かについては、操作有無情報をもとに判定すれば良い。
【００３７】
また、操作成功や操作失敗の旨の報知において、報知部２５ｅは、音の出力及び振動の発生の少なくとも一つにより報知する。例えば、音による報知は、端末装置２０に搭載されたスピーカ（図示せず）を制御することにより出力される。また、例えば、振動による報知は、端末装置２０に搭載された振動モータ等のバイブレータ（図示せず）を制御することにより出力される。
【００３８】
図７は、音の出力及び振動の発生のパターンの例について説明する図である。図７に示すように、報知部２５ｅは、操作特定部２５ｂによってジェスチャに対応する操作が特定できた場合に、画像表示装置３０に対するジェスチャ操作が成功したこととして、一定の間が設けられた音・振動パターンにより、スピーカ及び振動モータの少なくとも一つを制御する。同様に、報知部２５ｅは、操作特定部２５ｂによってジェスチャに対応する操作が特定できなかった場合に、画像表示装置３０に対するジェスチャ操作が失敗したこととして、一定の間を設けない音・振動パターンにより、スピーカ及び振動モードの少なくとも一つを制御する。
【００３９】
次に、画像表示装置３０の構成について説明する。図２に示すように、画像表示装置３０は、受信部３１と、画像取得部３２と、画像記憶部３３と、生成部３４と、表示部３５とを有する。
【００４０】
受信部３１は、端末装置２０の送信部２５ｄによって送信された、画像表示装置３０に対する操作を受信する。画像取得部３２は、受信部３１によって受信された操作に応じた画像を画像記憶部３３から取得する。画像記憶部３３は、表示対象の画像を記憶する。つまり、「次のスライドへ進む」の操作である場合には、現在表示されているスライドの次に表示されるスライドに該当する画像が画像記憶部３３から取得される。
【００４１】
生成部３４は、画像取得部３２によって取得された画像をもとに表示部３５に表示させる表示画像を生成する。表示画像の生成では、例えば、表示位置や画像の拡大率・縮小率等を調整する処理が行なわれる。表示部３５は、生成部３４によって生成された表示画像を表示する。表示画像の表示では、例えば、スクリーン等の投影面に表示画像を投影する処理が行なわれる。
【００４２】
［実施の形態１に係る装置間の処理シーケンス］
次に、図８を用いて、実施の形態１に係る装置間の処理の流れについて説明する。図８は、実施の形態１に係る装置間の処理の流れの例を示す処理シーケンス図である。
【００４３】
図８に示すように、端末装置２０は、サーバ装置１０に対してＷｅｂアプリケーション２５を要求する（ステップＳ１０１）。また、サーバ装置１０は、端末装置２０からのＷｅｂアプリケーション２５の要求に対して、該当するＷｅｂアプリケーション２５を端末装置２０に対して送信する（ステップＳ１０２）。
【００４４】
また、Ｗｅｂアプリケーション２５を取得した端末装置２０は、該端末装置２０を利用したユーザのジェスチャを検知し（ステップＳ１０３）、検知したジェスチャに対応する操作を画像表示装置３０に対して送信する（ステップＳ１０４）。また、操作を受信した画像表示装置３０は、操作に応じた表示画像を生成して、生成した表示画像を表示する（ステップＳ１０５）。
【００４５】
[実施の形態１に係る操作指示処理フロー]
次に、図９を用いて、実施の形態１に係る操作指示処理の流れについて説明する。図９は、実施の形態１に係る操作指示処理の流れの例を示すフローチャートである。なお、操作指示処理とは、主に端末装置２０による処理を指す。また、図９では、Ｗｅｂアプリケーション２５が既に読み込まれているものとして説明する。
【００４６】
図９に示すように、特定動作検知部２３によって、端末装置２０のタッチパネルにユーザが接触したことを表す第１動作が検知された場合に（ステップＳ２０１肯定）、判定部２５ａは、ユーザのジェスチャが開始されると判定する。そして、判定部２５ａは、ユーザのジェスチャの記録を開始する指示を操作特定部２５ｂに対して行なう。これにより、操作特定部２５ｂは、検知部２４によって検知されたジェスチャを所定のメモリに記録する（ステップＳ２０２）。また、特定動作検知部２３は、第１動作が検知されていない場合に（ステップＳ２０１否定）、該第１動作を検知するまでステップＳ２０１の処理を実行する。なお、検知部２４は、第１動作が検知されていなくても、ジェスチャの検知を継続している。但し、このときに検知されたジェスチャは、操作特定部２５ｂによって記録されない。
【００４７】
また、特定動作検知部２３によって、端末装置２０のタッチパネルにユーザが接触した状態から非接触の状態になったことが検知された場合に（ステップＳ２０３肯定）、判定部２５ａは、ユーザのジェスチャが終了されると判定する。そして、判定部２５ａは、ユーザのジェスチャの記録を終了する指示を操作特定部２５ｂに対して行なう。これにより、操作特定部２５ｂは、検知部２４によって検知されたジェスチャの記録を終了し、保持部２５ｃを参照して、記録の開始から終了に至るまでのジェスチャに対応する操作を検索する（ステップＳ２０４）。一方、特定動作検知部２３によって、非接触の状態になったことが検知されない場合に（ステップＳ２０３否定）、操作特定部２５ｂは、検知部２４によって検知されたジェスチャの記録を継続する（ステップＳ２０２）。
【００４８】
そして、操作特定部２５ｂによって、ジェスチャに対応する操作が特定できた場合に（ステップＳ２０５肯定）、送信部２５ｄは、特定された操作を画像表示装置３０に対して送信する（ステップＳ２０６）。その後、報知部２５ｅは、操作特定部２５ｂによってジェスチャに対応する操作が特定できたことを受けて、画像表示装置３０に対するジェスチャ操作が成功した旨を、音や振動により報知する（ステップＳ２０７）。一方、操作特定部２５ｂによって、ジェスチャに対応する操作が特定できなかった場合に（ステップＳ２０５否定）、報知部２５ｅは、画像表示装置３０に対するジェスチャ操作が失敗した旨を、音や振動により報知する（ステップＳ２０８）。
【００４９】
［実施の形態１に係る表示処理フロー］
次に、図１０を用いて、実施の形態１に係る表示処理の流れについて説明する。図１０は、実施の形態１に係る表示処理の流れの例を示すフローチャートである。なお、表示処理とは、主に画像表示装置３０による処理を指す。
【００５０】
図１０に示すように、受信部３１によって、端末装置２０から操作が受信された場合に（ステップＳ３０１肯定）、画像取得部３２は、操作に応じた画像を画像記憶部３３から取得する（ステップＳ３０２）。また、受信部３１によって、端末装置２０から操作が受信されていない場合に（ステップＳ３０１否定）、該操作の受信待ちの状態となる。
【００５１】
また、生成部３４は、画像取得部３２によって取得された画像から、表示位置や拡大率・縮小率等を調整した表示画像を生成する（ステップＳ３０３）。また、表示部３５は、生成部３４によって生成された表示画像をスクリーン等の投影面に表示する（ステップＳ３０４）。
【００５２】
［実施の形態１による効果］
上述したように、端末装置２０は、該端末装置２０に搭載された加速度センサ等で検知される傾きや移動方向をユーザのジェスチャとして、Ｗｅｂアプリケーション２５の実行によりジェスチャの認識を行ない、ジェスチャに対応する操作を画像表示装置３０に対して送信する。また、画像表示装置３０は、端末装置２０によって送信された操作に応じて表示画像を表示する。これらの結果、端末装置２０は、画像表示装置３０を操作するための機器や部品を追加することなく、また、ユーザの位置及び動作を制限せずに画像表示装置３０の操作を行なうことができる。
【００５３】
また、画像表示装置３０においては、Ｈｔｔｐリクエストによりアクセス及び操作可能なＷｅｂＡＰＩを適用する場合を説明した。この結果、汎用的なプロトコルで提供することで、画像表示装置３０を操作するためのアプリケーションの開発方法の幅を広げることができる。また、Ｗｅｂブラウザ２１で実行可能な形式で構成することで、端末装置２０に対して新たにソフトウェアをインストールする必要をなくすことができる。また、ジェスチャの開始及び終了を、ユーザの第１動作及び第２動作をトリガとするので、ジェスチャ認識のための処理負荷を軽減することができるとともに、ジェスチャの誤認識を削減することができる。また、画像表示装置３０への操作の成功及び失敗を報知するので、画像表示装置３０を使用したプレゼンテーション等の円滑な進行に寄与することができる。
【００５４】
（実施の形態２）
さて、これまで本発明に係る端末装置２０及び画像表示装置３０の実施の形態について説明したが、上述した実施の形態以外にも種々の異なる形態にて実施されて良いものである。そこで、（１）アプリケーションの形態、（２）構成、（３）ハードウェア構成、について異なる実施の形態を説明する。
【００５５】
（１）アプリケーションの形態
上記実施の形態１では、Ｗｅｂブラウザ２１で実行可能な形式で構成された所定アプリケーション（Ｗｅｂアプリケーション２５）を読み込んで実行する形態を説明した。かかる所定アプリケーションは、Ｗｅｂアプリケーションに限られるわけではなく、一般的なアプリケーションの形態で実現されても良い。ここで、一般的なアプリケーションとは、アプリケーションのダウンロード後に、インストールを要するものを指す。
【００５６】
図１１は、実施の形態２に係る表示システムの構成例を示す図である。なお、図１１では、実施の形態１と同様の構成については同一の符号を付している。
【００５７】
図１１に示すように、表示システム１ａでは、端末装置２００と、画像表示装置３０とがネットワーク２ａに接続されている。また、端末装置２００及び画像表示装置３０は、ＷＡＮ（Wide  Area  Network）等のネットワーク３を介して、サーバ装置１０と接続されている。つまり、サーバ装置１０は、端末装置２００や画像表示装置３０が接続されるＬＡＮ（Local  Area  Network）等のネットワーク２ａとは異なる外部ネットワークに接続されている。なお、ネットワーク２ａには、複数の端末装置２０が接続されていても良い。
【００５８】
上述した構成において、端末装置２００は、サーバ装置１０からアプリケーションを取得する。取得されたアプリケーションは、ユーザ操作により端末装置２００にインストールされることで実行可能となる。なお、かかる表示システム１ａにおいては、Ｗｅｂブラウザを利用したネットワークへのアクセスとは異なり、クロスドメインの問題が発生しない。このため、端末装置２００は、画像表示装置３０との直接的なやり取りが可能である。
【００５９】
図１２は、実施の形態２に係る端末装置２００及び画像表示装置３０の構成例を示す機能ブロック図である。なお、図１２では、実施の形態１と同様の構成については同一の符号を付し、同様の構成については詳細な説明を省略する場合がある。実施の形態２では、以下に示すアプリケーション２５０以外の各部の機能及び構成、処理については実施の形態１と同様である。但し、実施の形態２では、実施の形態１とは異なり、Ｗｅｂブラウザ２１を要さない。
【００６０】
図１２に示すように、端末装置２００は、取得部２２と、特定動作検知部２３と、検知部２４とを有する。また、取得部２２によって取得されたアプリケーション２５０は、端末装置２００にインストールされることで、判定部２５ａ、操作特定部２５ｂ、保持部２５ｃ、送信部２５ｄ及び報知部２５ｅとして機能する。上述したように、実施の形態２では、Ｗｅｂブラウザ２１を利用せずに各処理が実行される点が実施の形態１とは異なるので、各部の処理について簡単に説明する。
【００６１】
取得部２２は、アプリケーション２５０を記憶するサーバ装置１０から、アプリケーション２５０を取得する。取得部２２によって取得されたアプリケーション２５０は、端末装置２００にインストールされることで実行可能となる。
【００６２】
特定動作検知部２３は、画像表示装置３０を操作するための端末装置２００に対するユーザのジェスチャを開始するための、該端末装置２００に対するユーザの特定動作を表す第１動作を検知する。また、特定動作検知部２３は、画像表示装置３０を操作するための端末装置２００に対するユーザのジェスチャを終了するための、該端末装置２００に対するユーザの特定動作を表す第２動作を検知する。特定動作検知部２３によって検知された第１動作及び第２動作の検知結果は、判定部２５ａに通知される。
【００６３】
検知部２４は、画像表示装置３０を操作するための端末装置２００に対するユーザのジェスチャとして、該端末装置２００の傾き及び移動方向の少なくとも一つを、加速度センサ等により検知する。検知部２４によって検知された端末装置２００の傾きや移動方向の検知結果は、操作特定部２５ｂに通知される。
【００６４】
判定部２５ａは、特定動作検知部２３から第１動作の検知結果を受け付けた場合に、画像表示装置３０を操作するための端末装置２００に対するユーザのジェスチャが開始されると判定する。そして、判定部２５ａは、検知部２４によって通知されるユーザのジェスチャの記録を開始する指示、すなわち端末装置２００の傾きや移動方向の検知結果の記録を開始する指示を、操作特定部２５ｂに対して行なう。
【００６５】
一方、判定部２５ａは、特定動作検知部２３から第２動作の検知結果を受け付けた場合に、画像表示装置３０を操作するための端末装置２００に対するユーザのジェスチャが終了されると判定する。そして、判定部２５ａは、検知部２４によって通知されるユーザのジェスチャの記録を終了する指示、すなわち端末装置２００の傾きや移動方向の検知結果の記録を終了する指示を、操作特定部２５ｂに対して行なう。
【００６６】
操作特定部２５ｂは、検知部２４によって検知された端末装置２００の傾きや移動方向の検知結果を、ユーザのジェスチャとして受け付ける。このとき、操作特定部２５ｂは、判定部２５ａによってユーザのジェスチャの記録を開始する指示を受け付けた場合に、検知部２４から受け付けているユーザのジェスチャの記録を開始する。また、操作特定部２５ｂは、判定部２５ａによってユーザのジェスチャの記録を終了する指示を受け付けた場合に、検知部２４から受け付けているユーザのジェスチャの記録を終了する。
【００６７】
そして、操作特定部２５ｂは、ジェスチャの記録を終了すると、保持部２５ｃを参照して、記録したジェスチャに対応する画像表示装置３０に対する操作を特定する。保持部２５ｃは、ジェスチャと操作とを対応付けて保持する。続いて、操作特定部２５ｂは、特定した操作を送信部２５ｄに通知する。また、操作特定部２５ｂは、ジェスチャに対応する操作を特定する場合に、対応する操作の有無に関する操作有無情報を報知部２５ｅに通知する。
【００６８】
送信部２５ｄは、操作特定部２５ｂによって特定された操作を、画像表示装置３０に対して送信する。なお、画像表示装置３０はＨｔｔｐリクエストによりプロジェクタの操作を可能にするＷｅｂＡＰＩを提供しているため、送信部２５ｄは、Ｈｔｔｐによる通信規約に合わせたデータの形式により送信を行なう。
【００６９】
報知部２５ｅは、操作特定部２５ｂによってジェスチャに対応する操作が特定できた場合に、画像表示装置３０の操作が成功したこととして、操作成功の旨を報知する。一方、報知部２５ｅは、操作特定部２５ｂによってジェスチャに対応する操作が特定できない場合に、画像表示装置３０の操作が失敗したこととして、操作失敗の旨を報知する。ジェスチャに対応する操作を取得出来たか否かについては、操作有無情報をもとに判定する。
【００７０】
次に、画像表示装置３０の構成について説明する。図１２に示すように、画像表示装置３０は、受信部３１と、画像取得部３２と、画像記憶部３３と、生成部３４と、表示部３５とを有する。
【００７１】
受信部３１は、端末装置２００の送信部２５ｄによって送信された、画像表示装置３０に対する操作を受信する。送信部２５ｄではＨｔｔｐによる通信規約に合わせたデータ形式により送信されているため、受信部３１では、実施の形態１と同一の処理が行なわれれば良い。画像取得部３２は、受信部３１によって受信された操作に応じた画像を画像記憶部３３から取得する。画像記憶部３３は、表示対象の画像を記憶する。生成部３４は、画像取得部３２によって取得された画像をもとに表示部３５に表示させる表示画像を生成する。表示部３５は、生成部３４によって生成された表示画像を表示する。
【００７２】
（２）構成
また、上記文書中や図面中等で示した処理手順、制御手順、具体的名称、各種のデータやパラメタ等を含む情報は、特記する場合を除いて任意に変更することができる。例えば、保持部２５ｃによって保持される情報であるジェスチャ及び操作は、上記の例に限られるわけではなく、適宜変更することができる。また、報知部２５ｅによる報知の手法については、上記の例に限られるわけではなく、音声によるものや光の出力パターンによるものでも良い。
【００７３】
また、図示した各装置の各構成要素は、機能概念的なものであり、必ずしも物理的に図示の如く構成されていることを要しない。すなわち、各装置の分散又は統合の具体的形態は、図示のものに限られず、その全部又は一部を各種の負担や使用状況等に応じて、任意の単位で機能的又は物理的に分散又は統合することができる。例えば、「特定動作検知部２３」と「検知部２４」とを、タッチセンサ等により第１動作及び第２動作を検知し、加速度センサ等によりジェスチャを検知する「動作検知部」として統合しても良い。
【００７４】
また、ジェスチャの記録の開始及び終了について、特定動作検知部２３及び判定部２５ａによる処理をトリガとする場合を説明したが、パターンマッチを利用したジェスチャの検知により実現するようにしても良い。すなわち、特定動作検知部２３及び判定部２５ａによる処理は必ずしも行なわれなくても良い。また、画像表示装置３０の操作の成功及び失敗については、表示するスライドの切り替わりや表示変化の有無で認識することができるため、報知部２５ｅによる報知は必ずしも行なわれてなくても良い。
【００７５】
（３）ハードウェア構成
図１３は、端末装置のハードウェア構成例を示す図である。図１３に示すように、端末装置１０００では、ＣＰＵ１００１と、ＲＯＭ１００２と、ＲＡＭ１００３と、ＨＤＤ１００４と、加速度センサ１００５と、タッチセンサ１００６と、タッチパネル１００７とが、バス１００８で接続されている。
【００７６】
ＣＰＵ１００１は、端末装置１０００を全体制御する。ＲＯＭ１００２は、プログラムや各種データの格納用メモリとして利用される読み出し専用のメモリである。ＲＡＭ１００３は、プログラムや各種データの展開用のメモリとして利用される書き込み及び読み出し可能なメモリである。ＨＤＤ１００４は、各種データや各種プログラムの蓄積が可能なストレージであり、各種アプリケーションも記憶する。ここで、アプリケーションとは、上述したＷｅｂアプリケーション２５やアプリケーション２５０を指す。なお、ＨＤＤ１００４については、ＨＤＤの他に、光ディスクやフラッシュメモリ等の記憶媒体により構成されても良い。加速度センサ１００５は、端末装置１０００に対するユーザの動作を検知する検知部２４に相当する。タッチセンサ１００６は、タッチパネル１００７へのユーザの接触を検知する特定動作検知部２３に相当する。
【００７７】
かかる端末装置１０００で実行される操作プログラムは、一つの様態として、インストール可能な形式又は実行可能な形式のファイルでＣＤ−ＲＯＭ、フレキシブルディスク（ＦＤ）、ＣＤ−Ｒ、ＤＶＤ（Digital  Versatile  Disk）等のコンピュータで読み取り可能な記録媒体に記録されて提供される。また、端末装置１０００で実行される操作プログラムを、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成しても良い。また、端末装置１０００で実行される操作プログラムをインターネット等のネットワーク経由で提供又は配布するように構成しても良い。また、操作プログラムを、ＲＯＭ等に予め組み込んで提供するように構成しても良い。
【００７８】
端末装置１０００で実行される操作プログラムは、上述した各部（取得部２２、検知部２４）を含むモジュール構成となっており、実際のハードウェアとしてはＣＰＵ（プロセッサ）が記憶媒体から操作プログラムを読み出して実行することにより、上記各部が主記憶装置上にロードされ、取得部２２、検知部２４が主記憶装置上に生成されるようになっている。これに応じて、操作特定部２５ｂ、保持部２５ｃ、送信部２５ｄとして機能するアプリケーションが実行される。
【符号の説明】
【００７９】
１      表示システム
１０    サーバ装置
２０    端末装置
２１    Ｗｅｂブラウザ
２２    取得部
２３    特定動作検知部
２４    検知部
２５    Ｗｅｂアプリケーション
２５ａ  判定部
２５ｂ  操作特定部
２５ｃ  保持部
２５ｄ  送信部
２５ｅ  報知部
３０    画像表示装置
３１    受信部
３２    画像取得部
３３    画像記憶部
３４    生成部
３５    表示部
【先行技術文献】
【特許文献】
【００８０】
【特許文献１】特開２０１０−２３１７３６号公報
【図１】
2014038474.tif 000003
【図２】
2014038474.tif 000004
【図３】
2014038474.tif 000005
【図４】
2014038474.tif 000006
【図５】
2014038474.tif 000007
【図６Ａ】
2014038474.tif 000008
【図６Ｂ】
2014038474.tif 000009
【図７】
2014038474.tif 000010
【図８】
2014038474.tif 000011
【図９】
2014038474.tif 000012
【図１０】
2014038474.tif 000013
【図１１】
2014038474.tif 000014
【図１２】
2014038474.tif 000015
【図１３】
2014038474.tif 000016