(57)【要約】【課題】通信負荷を過大にせず、携帯通信装置等の情報処理装置で行われている操作を表示装置が表示する画像の鑑賞者に知らせることを目的とする。【解決手段】画像表示システム１は、画像を表示する情報処理装置１００と、情報処理装置１００で表示している表示画像を受信して表示する表示装置２００とを備える画像表示システム１であって、情報処理装置１００における表示画像を変化させるユーザの操作を受け付ける受付手段と、受付手段によって受け付けられたユーザの操作に基づいて、表示画像を加工する加工手段と、加工手段によって加工された画像を表示する表示手段と、を備える。【選択図】図３
2018032153.tif 000002
【特許請求の範囲】
【請求項１】
画像を表示する情報処理装置と、前記情報処理装置で表示している表示画像を受信して表示する表示装置と、を備える画像表示システムであって、
前記情報処理装置における前記表示画像を変化させるユーザの操作を受け付ける受付手段と、
前記受付手段によって受け付けられたユーザの操作に基づいて、前記表示画像を加工する加工手段と、
前記加工手段によって加工された画像を表示する表示手段と、を備えることを特徴とする画像表示システム。
【請求項２】
前記受付手段によって受け付けられたユーザの操作に基づいて、前記情報処理装置におけるユーザの操作を表す操作画像を生成する画像生成手段をさらに備え、
前記加工手段は、前記画像生成手段によって生成された前記操作画像を前記表示画像に重ねる加工を行うことを特徴とする請求項１に記載の画像表示システム。
【請求項３】
前記受付手段によって受け付けられたユーザの操作を表す操作情報を生成する情報生成手段をさらに備え、
前記画像生成手段は、前記情報生成手段によって生成された前記操作情報に基づいて、前記操作画像を生成し、
前記情報処理装置は、前記受付手段と、前記情報生成手段と、前記画像生成手段と、を備え、
前記表示装置は、前記加工手段と、前記表示手段と、を備えることを特徴とする請求項２に記載の画像表示システム。
【請求項４】
前記受付手段によって受け付けられたユーザの操作を表す操作情報を生成する情報生成手段をさらに備え、
前記画像生成手段は、前記情報生成手段によって生成された前記操作情報に基づいて、前記操作画像を生成し、
前記情報処理装置は、前記受付手段と、前記情報生成手段と、を備え、
前記表示装置は、前記画像生成手段と、前記加工手段と、表示手段と、を備えることを特徴とする請求項２に記載の画像表示システム。
【請求項５】
前記受付手段は、少なくとも、前記表示画像をスクロールさせる操作、及び、前記表示画像を拡大、又は、縮小させるズームの操作のいずれかを受け付け、
前記画像生成手段によって生成される前記操作画像は、少なくとも前記受付手段によって受け付けられた操作の種別を表示することを特徴とする請求項２乃至４のいずれか１項に記載の画像表示システム。
【請求項６】
前記画像生成手段によって生成される前記操作画像は、さらに、スクロールの方向、及び、ズームの方向のいずれかを表示することを特徴とする請求項５に記載の画像表示システム。
【請求項７】
前記画像生成手段によって生成される前記操作画像は、さらに、前記受付手段によって受け付けられた操作の量を表示することを特徴とする請求項５又は６に記載の画像表示システム。
【請求項８】
前記加工手段は、前記受付手段によって受け付けられた操作に基づいて、前記表示画像そのものを加工することを特徴とする請求項１に記載の画像表示システム。
【請求項９】
前記加工手段は、前記受付手段によって受け付けられた操作に基づいて、前記表示画像を尾引きさせる加工を行うことを特徴とする請求項８に記載の画像表示システム。
【請求項１０】
前記受付手段によって受け付けられたユーザの操作を表す操作情報を生成する情報生成手段をさらに備え、
前記加工手段は、前記情報生成手段によって生成された前記操作情報に基づいて、前記表示画像を尾引きさせる加工を行い、
前記情報処理装置は、前記受付手段と、前記情報生成手段と、を備え、
前記表示装置は、前記加工手段と、前記表示手段と、を備えることを特徴とする請求項９に記載の画像表示システム。
【請求項１１】
前記受付手段によって受け付けられたユーザの操作に基づいて、前記情報処理装置におけるユーザの操作を表す操作画像を生成する画像生成手段をさらに備え、
前記加工手段は、前記情報生成手段によって生成された前記操作情報に基づいて、前記表示画像を尾引きさせる加工を行い、前記生成手段によって生成された前記操作画像を、尾引きさせる加工がされた画像に重ねる加工を行うことを特徴とする請求項１０に記載の画像表示システム。
【請求項１２】
前記受付手段は、少なくとも、前記表示画像をスクロールさせる操作を受け付け、
前記加工手段は、前記受付手段が前記表示画像をスクロールさせる操作を受け付けたとき、スクロールの方向とは反対方向に前記表示画像を尾引きさせる加工を行うことを特徴とする請求項９乃至１１のいずれか１項に記載の画像表示システム。
【請求項１３】
前記受付手段は、少なくとも、前記表示画像を拡大、又は、縮小させるズームの操作を受け付け、
前記加工手段は、前記受付手段が前記表示画像を拡大させるズームの操作を受け付けたとき、前記表示画像における拡大の中心点に向かう方向に前記表示画像を尾引きさせる加工を行い、前記受付手段が前記表示画像を縮小させるズームの操作を受け付けたとき、前記表示画像における縮小の中心点から外側に向かう方向に前記表示画像を尾引きさせる加工を行うことを特徴とする請求項９乃至１２のいずれか１項に記載の画像表示システム。
【請求項１４】
前記加工手段は、前記受付手段が受け付けた操作の量に基づいて、尾引きの長さを変えることを特徴とする請求項９乃至１３のいずれか１項に記載の画像表示システム。
【請求項１５】
前記情報処理装置は、前記表示画像を送信する送信手段をさらに備え、
前記送信手段は、前記受付手段がユーザの操作を受け付けたとき、前記表示画像の送信を停止し、前記受付手段が受け付けたユーザの操作に対応する前記表示画像を変化が完了したとき、前記表示画像の送信を再開することを特徴とする請求項１乃至１４のいずれか１項に記載の画像表示システム。
【請求項１６】
前記表示装置は、受信された前記表示画像を表示する第２表示手段をさらに備え、
前記第２表示手段は、前記表示手段によって表示が開始されたとき前記表示画像の表示を停止し、前記表示手段によって表示が開始されてから、前記受付手段によって受け付けられたユーザの操作の量に基づく所定時間の経過後に、前記表示画像の表示を再開することを特徴とする請求項１乃至１５のいずれか１項に記載の画像表示システム。
【請求項１７】
表示画像を表示する情報処理装置であって、
前記表示画像を送信する第１送信手段と、
前記表示画像を変化させるユーザの操作を受け付ける受付手段と、
前記受付手段によって受け付けられたユーザの操作に基づいて、ユーザの操作を表す操作画像を生成する画像生成手段と、
前記画像生成手段によって生成された前記操作画像を送信する第２送信手段と、を備えることを特徴とする情報処理装置。
【請求項１８】
情報処理装置で表示している表示画像を受信して表示する表示装置であって、
前記表示画像を受信する第１受信手段と、
前記表示画像を変化させるユーザの前記情報処理装置に対する操作に基づくデータを受信する第２受信手段と、
前記第２受信手段によって受信されたデータに基づいて、前記第１受信手段によって受信された前記表示画像を加工する加工手段と、
前記加工手段によって加工された画像を表示する表示手段と、を備えることを特徴とする表示装置。
【請求項１９】
前記第２受信手段は、前記情報処理装置におけるユーザの操作を表す操作画像を受信し、
前記加工手段は、前記第２受信手段によって受信された前記操作画像を、前記第１受信手段によって受信された前記表示画像に重ねる加工を行うことを特徴とする請求項１８に記載の表示装置。
【請求項２０】
前記第２受信手段は、前記情報処理装置におけるユーザの操作を表す操作情報を受信し、
前記第２受信手段によって受信された前記操作情報に基づいて、前記情報処理装置におけるユーザの操作を表す操作画像を生成する画像生成手段をさらに備え、
前記加工手段は、前記画像生成手段によって生成された前記操作画像を、前記第１受信手段によって受信された前記表示画像に重ねる加工を行うことを特徴とする請求項１８に記載の表示装置。
【請求項２１】
前記第２受信手段は、前記情報処理装置におけるユーザの操作を表す操作情報を受信し、
前記加工手段は、前記第２受信手段によって受信された前記操作情報に基づいて、前記第１受信手段によって受信された前記表示画像を尾引きさせる加工を行うことを特徴とする請求項１８に記載の表示装置。
【請求項２２】
画像を表示する情報処理装置と、前記情報処理装置で表示している表示画像を受信して表示する表示装置と、を備える画像表示システムの制御方法であって、
前記情報処理装置における前記表示画像を変化させるユーザの操作を受け付ける受付ステップと、
前記受付ステップによって受け付けられたユーザの操作に基づいて、前記表示画像を加工する加工ステップと、
前記加工ステップによって加工された画像を表示する表示ステップと、を備えることを特徴とする画像表示システムの制御方法。
【請求項２３】
コンピュータを、請求項１７に記載の情報処理装置の各手段として機能させるためのプログラム。
【請求項２４】
コンピュータを、請求項１８乃至２１のいずれか１項に記載の表示装置の各手段として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像表示システム、情報処理装置、及び、表示装置に関する。
【背景技術】
【０００２】
近年、スマートフォン、タブレット端末等の携帯通信装置上の表示画像を、ネットワークを通じてプロジェクタ等の表示装置に転送して表示する画像表示システムが普及しつつある。
この画像表示システムでは、携帯通信装置の表示画像が表示装置に送信され、表示装置が、携帯通信装置の表示画像と同じ画像を表示する。画像表示システムにおいて、携帯通信装置でスクロール、ズーム等の操作を行う際、表示装置でも同時にスクロール、ズーム等の途中の画面を表示し、表示画面がどのように移動しているかを表示装置の観察者に報知することが望まれる。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１０−２５７１４８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、携帯通信装置で表示されるスクロール、ズーム等の操作の途中の画像を表示装置に送信すると通信負荷が大きくなり好ましくない。
なお、画像表示システムに関連する技術として、特許文献１は、クライアント装置の表示画面サイズに合わせて生成した描画データをクライアント装置に送信するサーバ装置を開示する。特許文献１のサーバ装置は、クライアント装置でのスクロール幅単位でキャッシュデータを生成し、所定のタイミングでクライアント装置に送信する。しかしながら、特許文献１の技術は、キャッシュデータをスクロール幅単位で処理しているため、縦横方向の細かいスクロールに対応することは困難である。
【０００５】
本発明は以上のような状況に鑑みてなされたものであり、通信負荷を過大にせず、携帯通信装置等の情報処理装置で行われている操作を表示装置が表示する画像の鑑賞者に知らせることを目的とする。
【課題を解決するための手段】
【０００６】
本発明の画像表示システムは、画像を表示する情報処理装置と、前記情報処理装置で表示している表示画像を受信して表示する表示装置とを備える画像表示システムであって、前記情報処理装置における前記表示画像を変化させるユーザの操作を受け付ける受付手段と、前記受付手段によって受け付けられたユーザの操作に基づいて、前記表示画像を加工する加工手段と、前記加工手段によって加工された画像を表示する表示手段と、を備えることを特徴とする。
【発明の効果】
【０００７】
本発明によれば、通信負荷を過大にせず、携帯通信装置等の情報処理装置で行われている操作を表示装置が表示する画像の鑑賞者に知らせることができる。
【図面の簡単な説明】
【０００８】
【図１】画像表示システムの構成図である。
【図２】スマートフォン、及び、プロジェクタの構成図である。
【図３】第１実施形態におけるスマートフォンの画像をスクロールするときの動作例を示す図である。
【図４】第１実施形態におけるスマートフォンの画像を拡大するときの動作例を示す図である。
【図５Ａ】第１実施形態におけるスマートフォンの処理のフローチャートである。
【図５Ｂ】第１実施形態における表示画像送信処理のフローチャートである。
【図５Ｃ】第１実施形態における操作画像送信処理のフローチャートである。
【図５Ｄ】第１実施形態におけるプロジェクタの処理のフローチャートである。
【図５Ｅ】第１実施形態における表示画像受信処理のフローチャートである。
【図５Ｆ】第１実施形態における操作画像受信処理のフローチャートである。
【図６Ａ】第２実施形態におけるスマートフォンの処理のフローチャートである。
【図６Ｂ】第２実施形態におけるプロジェクタの処理のフローチャートである。
【図７】第３実施形態におけるスマートフォンの画像をスクロールするときの動作例を示す図である。
【図８】第３実施形態におけるプロジェクタの処理のフローチャートである。
【発明を実施するための形態】
【０００９】
以下、図面を参照して本発明の実施形態を説明する。
＜第１実施形態＞
まず、図１を参照して、本実施形態に係る画像表示システム１について説明する。図１は、画像表示システム１の構成図である。
画像表示システム１は、情報処理装置の一例であるスマートフォン１００と、表示装置の一例であるプロジェクタ２００とを備える。スマートフォン１００は、表示部１０５に画像を表示する。プロジェクタ２００は、スマートフォン１００の表示部１０５に表示されている表示画像を、スマートフォン１００から受信し、スクリーン等に投影して表示する。スマートフォン１００とプロジェクタ２００とは通信ネットワークで互いにデータを送受信する。
【００１０】
次に、図２（ａ）を参照して、スマートフォン１００のハードウェア構成について説明する。図２（ａ）は、スマートフォン１００のハードウェア構成図である。
１０１は、ＣＰＵであり、スマートフォン１００の全体の制御を行う。ＣＰＵ１０１がＲＯＭ１０４等に記憶されているプログラムに基づき処理を実行することによって図５Ａ、図５Ｂ、及び、図５Ｃのフローチャートの処理が実現される。
１０２は、ＲＡＭであり、データの格納を行うメインメモリである。ＲＡＭ１０２は、主に、ＣＰＵ１０１が実行するプログラムを格納、又は、展開する領域、プログラム実行中のワーク領域等、様々なデータの格納領域として使用される。さらに、ＲＡＭ１０２は、後述するタッチアドレス、リリースアドレス等を格納する領域を備える。
１０３は、ＶＲＡＭであり、後述する表示部１０５に表示する画像を格納するための領域として使用される。なお、ＲＡＭ１０２の速度が十分高速であれば、ＲＡＭ１０２の領域の一部をＶＲＡＭ１０３として用いてもよい。
１０４は、ＲＯＭであり、ブートプログラム、画像送信アプリケーション等のアプリケーションプログラム、ＯＳ等の各種プログラム、及び、データを格納するために使用される。
【００１１】
１０５は、表示部であり、後述する表示制御部１０６より指示された画像の表示を行う。表示部１０５は、例えば、液晶パネル、又は、有機ＥＬパネルである。
１０６は、表示制御部であり、ＶＲＡＭ１０３に格納された画像を読み出し、これを表示部１０５に表示する処理を行う。
１０７は、操作部であり、ユーザからの入力を受け付ける。操作部１０７は、例えば操作ボタン、タッチパネル等によって構成され、操作部１０７が受け付けた入力操作はＣＰＵ１０１に送信される。スマートフォン１００では、一般的なスマートフォンと同様に、タッチパネルは表示部１０５の一例である液晶パネルの上部（表面）に組み合わされている。
１０８は、無線通信部であり、無線ネットワークを介して、プロジェクタ２００等の外部機器と通信を行う。無線通信部１０８は、アンテナ、ＲＦ部、及び、ベースバンド部から構成され、サポートする無線ＬＡＮ規格に適合したパケットを送受信することが可能である。
【００１２】
１０９は、スマートフォン１００の各処理ブロック間を接続する内部バスである。
１１０は、操作情報生成部であり、ユーザが操作部１０７でどのような操作を行ったかを表す操作情報を生成する。操作情報は、操作種別と動きベクトルとを含む。操作種別は、ユーザが行った操作の種別であり、スマートフォン１００上のユーザの操作が、フリック、スワイプ、ピンチイン、及び、ピンチアウトの何れであるかを表す情報である。フリック及びスワイプは、スマートフォン１００の表示部１０５に表示されている表示画像をスクロールさせる操作である。また、ピンチインは縮小のズーム、ピンチアウトは拡大のズームをさせる操作である。このため、操作種別は、スクロール、及び、拡大又は縮小のズームのいずれの操作であるかを表すといえる。動きベクトルは、ユーザの操作の方向、及び、量を表す。ユーザの操作の方向は、スクロールの方向、又は、ズームの方向を表す。ズームの方向は、拡大及び縮小のいずれであるかを表す。
１１１は、操作画像生成部であり、操作情報生成部１１０で生成した操作情報に応じて、操作に関する画像である操作画像を生成する。
操作情報生成部１１０、及び、操作画像生成部１１１は、それぞれ、所定の回路で構成される。ただし、操作情報生成部１１０の機能、及び、操作画像生成部１１１の機能の少なくとも一部をＣＰＵ１０１が実現するようにしてもよい。このとき、操作情報生成部１１０の機能、及び、操作画像生成部１１１の機能の少なくとも一部を実現するプログラムがＲＯＭ１０４等に格納される。
１１２は、タイマであり、スマートフォン１００内部の計時を行う。タイマ１１２は所定のクロック生成回路を備える。
【００１３】
次に、図２（ｂ）を参照して、プロジェクタ２００のハードウェア構成について説明する。図２（ｂ）は、プロジェクタ２００のハードウェア構成図である。
２０１は、ＣＰＵであり、プロジェクタ２００の全体の制御を行う。ＣＰＵ２０１がＲＯＭ２０３等に記憶されているプログラムに基づき処理を実行することによって図５Ｄ、図５Ｅ、及び、図５Ｆのフローチャートの処理が実現される。
２０２は、ＲＡＭであり、データの格納を行うメインメモリである。ＲＡＭ２０２は、主に、ＣＰＵ２０１が実行するプログラムを格納、又は、展開する領域、プログラム実行中のワーク領域等、様々なデータの格納領域として使用される。
２０３は、ＲＯＭであり、プロジェクタ２００が動作するためのプログラムやパラメータ等のデータが予め書き込まれている。ＣＰＵ２０１はＲＯＭ２０３に書き込まれたプログラムの内容に従って動作する。
２０４は、ＶＲＡＭであり、後述する投影部２０６で投影する画像を格納するための領域として使用される。
２０５は、デコーダであり、スマートフォン１００より受信した画像のデータが例えば、ＪＰＥＧ等の符号化方式によってエンコードされていた場合にこれをデコードする。
【００１４】
２０６は、投影部であり、後述する投影制御部２０７により指示された画像をスクリーン等に投影して表示する。投影部２０６は、例えば、液晶パネル、レンズ、及び、光源で構成される。
２０７は、投影制御部であり、ＶＲＡＭ２０４に格納された画像を読み出し、これを投影部２０６に投影させる処理を行う。
２０８は、操作部であり、ユーザからの入力を受け付ける。操作部２０８は、筐体に付随するボタンや、不図示のリモコンからのユーザ操作を受け付けるリモコン受信部等によって構成され、操作部２０８が受け付けた入力操作は、ＣＰＵ２０１に送信される。
２０９は、無線通信部であり、無線ＬＡＮネットワークを介して外部機器、具体的にはスマートフォン１００と通信を行う。無線通信部２０９は、アンテナ、ＲＦ部、及び、ベースバンド部から構成され、サポートする無線ＬＡＮ規格に適合したパケットを送受信することが可能である。
２１０は、プロジェクタ２００の各処理ブロック間を接続する内部バスである。
【００１５】
２１１は、操作画像生成部であり、スマートフォン１００から、操作情報生成部１１０が生成した操作情報を受け取った場合に、操作に関する画像である操作画像を生成する。
２１２は、画像処理部であり、必要に応じてスマートフォン１００より受信した画像に対して加工処理を施す。
デコーダ２０５、操作画像生成部２１１、及び、画像処理部２１２は、それぞれ、所定の回路で構成される。ただし、デコーダ２０５の機能、操作画像生成部２１１の機能、及び、画像処理部２１２の機能の少なくとも一部をＣＰＵ１０１が実現するようにしてもよい。このとき、デコーダ２０５の機能、操作画像生成部２１１の機能、及び、画像処理部２１２の機能の少なくとも一部を実現するプログラムがＲＯＭ１０４等に格納される。
２１３は、タイマであり、プロジェクタ２００内部の計時を行う。タイマ２１３は所定のクロック生成回路を備える。
【００１６】
次に、画像表示システム１の通常の動作について説明する。説明の簡単化のために、スマートフォン１００の無線通信部１０８とプロジェクタ２００の無線通信部２０９とは、予め双方向通信が可能な状態になっているものとする。画像表示システム１の通常の動作は、スマートフォン１００の通常の動作、及び、プロジェクタ２００の通常の動作で実現される。
まず、スマートフォン１００の通常の動作について説明する。なお、スマートフォン１００の通常の動作は、スマートフォン１００のＣＰＵ１０１で動作するプログラムによって実現されるものである。本実施形態では、このプログラムを画像送信アプリケーションと呼ぶ。
操作部１０７がユーザから表示画像の送信指示を受け付けると、操作部１０７は、この送信指示をＣＰＵ１０１に通知する。ＣＰＵ１０１が表示画像の送信指示を通知されることで、ＣＰＵ１０１はスマートフォン１００の通常の動作を開始する。なお、表示画像はスマートフォン１００の表示部１０５に表示されている画像である。スマートフォン１００が表示画像をプロジェクタ２００に送信することで、プロジェクタ２００はこの表示画像をスクリーン等に投影して表示できる。
【００１７】
まず、ＣＰＵ１０１は、表示画像のキャプチャを行う。ＣＰＵ１０１が行う表示画像のキャプチャは、ＣＰＵ１０１が、表示制御部１０６を制御し、表示部１０５に表示中の表示画像のデータをＶＲＡＭ１０３からＲＡＭ１０２に転送することである。
次に、ＣＰＵ１０１は、キャプチャしてＲＡＭ１０２に格納された表示画像のデータを、画像送信アプリケーションのプログラムによってエンコードする処理を行う。エンコード方式は、例えば画像データの圧縮に一般的に用いられるＪＰＥＧ符号化である。なお、圧縮の方法はＪＰＥＧ符号化に限定されるものではなく、後述するプロジェクタ２００でデコードが可能なものであればその様態を問わない。
次に、ＣＰＵ１０１は、無線通信部１０８を制御し、ＲＡＭ１０２に格納されたエンコード済みの表示画像のデータをプロジェクタ２００に送信する。
ＣＰＵ１０１は、操作部１０７を介してユーザから表示画像送信の停止が指示されるまで、表示部１０５に表示中の表示画像の変化を検知するごとに、上記のキャプチャ、エンコード、及び、送信を繰り返す。
以上がスマートフォン１００の通常の動作である。
【００１８】
次に、プロジェクタ２００の通常の動作について説明する。なお、プロジェクタ２００の通常の動作は、プロジェクタ２００のＣＰＵ２０１で動作するプログラムによって実現されるものである。説明の簡単化のため、既にこのプログラムがユーザからの指示によって起動しているものとする。
まず、ＣＰＵ２０１は、無線通信部２０９を制御し、スマートフォン１００からの表示画像を待ち受ける。上記のスマートフォン１００の表示画像の送信によってプロジェクタ２００に送信された表示画像を無線通信部２０９が受信すると、ＣＰＵ２０１は、受信した表示画像のデータをＲＡＭ２０２に格納する。
次に、ＣＰＵ２０１は、デコーダ２０５を制御し、ＲＡＭ２０２に格納されたＪＰＥＧ符号化された表示画像のデータのデコード処理を行い、ＶＲＡＭ２０４に格納する。なお、ＣＰＵ２０１は、デコード処理の後に、スケーリング処理を実施して画像サイズを所望の表示サイズに変更してもよい。
次に、ＣＰＵ２０１は、投影制御部２０７を制御し、ＶＲＡＭ２０４に格納された表示画像を読み出し、これを投影部２０６からスクリーン等に投影して表示する。
ＣＰＵ２０１は、ユーザによる画面転送プログラムの終了指示、又は、プロジェクタの電源ＯＦＦの指示があるまで、上記の受信、デコード、投影を、スマートフォン１００から画像データを受信するごとに繰り返す。
以上がプロジェクタ２００の通常の動作である。
このような画像表示システム１の通常の動作によって、スマートフォン１００に表示中の表示画像がプロジェクタ２００に送信されて、プロジェクタ２００で投影表示される。
【００１９】
次に、図３から図５Ｆを参照して、画像表示システム１の通常の動作に加えて、ユーザがスマートフォン１００に表示中の表示画像をスクロールさせたりズームさせたりする操作をする場合の動作について説明する。
まず、図５Ａを参照して、スマートフォン１００の処理について説明する。図５Ａは、スマートフォン１００の処理のフローチャートである。
スマートフォン１００の画像送信アプリケーションはＲＯＭ１０４に格納されており、ユーザから画像送信アプリケーションの実行指示がされると画像送信アプリケーションがＲＡＭ１０２に展開されて画像送信アプリケーションが実行される。画像送信アプリケーションが実行されると、図５のステップＳ５０１から処理が始まる。
ステップＳ５０１において、ＣＰＵ１０１は、操作部１０７を介してのユーザからの指示に応じて、無線通信部１０８を制御し、プロジェクタ２００との接続を試みる。プロジェクタ２００では、ＣＰＵ２０１が無線通信部２０９を制御することで、接続要求を待ち受けており、接続要求を受け付けると、接続要求を受け付けた旨の通知をスマートフォン１００に送信する。スマートフォン１００の無線通信部１０８は、上記の通知を受信してプロジェクタ２００との接続が確立した場合には、ＣＰＵ１０１にイベント通知を行う。接続が確立されない場合には、ＣＰＵ１０１は、再度、無線通信部１０８を制御し、プロジェクタ２００との接続を試みる。なお、接続先のプロジェクタ２００はユーザがプロジェクタのＩＰアドレス等を入力することで決定する。
【００２０】
ステップＳ５０２において、ＣＰＵ１０１は、表示画像送信処理を行う。ＣＰＵ１０１は、その後、処理をステップＳ５０３に進める。
ここで、図５Ｂを参照して、表示画像送信処理について説明する。図５Ｂは、表示画像送信処理のフローチャートである。
ステップＳ５４０において、ＣＰＵ１０１は、表示画像のキャプチャを行う。
ステップＳ５４１において、ＣＰＵ１０１は、キャプチャした表示画像のデータをエンコードする。
ステップＳ５４２において、ＣＰＵ１０１は、エンコードした表示画像のデータをプロジェクタ２００に送信する。
なお、これらの処理の詳細は、スマートフォン１００の通常の動作としてすでに説明した通りである。
以上が表示画像送信処理である。
【００２１】
図５Ａに戻って説明を続ける。
ステップＳ５０３において、ＣＰＵ１０１は、無線通信部１０８を介して、プロジェクタ２００から切断要求を受信したか否かを判定する。切断要求は、表示画像送信の停止の要求である。ＣＰＵ１０１は、切断要求を受信したとき画像送信アプリケーションを終了して図５Ａに示す処理を終了する。ＣＰＵ１０１は、切断要求を受信しないとき、処理をステップＳ５０４に進める。
ステップＳ５０４において、ＣＰＵ１０１は、操作部１０７からの信号等に基づいて、操作部１０７がユーザのタッチを検知したか否かを判定する。ＣＰＵ１０１は、操作部１０７がユーザのタッチを検知したとき処理をステップＳ５０５に進め、検知しないとき処理をステップＳ５０２に戻す。
ステップＳ５０５において、ＣＰＵ１０１は、操作部１０７からの信号等に基づいて、ユーザがタッチした操作部１０７の位置を表す座標であるタッチアドレスを検出し、ＲＡＭ１０２に保存する。その後、ＣＰＵ１０１は、処理をステップＳ５０６に進める。
ステップＳ５０６において、ＣＰＵ１０１は、タイマ１１２を制御して、タイマ１１２での計時を開始する。その後、ＣＰＵ１０１は、処理をステップＳ５０７に進める。
【００２２】
ステップＳ５０７において、ＣＰＵ１０１は、タイマ１１２からの信号、及び、操作部１０７からの信号等に基づいて、ユーザが所定時間以上、操作部１０７をタッチしているか否かを判定する。所定時間は、例えば０．５秒程度とする。ＣＰＵ１０１は、ユーザのタッチの時間が所定時間以上のとき処理をステップＳ５１１に進め、所定時間未満のとき処理をステップＳ５０８に進める。
ステップＳ５０８において、ＣＰＵ１０１は、ユーザの操作がフリックであると判定し、ユーザの操作がフリックであることを操作情報生成部１１０に通知する。フリックは、表示画像を連続的に変化させるスクロールの操作を表す。操作情報生成部１１０は、操作情報の操作種別としてフリックを表す情報を操作情報に設定する。その後、ＣＰＵ１０１は、処理をステップＳ５０９に進める。
ステップＳ５０９において、ＣＰＵ１０１は、タイマ１１２からの信号、及び、操作部１０７からの信号等に基づいて、フリックの間、ユーザが操作部１０７をタッチしていた時間を検出する。その後、ＣＰＵ１０１は、処理をステップＳ５１０に進める。
ステップＳ５１０において、ＣＰＵ１０１は、操作部１０７からの信号等に基づいて、ユーザが操作部１０７から指を離したときの操作部１０７の位置を表す座標であるリリースアドレスを検出する。ＣＰＵ１０１は、検出したリリースアドレスをＲＡＭ１０２に保存する。その後、ＣＰＵ１０１は、処理をステップＳ５２０に進める。
【００２３】
ステップＳ５１１において、ＣＰＵ１０１は、操作部１０７からの信号等に基づいて、ユーザが操作部１０７の１箇所をタッチしたのか、複数個所をタッチしたのかを判定する。ＣＰＵ１０１は、ユーザが操作部１０７の１箇所をタッチしたとき処理をステップＳ５１２に進め、複数個所をタッチしたとき処理をステップＳ５１６に進める。
ステップＳ５１２において、ＣＰＵ１０１は、ユーザの操作がスワイプであると判定し、ユーザの操作がスワイプであることを操作情報生成部１１０に通知する。スワイプは、表示画像を連続的に変化させるスクロールの操作を表す。操作情報生成部１１０は、操作情報の操作種別としてスワイプを表す情報を操作情報に設定する。その後、ＣＰＵ１０１は、処理をステップＳ５１３に進める。
ステップＳ５１３において、ＣＰＵ１０１は、操作部１０７からの信号等に基づいて、ユーザが操作部１０７から指を離したか否か、すなわちリリースしたか否かを判定する。ＣＰＵ１０１は、ユーザがリリースしているときステップＳ５１５に進め、リリースしていないとき処理をステップＳ５１４に進める。
【００２４】
ステップＳ５１４において、ＣＰＵ１０１は、タイマ１１２からの信号、及び、操作部１０７からの信号等に基づいて、所定時間以上、ユーザがタッチしている操作部１０７の座標（タッチアドレス）が変化していないか否かを判定する。すなわち、ＣＰＵ１０１は、ユーザの指の動きが止まっているか否かを判定する。所定時間は、例えば１．５秒程度とする。ＣＰＵ１０１は、所定時間以上タッチアドレスが変化していないとき、すなわち、ユーザの指の動きが止まっているとき、実際にはユーザはリリースしていないものの、ステップＳ５１４の処理時点でのタッチアドレスでユーザがリリースしたものと判定する。そして、所定時間以上タッチアドレスが変化していないとき、ＣＰＵ１０１は、処理をステップＳ５１５に進める。所定時間未満の間にタッチアドレスが変化したとき、ＣＰＵ１０１は処理をステップＳ５１３に戻す。
ステップＳ５１５において、ＣＰＵ１０１は、操作部１０７からの信号等に基づいて、ユーザが操作部１０７から指を離したときの操作部１０７の位置を表す座標であるリリースアドレスを検出する。ＣＰＵ１０１は、検出したリリースアドレスをＲＡＭ１０２に保存する。その後、ＣＰＵ１０１は、処理をステップＳ５２０に進める。
【００２５】
ステップＳ５１６において、ＣＰＵ１０１は、ユーザの操作がピンチイン又はピンチアウトであると判定し、ユーザの操作がピンチイン又はピンチアウトであることを操作情報生成部１１０に通知する。ピンチイン又はピンチアウトは、表示画像を連続的に変化させるズームの操作を表す。ピンチインは縮小のズームの操作を表し、ピンチアウトは拡大のズームの操作を表す。操作情報生成部１１０は、操作情報の操作種別としてピンチイン又はピンチアウトを表す情報を操作情報に設定する。その後、ＣＰＵ１０１は、処理をステップＳ５１７に進める。
ステップＳ５１７において、ＣＰＵ１０１は、操作部１０７からの信号等に基づいて、ユーザが操作部１０７から指を離したか否か、すなわちリリースしたか否かを判定する。ＣＰＵ１０１は、ユーザがリリースしているときステップＳ５１９に進め、リリースしていないとき処理をステップＳ５１８に進める。
ステップＳ５１８において、ＣＰＵ１０１は、タイマ１１２からの信号、及び、操作部１０７からの信号等に基づいて、所定時間以上、ユーザがタッチしている操作部１０７の座標（タッチアドレス）が変化していないか判定する。すなわち、ＣＰＵ１０１は、ユーザの指の動きが止まっているか否かを判定する。所定時間は、例えば１．５秒程度とする。ＣＰＵ１０１は、所定時間以上タッチアドレスが変化していないとき、すなわち、ユーザの指の動きが止まっているとき、実際にはユーザはリリースしていないものの、ステップＳ５１８の処理時点でのタッチアドレスでユーザがリリースしたものと判定する。そして、所定時間以上タッチアドレスが変化していないとき、ＣＰＵ１０１は、処理をステップＳ５１９に進める。所定時間未満の間にタッチアドレスが変化したとき、ＣＰＵ１０１は処理をステップＳ５１７に戻す。
ステップＳ５１９において、ＣＰＵ１０１は、操作部１０７からの信号等に基づいて、ユーザが操作部１０７から指を離したときの操作部１０７の位置を表す座標であるリリースアドレスを複数検出する。ＣＰＵ１０１は、検出した複数のリリースアドレスをＲＡＭ１０２に保存する。その後、ＣＰＵ１０１は、処理をステップＳ５２０に進める。
【００２６】
ステップＳ５２０において、ＣＰＵ１０１の制御の下で、操作情報生成部１１０は動きベクトルを求めて動きベクトルを決定し、操作情報の動きベクトルとして、決定した動きベクトルを表す情報を操作情報に設定する。
ＣＰＵ１０１がステップＳ５０８でユーザの操作をフリックと判定したとき、操作情報生成部１１０が求める動きベクトルは、スマートフォン１００の表示部１０５に表示される画像３００がフリックでスクロールする方向と距離とを表す。操作情報生成部１１０は、ユーザの操作がフリックのときの動きベクトルを、ステップＳ５０９で検出されたタッチ時間、ステップＳ５０５で検出されたタッチアドレス、及び、ステップＳ５０９で検出されたリリースアドレスに基づいて求める。
【００２７】
ＣＰＵ１０１がステップＳ５１２でユーザの操作をスワイプと判定したとき、操作情報生成部１１０が求める動きベクトルは、スマートフォン１００の表示部１０５に表示される表示画像がスワイプでスクロールする方向と距離とを表す。操作情報生成部１１０は、ユーザの操作がスワイプのときの動きベクトルを、ステップＳ５０５で検出されたタッチアドレス、及び、ステップＳ５１５で検出されたリリースアドレスに基づいて求める。
ＣＰＵ１０１がステップＳ５１６でユーザの操作をピンチイン又はピンチアウトと判定したとき、操作情報生成部１１０が求める動きベクトルは次の２つを表す。第１がスマートフォン１００の表示部１０５に表示される表示画像がピンチイン又はピンチアウトでズームする方向であり、第２がズームの倍率である。ズームする方向は、画像が拡大する方向、又は、縮小する方向のいずれかである。操作情報生成部１１０は、ユーザの操作がピンチイン又はピンチアウトのときの動きベクトルを、ステップＳ５０５で検出されたタッチアドレス、及び、ステップＳ５１９で検出されたリリースアドレスに基づいて求める。
その後、ＣＰＵ１０１は、処理をステップＳ５２１に進める。
【００２８】
ステップＳ５２１において、ＣＰＵ１０１の制御の下で、操作画像生成部１１１は、ユーザの操作の内容に対応した画像である操作画像を生成する。ステップＳ５２１の処理は画像生成手段による処理の一例である。
ここで、図３を参照して、ユーザの操作がフリック又はスワイプのときの画像表示システム１での画像の表示の例について説明する。図３（ａ）は、スマートフォン１００の表示対象の画像を示す図である。図３（ｂ）は、スクロール前の状態を示す図である。図３（ｃ）は、スクロール中の状態を示す図である。図３（ｄ）は、スクロール後の状態を示す図である。
図３（ａ）に示す画像３００は、スマートフォン１００が表示対象とする画像の例である。領域画像３０１は、画像３００の一部の領域であり、ユーザの操作前にスマートフォン１００の表示部１０５に表示されている画像である。領域画像３０２は、画像３００の一部の領域であり、ユーザの操作後にスマートフォン１００の表示部１０５に表示される画像である。図３の例では、ユーザがフリック又はスワイプで画像３００を左にスクロールさせる。このため、領域画像３０２は、画像３００における領域画像３０１の右側の画像となる。
ユーザがフリック又はスワイプの操作をする前は、図３（ｂ）に示すように、スマートフォン１００の表示部１０５は表示画像として領域画像３０１を表示する。プロジェクタ２００も、スマートフォン１００から受信した領域画像３０１を表示する。
ユーザがフリック又はスワイプの操作をしている途中のとき、図３（ｃ）に示すように、スマートフォン１００の表示部１０５は、スクロール途中の画像を表示する。プロジェクタ２００は、加工画像３０６を表示する。加工画像３０６は、ユーザがフリック又はスワイプの操作をする前の表示画像である領域画像３０１に、ユーザの操作を表す操作画像３０５を重ねた画像である。
ユーザがフリック又はスワイプの操作をした後は、図３（ｄ）に示すように、スマートフォン１００の表示部１０５は、表示画像として、スクロール後の画像である領域画像３０２を表示する。プロジェクタ２００も、スマートフォン１００から受信した領域画像３０２を表示する。
【００２９】
ユーザの操作がフリック又はスワイプのときに操作画像生成部１１１が生成する操作画像３０５は、ユーザの操作を表す文字列３０３と矢印３０４とを含む。操作画像生成部１１１は、ステップＳ５２０で決定された動きベクトルから、ユーザの操作を表す文字列３０３と矢印３０４とを生成して操作画像３０５とする。
図３（ｃ）の例では、ユーザは、フリック又はスワイプによって領域画像３０１を左にスクロールさせる。ステップＳ５２０では、この左へのスクロールに対応する動きベクトルが求められる。操作画像生成部１１１は、この動きベクトルに基づいて、文字列３０３として「左スクロール中」、矢印３０４として左に向く矢印を生成して、操作画像３０５とする。
操作画像生成部１１１は、動きベクトルが表すスクロールの方向に応じて、文字列３０３を「上スクロール中」等に変更する。操作画像生成部１１１は、矢印３０４の長さを、動きベクトルが表すスクロールの距離に応じて変更してもよい。
【００３０】
次に、図４を参照して、ユーザの操作がピンチアウトのときの画像表示システム１での画像の表示の例について説明する。図４（ａ）は、スマートフォン１００の表示対象の画像を示す図である。図４（ｂ）は、ズーム前の状態を示す図である。図４（ｃ）は、ズーム中の状態を示す図である。図４（ｄ）は、ズーム後の状態を示す図である。
図４（ａ）に示す画像４００は、スマートフォン１００が表示対象とする画像の例である。領域画像４０１は、画像４００の一部の領域であり、ユーザの操作前にスマートフォン１００の表示部１０５に表示されている画像である。領域画像４０２は、画像４００の一部の領域であり、ユーザの操作後にスマートフォン１００の表示部１０５に表示される画像である。図４の例では、ユーザがピンチアウトで領域画像４０１を拡大させるズームを行う。このため、領域画像４０２は、領域画像４０１の一部を表す画像となる。
ユーザがピンチアウトの操作をする前は、図４（ｂ）に示すように、スマートフォン１００の表示部１０５は表示画像として領域画像４０１を表示する。プロジェクタ２００も、スマートフォン１００から受信した領域画像４０１を表示する。
ユーザがピンチアウトの操作をしている途中のとき、図４（ｃ）に示すように、スマートフォン１００の表示部１０５は、拡大途中の画像を表示する。プロジェクタ２００は、加工画像４０６を表示する。加工画像４０６は、ユーザがピンチアウトの操作をする前の表示画像である領域画像４０１に、ユーザの操作を表す操作画像４０５を重ねた画像である。
ユーザがピンチアウトの操作をした後は、図４（ｄ）に示すように、スマートフォン１００の表示部１０５は、表示画像として、拡大後の領域画像４０２を表示する。プロジェクタ２００も、スマートフォン１００から受信した領域画像４０２を表示する。
【００３１】
ユーザの操作がピンチイン又はピンチアウトのときに操作画像生成部１１１が生成する操作画像４０５は、ユーザの操作を表す文字列４０３と矢印４０４とを含む。操作画像生成部１１１は、ステップＳ５２０で決定された動きベクトルから、ユーザの操作を表す文字列３０３と矢印３０４とを生成して操作画像３０５とする。
図４（ｃ）の例では、ユーザは、ピンチアウトによって領域画像４０１について水平方向の拡大のズームを行う。ステップＳ５２０では、この水平方向の拡大のズームに対応する動きベクトルが決定される。操作画像生成部１１１は、この動きベクトルに基づいて、文字列４０３として「拡大中」、矢印４０４として線分の両端のそれぞれが外側の方向を向くことで拡大を表す矢印を生成して、操作画像４０５とする。
操作画像生成部１１１は、動きベクトルが表すズームの方向に応じて、文字列４０３を「縮小中」等に変更する。例えば、ユーザの操作がピンチインのときに、文字列４０３を「縮小中」とし、矢印４０４を、表示画像における縮小の中心点を向く複数の矢印とする。操作画像生成部１１１は、矢印４０４の長さを、動きベクトルが表すズームの倍率に応じて変更してもよい。動きベクトルが表すズームの倍率は、動きベクトルのスカラー量で表される。
ＣＰＵ１０１は、操作画像の生成の後、処理をステップＳ５２２に進める。
【００３２】
ステップＳ５２２において、ＣＰＵ１０１は、操作画像送信処理を行う。その後、ＣＰＵ１０１は、処理をステップＳ５２３に進める。
ここで、図５Ｃを参照して、操作画像送信処理について説明する。図５Ｃは、操作画像送信処理のフローチャートである。
ステップＳ５４３において、ＣＰＵ１０１は、図５ＡのステップＳ５２１で生成された操作画像を、画像送信アプリケーションのプログラムによってエンコードする処理を行う。エンコード方式は、例えば画像データの圧縮に一般的に用いられるＪＰＥＧ符号化である。なお、圧縮の方法はＪＰＥＧ符号化に限定されるものではなく、後述するプロジェクタ２００でデコードが可能なものであればその様態を問わない。
ステップＳ５４４において、ＣＰＵ１０１は、無線通信部１０８を制御し、ステップＳ５４３でエンコードした操作画像をプロジェクタ２００に送信する。
以上が操作画像送信処理である。
【００３３】
ＣＰＵ１０１は、ステップＳ５２２では、操作画像の送信を行うのみである。ＣＰＵ１０１は、ステップＳ５２２で、図３（ｃ）や図４（ｃ）に示すようなユーザが操作中のときにスマートフォン１００が表示する画像をキャプチャしてプロジェクタ２００に送信することは行わない。プロジェクタ２００は、図３（ｃ）や図４（ｃ）に示すように、ユーザが操作の途中のとき、ユーザが操作する前の表示画像（領域画像３０１、領域画像４０１）に操作画像を重ねた加工画像３０６、４０６を表示する。
【００３４】
図５Ａに戻って説明を続ける。
ステップＳ５２３において、ＣＰＵ１０１は、ユーザがスマートフォン１００の操作を開始してから所定時間が経過したか否かを判定する。ＣＰＵ１０１は、所定時間を、動きベクトルのスカラー量に基づいて定める。ＣＰＵ１０１は、例えば、ステップＳ５０６でタイマ１１２での計時を開始した時間をユーザがスマートフォン１００の操作が開始した時間として、所定時間が経過したか否かを判定する。ＣＰＵ１０１は、この判定により、ステップＳ５２０で決定した動きベクトルのスカラー量に応じた時間が経過し、ユーザの操作に対応するスクロールやズームの動作が完了したか否かを判定することになる。ＣＰＵ１０１は、所定時間が経過したとき処理をステップＳ５２４に進め、所定時間が経過していないとき再度ステップＳ５２３を実行する。
【００３５】
ステップＳ５２４において、ＣＰＵ１０１は、タイマ１１２を制御して、タイマ１１２での計時を終了する。その後、ＣＰＵ１０１は、処理をステップＳ５０２に戻す。
ＣＰＵ１０１は、ステップＳ５２２からＳ５２４の処理により、スクロールの移動距離やズーム倍率に応じて、プロジェクタ２００で操作画像を表示させる時間を制御する。こうして、ＣＰＵ１０１は、ユーザの操作を受け付けたとき、表示画像送信処理を停止する。そして、ＣＰＵ１０１は、ユーザの操作に対応するスクロールやズームの動作等の表示画像を変化が完了したとき、表示画像送信処理を再開する。
なお、図５Ａにおいて、ステップＳ５０８、Ｓ５１２、Ｓ５１６でフリック、スワイプ、ピンチイン、ピンチアウトと判定する処理は、受付手段による処理の一例である。
【００３６】
次に、図５Ｄを参照して、プロジェクタ２００の処理を説明する。図５Ｄは、プロジェクタ２００の処理のフローチャートである。
ステップＳ５５１において、ＣＰＵ２０１は、無線通信部２０９からの通知に基づいて、スマートフォン１００との接続が確立されているか否かを判定する。無線通信部２０９は、スマートフォン１００との接続が確立されたとき、ＣＰＵ２０１にイベント通知を行う。ＣＰＵ２０１は、スマートフォン１００との接続が確立されているとき処理をステップＳ５５２に進め、接続が確立されていないとき再度ステップＳ５５１を実行する。
【００３７】
ステップＳ５５２において、ＣＰＵ２０１は、表示画像受信処理を行う。ＣＰＵ２０１は、その後、処理をステップＳ５５３に進める。
ここで、図５Ｅを参照して、表示画像受信処理について説明する。図５Ｅは、表示画像受信処理のフローチャートである。
ステップＳ５７０において、ＣＰＵ２０１は、表示画像のデータの受信を行う。このデータは、図５ＢのステップＳ５４２で送信される、スマートフォン１００でキャプチャされた表示画像のデータである。
ステップＳ５７１において、ＣＰＵ２０１は、受信した画像データのデコードを行う。
ステップＳ５７２において、ＣＰＵ２０１は、デコードした表示画像の投影を行う。
なお、これらの処理の詳細は、プロジェクタ２００の通常の動作としてすでに説明した通りである。
【００３８】
ステップＳ５５３において、ＣＰＵ２０１は、ユーザから切断要求を受け付けたか否かを判定する。切断要求は、表示画像送信の停止の要求である。ＣＰＵ２０１は、切断要求を受け付けたとき図５Ｄに示す処理を終了する。ＣＰＵ２０１は、切断要求を受け付けていないとき、処理をステップＳ５５４に進める。
ステップＳ５５４において、ＣＰＵ２０１は、無線通信部２０９を介して、スマートフォン１００から操作画像が送信されていて、操作画像を受信できる状態か否かを判定する。ＣＰＵ２０１は、操作画像を受信できる状態のとき処理をステップＳ５５５に進め、操作画像を受信できる状態はないとき処理をステップＳ５５２に戻す。
【００３９】
ステップＳ５５５において、ＣＰＵ２０１は、操作画像受信処理を行う。ＣＰＵ１０１は、その後、処理をステップＳ５５６に進める。
ここで、図５Ｆを参照して、操作画像受信処理について説明する。図５Ｆは、操作画像受信処理のフローチャートである。
ステップＳ５７３において、ＣＰＵ２０１は、無線通信部２０９を制御して、スマートフォン１００から操作画像のデータを受信する。
ステップＳ５７４において、ＣＰＵ２０１は、ステップＳ５７３で受信した操作画像のデータをデコードする。
以上が操作画像受信処理である。
【００４０】
ステップＳ５５６において、ＣＰＵ２０１の制御の下で、画像処理部２１２は、ステップＳ５５２で受信した表示画像にステップＳ５５５で受信した操作画像を重ねる加工を行って、加工画像を生成する。ステップＳ５５２で受信した表示画像は、ユーザがスマートフォン１００を操作する前の表示画像であるため、画像処理部２１２は、この操作前の表示画像に操作画像を重ねて加工画像を生成することになる。そして、ＣＰＵ２０１の制御の下で、投影制御部２０７は、生成した加工画像を投影部２０６に投影させる。これにより、ユーザがスクロールの操作を行っているときは、プロジェクタ２００は、図３（ｃ）に示すように、加工画像３０６スクリーン等に投影して、表示する。また、ユーザが拡大のズームの操作を行っているときは、プロジェクタ２００は、図４（ｃ）に示すように、加工画像４０６スクリーン等に投影して、表示する。ステップＳ５５６の加工画像を生成する処理は加工手段による処理の一例である。また、ステップＳ５５６の加工画像を投影部２０６に投影させる処理は表示手段による処理の一例である。
【００４１】
ステップＳ５５７において、ＣＰＵ２０１は、無線通信部２０９を制御して、スマートフォン１００から表示画像が送信されたか否かを判定する。ＣＰＵ２０１は、スマートフォン１００から表示画像が送信されたとき処理をステップＳ５５８に進め、送信されていないとき再度ステップＳ５５７を実行する。
ステップＳ５５８において、画像処理部２１２は、ステップＳ５５６で生成した加工画像から操作画像を削除する。これにより、投影部２０６が投影する画像から操作画像が削除される。その後、ＣＰＵ２０１は処理をステップＳ５５２に戻す。なお、ＣＰＵ２０１は、ステップＳ５５８の処理を行わずに処理をステップＳ５５２に戻してもよい。この場合でも、次のステップＳ５５２において、プロジェクタ２００は操作画像がない表示画像を投影する。
こうして、ＣＰＵ２０１は、ステップＳ５５６で加工画像の表示を開始したとき、表示画像受信処理を停止する。そして、ＣＰＵ２０１は、加工画像の表示を開始してから、図５ＡのステップＳ５２３での所定時間の経過後に、表示画像受信処理を再開する。
【００４２】
図３（ｃ）に示すユーザのフリック又はスワイプの操作が終了した後、スマートフォン１００は、図５ＡのステップＳ５０２で、表示画像となる図３（ｄ）の領域画像３０２をプロジェクタ２００に送信する。プロジェクタ２００は、図５ＤのステップＳ５５８で操作画像を削除した後に、ステップＳ５５２で領域画像３０２を受信して、図３（ｄ）に示すように、領域画像３０２を投影して表示する。
同様に、図４（ｃ）に示すユーザのピンチアウトの操作が終了した後、スマートフォン１００は、表示画像となる図４（ｄ）の領域画像４０２をプロジェクタ２００に送信する。プロジェクタ２００は、操作画像を削除した後に領域画像４０２を受信して、図４（ｄ）に示すように、領域画像４０２を投影して表示する。
図３（ｄ）及び図４（ｄ）の状態のときは、ユーザの操作は完了しており、プロジェクタ２００が投影する画像からは操作画像は削除されている。
【００４３】
以上説明した通り、プロジェクタ２００は、スマートフォン１００によって受け付けられたユーザの操作に基づいて表示画像を加工して、スクリーン等に投影して表示する。
よって、ユーザの操作中にスマートフォン１００が表示する画像をスマートフォン１００がプロジェクタ２００に送信することなしに、プロジェクタ２００は、ユーザの操作に基づく画像を表示できる。したがって、画像表示システム１は、通信負荷を過大にせず、スマートフォン１００で行われている操作を、プロジェクタ２００が表示する画像の鑑賞者に知らせることができる。
また、スマートフォン１００は、プロジェクタ２００に操作中の表示画像を送信せずに、操作画像を生成してプロジェクタ２００に送信する。したがって、通信負荷を抑制できる。
【００４４】
また、スマートフォン１００は、操作画像を生成してプロジェクタ２００に送信する。プロジェクタ２００は、ユーザがスマートフォン１００を操作する前の表示画像に操作画像を重ねて表示する。操作画像は、ユーザが行ったスマートフォン１００に対する操作の種別を表す。さらに、操作画像は、操作部１０７が受け付けた操作の量を表す。したがって、画像表示システム１は、通信負荷を過大にせず、スマートフォン１００で行われている操作の詳細を、プロジェクタ２００が表示する画像の鑑賞者に知らせることができる。画像表示システム１は、ユーザが表示画像を拡大又は縮小のズームの操作についても鑑賞者に知らせることができる。
【００４５】
また、スマートフォン１００は、図５ＡのステップＳ５２３の処理によって、ユーザの操作の量に基づいて所定時間の間、プロジェクタ２００が生成した加工画像を表示させる。そして、所定時間の経過後、再度、表示画像の送信を開始する。よって、プロジェクタ２００は、ユーザがスマートフォン１００を操作している間、加工画像の表示を継続し、ユーザがスマートフォン１００の操作を終了した後に、表示画像の表示を開始する。したがって、ユーザがスマートフォン１００の操作を終了した後は、プロジェクタ２００が操作画像を表示しないため、鑑賞者は操作の終了を判別でき、違和感なく操作後の表示画像を鑑賞できる。
【００４６】
＜第２実施形態＞
本実施形態では、スマートフォン１００の操作状態を表す動きベクトルを表す情報がプロジェクタ２００に送信され、プロジェクタ２００が操作画像を生成する点で、第１実施形態と異なる。
本実施形態におけるスマートフォン１００及びプロジェクタ２００の構成は第１実施形態と同様であるため説明を省略する。ここでは、第１実施形態と相違する点を中心に説明する。
【００４７】
まず、図６Ａを参照して、スマートフォン１００の処理について説明する。図６Ａは、スマートフォン１００の処理のフローチャートである。
図６ＡのステップＳ６０１からＳ６２０の処理は、それぞれ、図５ＡのステップＳ５０１からＳ５２０の処理と同様であるため説明を省略する。なお、ステップＳ６０２の表示画像送信処理は、図５Ｂの表示画像送信処理と同様の処理である。
ステップＳ６２１において、ＣＰＵ１０１は、既に生成した操作情報を、無線通信部１０８を介してプロジェクタ２００に送信する。なお、操作情報は、上記のように、操作種別と動きベクトルとを含む。
ステップＳ６２２、Ｓ６２３の処理は、図５ＡのステップＳ５２３、Ｓ５２４の処理と同様であるため説明を省略する。
【００４８】
次に、図６Ｂを参照して、プロジェクタ２００の処理を説明する。図６Ｂは、プロジェクタ２００の処理のフローチャートである。
ステップＳ６５１からＳ６５３の処理は、図５ＤのステップＳ５５１からＳ５５３の処理と同様であるため説明を省略する。なお、ステップＳ６５２の表示画像受信処理は、図５Ｅの表示画像受信処理と同様の処理である。
ステップＳ６５４において、無線通信部２０９は、スマートフォン１００からの操作情報の受信を試みる。そして、ＣＰＵ２０１は、無線通信部２０９がスマートフォン１００から、操作情報を受信したか否かを判定する。ＣＰＵ２０１は、操作情報を受信したとき処理をステップＳ６５５に進め、受信していないとき処理をステップＳ６５２に戻す。
ステップＳ６５５において、ＣＰＵ２０１の制御の下で、操作画像生成部２１１は、操作情報に基づいて、操作画像を生成する。ステップＳ６５５で生成する操作画像は、図５ＡのステップＳ５２１で生成される操作画像と同様の画像であり、例えば、図３（ｃ）の操作画像３０５、図４（ｃ）の操作画像４０５が生成される。
ステップＳ６５６において、ＣＰＵ２０１の制御の下で、画像処理部２１２は、ステップＳ６５２で受信した表示画像にステップＳ６５５で生成した操作画像を重ねる加工を行って、加工画像を生成する。そして、ＣＰＵ２０１の制御の下で、投影制御部２０７は、生成した加工画像を投影部２０６に投影させる。これにより、図３（ｃ）や図４（ｃ）に示すように、加工画像３０６、４０６がスクリーン等に投影されて、表示される。
【００４９】
ステップＳ６５７において、ＣＰＵ２０１は、タイマ２１３を制御して、タイマ２１３での計時を開始する。その後、ＣＰＵ２０１は、処理をステップＳ６５８に進める。
ステップＳ６５８において、ＣＰＵ２０１は、ユーザがスマートフォン１００の操作を開始してから所定時間が経過したか否かを判定する。ＣＰＵ２０１は、所定時間を、ステップＳ６５４で受信した操作情報に含まれる動きベクトルのスカラー量に基づいて定める。ＣＰＵ２０１は、例えば、ステップＳ６５７でタイマ２１３での計時を開始した時間をユーザがスマートフォン１００の操作が開始した時間として、所定時間が経過したか否かを判定する。ＣＰＵ２０１は、この判定により、動きベクトルのスカラー量に応じた時間が経過し、スクロールやズームの動作が完了したか否かを判定することになる。ＣＰＵ２０１は、所定時間が経過したとき処理をステップＳ６５９に進め、所定時間が経過していないとき再度ステップＳ６５８を実行する。
【００５０】
ＣＰＵ２０１は、ステップＳ６５７、Ｓ６５８の処理により、スクロールの移動距離やズーム倍率に応じて、プロジェクタ２００で操作画像を表示させる時間を制御する。
ステップＳ６５９において、ＣＰＵ２０１は、タイマ２１３を制御して、タイマ２１３での計時を終了する。その後、ＣＰＵ２０１は、処理をステップＳ６６０に進める。
ステップＳ６６０において、ＣＰＵ２０１の制御の下で、画像処理部２１２はステップＳ６５６で生成した加工画像から操作画像を削除する。その後、ＣＰＵ２０１は処理をステップＳ６５２に戻す。
【００５１】
以上説明した通り、スマートフォン１００は、ユーザの操作に基づく操作情報をプロジェクタ２００に送信する。プロジェクタ２００は、スマートフォン１００から受信した操作情報に基づいて操作画像を生成し、ユーザがスマートフォン１００を操作する前の表示画像に操作画像を重ねて表示する。よって、ユーザがスマートフォン１００を操作中のとき、スマートフォン１００からは操作情報が送信されるが画像のデータは送信されない。したがって、通信負荷を抑制できる。
また、上記実施形態と同様に、スマートフォン１００で行われている操作を、プロジェクタ２００が表示する画像の鑑賞者に知らせることができる。また、スマートフォン１００で行われている操作の詳細を、プロジェクタ２００が表示する画像の鑑賞者に知らせることができる。また、ユーザがスマートフォン１００の操作を終了した後は、プロジェクタ２００が操作画像を表示しないため、鑑賞者は操作の終了を判別でき、違和感なく操作後の表示画像を鑑賞できる。
【００５２】
＜第３実施形態＞
本実施形態は、スマートフォン１００の操作状態を表す動きベクトルを含む操作情報がプロジェクタ２００に送信され、プロジェクタ２００が操作状態に対応して表示画像そのものを加工する点で、上記の実施形態とは異なる。
本実施形態におけるスマートフォン１００及びプロジェクタ２００の構成は第１実施形態、及び、第２実施形態と同様であるため説明を省略する。ここでは、第２実施形態と相違する点を中心に説明する。
スマートフォン１００の処理は、図６Ａに示す第２実施形態の処理と同様であるため、説明を省略する。
【００５３】
図８を参照して、プロジェクタ２００の処理を説明する。図８は、プロジェクタ２００の処理のフローチャートである。
ステップＳ８０１からＳ８０４の処理は、図６ＢのステップＳ６５１からＳ６５４の処理と同様であるため説明を省略する。なお、ステップＳ８０２の表示画像受信処理は、図５Ｅの表示画像受信処理と同様の処理である。
ステップ８０５において、ＣＰＵ２０１の制御の下で、画像処理部２１２は、ステップＳ８０４で受信した操作情報に基づいて、ステップＳ８０２で受信した表示画像を加工する。本実施形態では、表示画像に操作画像を重ねる加工を行う代わりに、操作情報に基づいて、表示画像を尾引きさせる加工を行って加工画像を生成する。尾引きさせる加工によって、表示画像に影がつけられる。
【００５４】
ユーザの操作が表示画像をスクロールさせるものであるとき、画像処理部２１２は、ユーザの操作前の表示画像をスクロールの方向とは反対方向に尾引きさせる加工を行って加工画像を生成する。尾引きの長さはスクロールの量を表す。スクロールの量が多い程、尾引きの長さが長くなるように加工画像が生成される。
ここで、図７を参照して、ユーザの操作が表示画像をスクロールさせるものであるときの加工画像の例について説明する。図７は、ユーザが表示画像をスクロールさせる操作を行っている途中の状態を示す図である。
図７のスマートフォン１００は、図３（ｃ）のスマートフォン１００と同じ状態であり、ユーザが表示画像を左にスクロールさせる操作を行っている途中の状態である。
このとき、プロジェクタ２００は、加工画像７０１をスクリーン等に投影して表示する。加工画像７０１は、ユーザの操作前の表示画像である図３（ｂ）の領域画像３０１を、表示画像をスクロールの方向である左とは反対方向に尾引きさせる加工が行われている。尾引きの長さは、スクロールの量を表す。
なお、ユーザの操作が終了すると、本実施形態の画像表示システム１は、図３（ｄ）と同様の状態になる。
【００５５】
ユーザの操作が表示画像をズームさせるものであるとき、画像処理部２１２は、ズームを表すようにユーザの操作前の表示画像を尾引きさせる加工を行って加工画像を生成する。
ユーザの操作が縮小のズームであるとき、画像処理部２１２は、表示画像におけるズームの中心点から外側に向かう方向の尾引きがされるようにユーザの操作前の表示画像を加工して、加工画像を生成する。ユーザの操作が拡大のズームであるとき、画像処理部２１２は、表示画像におけるズームの中心点に向かう方向の尾引きがされるようにユーザの操作前の表示画像を加工して、加工画像を生成する。
ユーザの操作が表示画像の拡大又は縮小のズームであるとき、尾引きの長さはズームの倍率に基づいて決定される。ズームの倍率が大きい程、尾引きの長さが長くなるように加工画像が生成される。
ステップＳ８０６からＳ８０８の処理は、図６ＢのステップＳ６５７からＳ６５９の処理と同様であり、スクロールの量やズームの倍率に応じて、プロジェクタ２００が尾引きの加工がされた加工画像を表示する時間を制御する。
ステップＳ８０９において、ＣＰＵ２０１の制御の下で、画像処理部２１２は、加工画像から尾引きを削除する。その後、ＣＰＵ２０１は、処理をステップＳ８０２に戻す。なお、ステップＳ８０９において、ＣＰＵ２０１は、投影制御部２０７を制御し、尾引きの加工をする前の表示画像を投影してもよい。また、ＣＰＵ２０１は、ステップＳ８０９の処理を行わずに処理をステップＳ８０２に戻してもよい。この場合でも、次のステップＳ８０２において、プロジェクタ２００は尾引きの加工がされていない表示画像を投影する。
【００５６】
以上説明した通り、スマートフォン１００は、ユーザの操作に基づく操作情報をプロジェクタ２００に送信する。プロジェクタ２００は、スマートフォン１００から受信した操作情報に基づいて、ユーザがスマートフォン１００を操作する前の表示画像に尾引き加工を行って表示する。よって、ユーザがスマートフォンを操作中のとき、スマートフォン１００からは操作情報が送信されるが画像のデータは送信されない。したがって、通信負荷を抑制できる。また、プロジェクタ２００は、ユーザの操作に応じた尾引き加工された画像を表示するため、鑑賞者はユーザの操作を直感的に把握できる。
また、上記実施形態と同様に、スマートフォン１００で行われている操作を、プロジェクタ２００が表示する画像の鑑賞者に知らせることができる。また、スマートフォン１００で行われている操作の詳細を、プロジェクタ２００が表示する画像の鑑賞者に知らせることができる。また、ユーザがスマートフォン１００の操作を終了した後は、プロジェクタ２００が加工画像を表示しないため、鑑賞者は操作の終了を判別でき、違和感なく操作後の表示画像を鑑賞できる。
【００５７】
なお、本実施形態において、ＣＰＵ２０１は、図６ＢのステップＳ６５５の処理を行って操作画像を生成してもよい。このとき、ステップＳ８０５において、ＣＰＵ２０１は、表示画像を尾引きする加工を行うとともに、尾引きした表示画像に操作画像を重ねる加工を行って、加工画像を生成してもよい。
【００５８】
＜その他の実施形態＞
本発明は、上記の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
以上、本発明を実施形態と共に説明したが、上記実施形態は本発明を実施するにあたっての具体化の例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。すなわち、本発明はその技術思想、又はその主要な特徴から逸脱することなく、様々な形で実施することができる。
【符号の説明】
【００５９】
１  画像表示システム、１００  スマートフォン、２００  プロジェクタ
【図１】
2018032153.tif 000003
【図２】
2018032153.tif 000004
【図３】
2018032153.tif 000005
【図４】
2018032153.tif 000006
【図５Ａ】
2018032153.tif 000007
【図５Ｂ】
2018032153.tif 000008
【図５Ｃ】
2018032153.tif 000009
【図５Ｄ】
2018032153.tif 000010
【図５Ｅ】
2018032153.tif 000011
【図５Ｆ】
2018032153.tif 000012
【図６Ａ】
2018032153.tif 000013
【図６Ｂ】
2018032153.tif 000014
【図７】
2018032153.tif 000015
【図８】
2018032153.tif 000016