(57)【要約】【課題】任意に配列された複数の表示端末装置の配列パターンが簡単な操作に応じて認識されるようにして、配列された複数の表示端末装置により形成される画面の有効利用を図る。【解決手段】複数の表示端末装置は、平面方向に配列された状態でユーザ表示部の画面に対して指を順次移動させる操作を行うのに応じて自己の画面に対して行われるスワイプ操作についての操作情報をサーバに送信する。サーバは、これら複数の表示端末装置から受信した操作情報に基づいて、複数の表示端末装置の画面の配列パターンを認識する。そして、配列パターンの認識結果に基づいて、複数の表示端末装置の各々にて表示すべき画像を決定し、決定した画像を複数の表示端末装置の各々に送信する。表示端末装置は、受信した画像を画面に表示させる。【選択図】図２
2013218468.tif 000002
【特許請求の範囲】
【請求項１】
複数の表示端末装置とサーバを備え、
前記表示端末装置は、
前記複数の表示端末装置を平面方向に配列させた状態でユーザが前記複数の表示端末装置の表示部の画面に対して操作体を順次移動させる画面間移動操作を行うのに応じて自表示端末装置の画面に対して行われる自画面内移動操作を検出する操作検出部と、
検出された自画面内移動操作の内容を示す操作情報を生成し、生成した前記操作情報を前記サーバに送信する情報送信部とを備え、
前記サーバは、
前記複数の表示端末装置から受信した前記操作情報に基づいて、前記複数の表示端末装置の画面の配列パターンを認識する配列パターン認識部を備える、
ことを特徴とする情報処理システム。
【請求項２】
前記情報送信部は、
前記自画面内移動操作の内容として、少なくとも、前記自画面内移動操作が開始された操作開始位置と操作開始時間と、前記自画面内移動操作が終了された操作終了位置と操作終了時間とを含む前記操作情報を生成し、
前記配列パターン認識部は、
前記操作情報に含まれる前記操作開始位置と操作開始時間と、前記操作終了位置と前記操作終了時間とに基づいて前記複数の表示端末装置の画面の配列パターンを認識する、
ことを特徴とする請求項１に記載の情報処理システム。
【請求項３】
前記表示端末装置は、
他の表示端末装置と同期した時間を計測する時間計測部をさらに備え、
前記情報送信部は、
前記操作検出部により検出された自画面内移動操作が開始されたときに計測されていた前記時間を前記操作開始時間とし、前記操作検出部により検出された自画面内移動操作が終了したときに計測されていた前記時間を前記操作終了時間とする、
ことを特徴とする請求項２に記載の情報処理システム。
【請求項４】
前記サーバは、
前記時間計測部が前記時間を計測するのに基準とする時間である基準時間を前記複数の表示端末装置に送信する同期制御部をさらに備え、
前記時間計測部は、
前記サーバから受信した前記基準時間を利用して前記時間の計測を開始する、
ことを特徴とする請求項３に記載の情報処理システム。
【請求項５】
前記サーバは、
認識された前記配列パターンに基づいて、前記複数の表示端末装置の画面から成る拡張画面に表示させる表示対象画像において前記画面の各々に表示させる部分画像領域と、前記部分画像領域ごとの回転角度を決定する端末別画像決定部と、
前記表示対象画像を元に生成した前記部分画像領域に対応する部分画像の各々を前記回転角度により回転させた端末別画像を生成し、生成した前記端末別画像を前記複数の表示端末装置のそれぞれに送信する端末別画像送信部とをさらに備え、
前記表示端末装置は、
前記操作情報の送信に応答して前記サーバから送信された端末別画像を受信し、受信した端末別画像が前記画面に表示されるように前記表示部を制御する表示制御部をさらに備える、
ことを特徴とする請求項１から４のいずれか一項に記載の情報処理システム。
【請求項６】
自己を含む複数の表示端末装置を平面方向に配列させた状態でユーザが前記複数の表示端末装置の表示部の画面に対して操作体を順次移動させる画面間移動操作を行うのに応じて自表示端末装置の画面に対して行われる自画面内移動操作を検出する操作検出部と、
検出された自画面内移動操作の内容を示す操作情報を生成し、当該操作情報に基づいて前記複数の表示端末装置の画面の配列パターンを認識するサーバに前記操作情報を送信する情報送信部と、
を備えることを特徴とする表示端末装置。
【請求項７】
平面方向に配列された複数の表示端末装置の表示部の画面に対してユーザが操作体を順次移動させる画面間移動操作を行うのに応じて、前記複数の表示端末装置の各々が送信した自己の画面に対して行われる自画面内移動操作の内容を示す操作情報を受信し、受信したこれらの前記操作情報に基づいて、前記複数の表示端末装置の画面の配列パターンを認識する配列パターン認識部を備える、
ことを特徴とするサーバ。
【請求項８】
複数の表示端末装置とサーバを備える情報処理システムにおける情報処理方法であって、
前記表示端末装置は、
前記複数の表示端末装置を平面方向に配列させた状態でユーザが前記複数の表示端末装置の表示部の画面に対して操作体を順次移動させる画面間移動操作を行うのに応じて自表示端末装置の画面に対して行われる自画面内移動操作を検出する操作検出ステップと、
検出された自画面内移動操作の内容を示す操作情報を生成し、生成した前記操作情報を前記サーバに送信する情報送信ステップとを備え、
前記サーバは、
前記複数の表示端末装置から受信した前記操作情報に基づいて、前記複数の表示端末装置の画面の配列パターンを認識する配列パターン認識ステップを備える、
ことを特徴とする情報処理方法。
【請求項９】
自己を含む複数の表示端末装置を平面方向に配列させた状態でユーザが前記複数の表示端末装置の表示部の画面に対して操作体を順次移動させる画面間移動操作を行うのに応じて自表示端末装置の画面に対して行われる自画面内移動操作を検出する操作検出ステップと、
検出された自画面内移動操作の内容を示す操作情報を生成し、当該操作情報に基づいて前記複数の表示端末装置の画面の配列パターンを認識するサーバに前記操作情報を送信する情報送信ステップと、
を備えることを特徴とする情報処理方法。
【請求項１０】
平面方向に配列された複数の表示端末装置の表示部の画面に対してユーザが操作体を順次移動させる画面間移動操作を行うのに応じて、前記複数の表示端末装置の各々が送信した自己の画面に対して行われる自画面内移動操作の内容を示す操作情報を受信し、受信したこれらの前記操作情報に基づいて、前記複数の表示端末装置の画面の配列パターンを認識する配列パターン認識ステップを備える、
ことを特徴とする情報処理方法。
【請求項１１】
コンピュータに、
自己を含む複数の表示端末装置を平面方向に配列させた状態でユーザが前記複数の表示端末装置の表示部の画面に対して操作体を順次移動させる画面間移動操作を行うのに応じて自表示端末装置の画面に対して行われる自画面内移動操作を検出する操作検出ステップ、
検出された自画面内移動操作の内容を示す操作情報を生成し、当該操作情報に基づいて前記複数の表示端末装置の画面の配列パターンを認識するサーバに前記操作情報を送信する情報送信ステップ、
を実行させるためのプログラム。
【請求項１２】
コンピュータに、
平面方向に配列された複数の表示端末装置の表示部の画面に対してユーザが操作体を順次移動させる画面間移動操作を行うのに応じて、前記複数の表示端末装置の各々が送信した自己の画面に対して行われる自画面内移動操作の内容を示す操作情報を受信し、受信したこれらの前記操作情報に基づいて、前記複数の表示端末装置の画面の配列パターンを認識する配列パターン認識ステップ、
を実行させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、情報処理システム、表示端末装置、サーバ、情報処理方法およびプログラムに関する。
【背景技術】
【０００２】
複数の表示装置を平面方向に配列することでこれら複数の表示装置の画面から成る１つの画面を形成し、この形成された画面全体に画像を表示させるということが行われている。一例として、小型の画面を備える電子機器に外部表示装置を装着することにより、電子機器の画面と外部表示装置の画面とを並べて配置して１つの画面を構成し、このように構成された１つの画面に対して画像を表示するという電子機器システムが知られている（例えば、特許文献１参照）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００４−４５９１３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかし、特許文献１の電子機器システムでは電子機器に外部表示装置を物理的に結合することになるので、複数の表示装置をユーザが自由に配置して構成した１つの画面に画像を表示させるということはできない。
例えば、複数のスマートフォンを配列して構成した１つの画面に画像を表示させるというアプリケーションも知られている。このアプリケーションであれば、スマートフォンの配置は任意である。しかし、ユーザは、配置した位置に合わせて１画面上に表示させるべき画像領域をスマートフォンごとに設定する操作を行う必要があり、非常に煩わしい。また、各スマートフォンに表示させるべき画像領域をユーザが操作により設定するために、例えばゲームや教材などには向かず応用範囲が狭い。
【０００５】
本発明は、このような事情に鑑みてなされたもので、任意に配列された複数の表示端末装置の配列パターンが簡単な操作に応じて認識されるようにして、配列された複数の表示端末装置により形成される画面の有効利用を図ることを目的とする。
【課題を解決するための手段】
【０００６】
上述した課題を解決するために、本発明の一態様としての情報処理システムは、複数の表示端末装置とサーバを備え、前記表示端末装置は、前記複数の表示端末装置を平面方向に配列させた状態でユーザが前記複数の表示端末装置の表示部の画面に対して操作体を順次移動させる画面間移動操作を行うのに応じて自表示端末装置の画面に対して行われる自画面内移動操作を検出する操作検出部と、検出された自画面内移動操作の内容を示す操作情報を生成し、生成した前記操作情報を前記サーバに送信する情報送信部とを備え、前記サーバは、前記複数の表示端末装置から受信した前記操作情報に基づいて、前記複数の表示端末装置の画面の配列パターンを認識する配列パターン認識部を備える。
【０００７】
また、本発明の一態様としての表示端末装置は、自己を含む複数の表示端末装置を平面方向に配列させた状態でユーザが前記複数の表示端末装置の表示部の画面に対して操作体を順次移動させる画面間移動操作を行うのに応じて自表示端末装置の画面に対して行われる自画面内移動操作を検出する操作検出部と、  検出された自画面内移動操作の内容を示す操作情報を生成し、当該操作情報に基づいて前記複数の表示端末装置の画面の配列パターンを認識するサーバに前記操作情報を送信する情報送信部とを備える。
【０００８】
また、本発明の一態様としてのサーバは、平面方向に配列された複数の表示端末装置の表示部の画面に対してユーザが操作体を順次移動させる画面間移動操作を行うのに応じて、前記複数の表示端末装置の各々が送信した自己の画面に対して行われる自画面内移動操作の内容を示す操作情報を受信し、受信したこれらの前記操作情報に基づいて、前記複数の表示端末装置の画面の配列パターンを認識する配列パターン認識部を備える。
【０００９】
また、本発明の一態様としての情報処理方法は、複数の表示端末装置とサーバを備える情報処理システムにおける情報処理方法であって、前記表示端末装置は、前記複数の表示端末装置を平面方向に配列させた状態でユーザが前記複数の表示端末装置の表示部の画面に対して操作体を順次移動させる画面間移動操作を行うのに応じて自表示端末装置の画面に対して行われる自画面内移動操作を検出する操作検出ステップと、検出された自画面内移動操作の内容を示す操作情報を生成し、生成した前記操作情報を前記サーバに送信する情報送信ステップとを備え、前記サーバは、前記複数の表示端末装置から受信した前記操作情報に基づいて、前記複数の表示端末装置の画面の配列パターンを認識する配列パターン認識ステップを備える。
【００１０】
また、本発明の一態様としての情報処理方法は、自己を含む複数の表示端末装置を平面方向に配列させた状態でユーザが前記複数の表示端末装置の表示部の画面に対して操作体を順次移動させる画面間移動操作を行うのに応じて自表示端末装置の画面に対して行われる自画面内移動操作を検出する操作検出ステップと、検出された自画面内移動操作の内容を示す操作情報を生成し、当該操作情報に基づいて前記複数の表示端末装置の画面の配列パターンを認識するサーバに前記操作情報を送信する情報送信ステップとを備える。
【００１１】
また、本発明の一態様としての情報処理方法は、平面方向に配列された複数の表示端末装置の表示部の画面に対してユーザが操作体を順次移動させる画面間移動操作を行うのに応じて、前記複数の表示端末装置の各々が送信した自己の画面に対して行われる自画面内移動操作の内容を示す操作情報を受信し、受信したこれらの前記操作情報に基づいて、前記複数の表示端末装置の画面の配列パターンを認識する配列パターン認識ステップを備える。
【００１２】
また、本発明の一態様としてのプログラムは、コンピュータに、自己を含む複数の表示端末装置を平面方向に配列させた状態でユーザが前記複数の表示端末装置の表示部の画面に対して操作体を順次移動させる画面間移動操作を行うのに応じて自表示端末装置の画面に対して行われる自画面内移動操作を検出する操作検出ステップ、検出された自画面内移動操作の内容を示す操作情報を生成し、当該操作情報に基づいて前記複数の表示端末装置の画面の配列パターンを認識するサーバに前記操作情報を送信する情報送信ステップを実行させるためのものである。
【００１３】
また、本発明の一態様としてのプログラムは、コンピュータに、平面方向に配列された複数の表示端末装置の表示部の画面に対してユーザが操作体を順次移動させる画面間移動操作を行うのに応じて、前記複数の表示端末装置の各々が送信した自己の画面に対して行われる自画面内移動操作の内容を示す操作情報を受信し、受信したこれらの前記操作情報に基づいて、前記複数の表示端末装置の画面の配列パターンを認識する配列パターン認識ステップを実行させるためのものである。
【発明の効果】
【００１４】
本発明によれば、任意に配列された複数の表示端末装置の配列パターンを簡単な操作に応じて認識することができ、配列された複数の表示端末装置により形成される画面の有効利用が図られるという効果が得られる。
【図面の簡単な説明】
【００１５】
【図１】本発明の実施形態における画像表示システムの構成例を示す図である。
【図２】本実施形態における表示端末装置とサーバの構成例を示す図である。
【図３】本実施形態の拡張表示モードにおける表示端末装置の配列パターン例と、画面間スワイプ操作例を示す図である。
【図４】配列パターン認識部が記憶する端末情報の内容例を示す図である。
【図５】配列パターン認識部が記憶する操作情報の内容例を示す図である。
【図６】端末別画像決定部による部分画像領域とその回転角度の決定手法を説明するための図である。
【図７】端末別画像送信部による部分画像の生成例を示す図である。
【図８】端末別画像送信部による端末別画像の生成例を示す図である。
【図９】配列された表示端末装置により形成される拡張画面における表示対象画像の表示態様例を示す図である。
【図１０】拡張表示モードに対応して表示端末装置とサーバが実行する処理手順例を示す図である。
【図１１】本実施形態における拡張表示モードの第１の応用例についての概要を示す図である。
【図１２】第１の応用例に対応して表示端末装置とサーバが実行する処理手順例を示す図である。
【図１３】本実施形態における拡張表示モードの第２の応用例についての概要を示す図である。
【図１４】本実施形態において認識可能な配列パターンの例を示す図である。
【発明を実施するための形態】
【００１６】
［画像表示システムの構成］
図１は、本発明の実施形態における画像表示システム（情報処理システム）の構成例を示している。
この図に示す画像表示システムは、例えば４つの表示端末装置１００−１、１００−２、１００−３、１００−４とサーバ２００とを備える。表示端末装置１００−１〜１００−４とサーバ２００はネットワーク３００を経由して通信可能に接続されている。
【００１７】
なお、以降において、表示端末装置１００−１〜１００−４について特に区別しない場合には、表示端末装置１００と記載する。また、画面１１１−１〜１１１−４について特に区別しない場合には、画面１１１と記載する。
また、この図では４つの表示端末装置１００が示されているが、これはあくまでも一例であり、複数であれば、その数について特に限定はない。
【００１８】
表示端末装置１００は、例えばその前面部において画面１１１を備え、この画面１１１に画像が表示される。また、この画面１１１にはタッチパネルが備えられており、画面１１１に対して例えば指などの操作体を触れさせることにより各種の操作が行えるようになっている。
なお、タッチパネルに対する操作を行うための操作体は、指のほかに、例えばスタイラスペンなどであってもよい。
また、表示端末装置１００が具現化される装置の具体例としては、例えばスマートフォンといわれる情報処理機能を備えた携帯電話や、タブレット端末といわれるタッチパネル付きの表示部を備えた情報処理装置などとなる。
【００１９】
本実施形態の画像表示システムにおいて、表示端末装置１００−１〜１００−４は、画面１１１−１〜１１１−４が前面に向いた状態で平面方向において任意の位置関係により配列される。これにより、表示端末装置１００−１〜１００−４の画面１１１−１〜１１１−４により１つの画面（拡張画面）が形成される。ユーザは、このように形成された拡張画面における画面１１１に対して指を触れながら順次移動させていくようにスワイプ操作（画面間スワイプ（移動）操作）を行う。表示端末装置１００−１〜１００−４は、それぞれ、画面間スワイプ操作に伴って自己の画面１１１−１〜１１１−４に行われたスワイプ操作（自画面内スワイプ（移動）操作）の内容を示す操作情報をサーバ２００に送信する。
【００２０】
サーバ２００は、受信した操作情報に基づいて、表示端末装置１００−１〜１００−４の配列パターンを認識する。つまり、サーバ２００は、表示端末装置１００−１〜１００−４が画像の表示方向に対応して互いにどのような位置関係により配列されているのかを認識する。
また、サーバ２００は、表示端末装置１００−１〜１００−４の配列パターンについての認識結果に基づき、拡張画面に表示させるべき表示対象画像において表示端末装置１００−１〜１００−４の各々によりどの画像領域部分を表示すべきかについて決定する。さらに、表示端末装置１００−１〜１００−４の配列方向に応じて画像領域部分の回転角度を決定する。そして、サーバ２００は、これらの決定結果に基づいて、表示端末装置１００−１〜１００−４ごとに表示させるべき画像である端末別画像を表示対象画像から生成し、生成した端末別画像を、表示端末装置１００−１〜１００−４の各々に送信する。
【００２１】
表示端末装置１００−１〜１００−４は、それぞれ、受信した端末別画像を画面１１１−１〜１１１−４に表示する。これにより、画面１１１−１〜１１１−４により形成される拡張画面により例えば１つの画像が拡大して表示される。
【００２２】
［表示端末装置とサーバの構成］
図２は、表示端末装置１００とサーバ２００の構成例を示している。なお、この図において、表示端末装置１００とサーバ２００の間におけるネットワーク３００の図示は省略している。
【００２３】
まず、表示端末装置１００から説明する。表示端末装置１００は、表示部１１０、タッチパネル１２０、情報送信部１３０、時間計測部１４０、表示制御部１５０、通信部１６０及び記憶部１７０を備える。
【００２４】
表示部１１０は、表示制御部１５０の制御にしたがって画像を表示する。表示端末装置１００の前面に備えられる画面１１１は、この表示部１１０における画面の部分である。なお、表示部１１０には、例えば液晶ディスプレイデバイスなどが採用される。
【００２５】
タッチパネル（操作検出部）１２０は、表示部１１０の画面１１１上に配置される操作入力デバイスであり、指（操作体）が接触した位置を検出する。このようにタッチパネル１２０が表示部１１０と組み合わされることで、ユーザは、画面１１１に表示される画像に対する操作を行うことが可能になる。
そして、タッチパネル１２０は、表示端末装置１００に拡張表示モードが設定された場合に、ユーザが画面間スワイプ操作を行うのに応じて画面１１１に対して行われる自画面内スワイプ操作を検出する。
拡張表示モードとは、図１にて説明したように、表示端末装置１００の画面１１１が拡大画面の一部として機能させる際に設定されるモードであり、例えばユーザが表示端末装置１００−１〜１００−４に対してモード設定のための操作を行うのに応じて設定される。
【００２６】
情報送信部１３０は、タッチパネル１２０により検出された自画面内スワイプ操作の内容を示す操作情報を生成し、サーバ２００に送信する。また、拡張表示モードが設定されるのに応じて端末情報１８０を送信する。端末情報１８０は、記憶部１７０に記憶されており、表示端末装置１００についての所定の情報を含む。
なお、情報送信部１３０は、操作情報または端末情報を送信するにあたり、操作情報を通信部１６０に受け渡して送信を指示する。この指示に応じて、通信部１６０は、受け渡された操作情報をネットワーク３００経由でサーバ２００に送信する。
【００２７】
時間計測部１４０は時間を計測する。なお、時間計測部１４０に時間を計測させるために、サーバ２００は、各表示端末装置１００−１〜１００−４に対して基準時間を送信する。基準時間は、時間計測部１４０が時間を計測するのにあたり基準とする時間であり、サーバ２００において計測されている時間である。表示端末装置１００−１〜１００−４の各時間計測部１４０は、基準時間を受信したタイミングで時間計測を開始する。これにより、表示端末装置１００−１〜１００−４の各時間計測部１４０が計測する時間が同期（一致）する。
【００２８】
表示制御部１５０は、表示部１１０にて画像が表示されるように制御する。また、表示制御部１５０は、拡張表示モードが設定されているときには、操作情報の送信に応答してサーバ２００から送信された端末別画像を受信し、受信した端末別画像が画面１１１に表示されるように表示部１１０を制御する。
【００２９】
通信部１６０は、ネットワーク３００経由でサーバ２００と通信を行う。
記憶部１７０は、各種の情報を記憶する部位であり、記憶する情報の１つとして端末情報１８０が示されている。
【００３０】
次に、サーバ２００の構成について説明する。
サーバ２００は、配列パターン認識部２１０、同期制御部２２０、端末別画像決定部２３０、端末別画像送信部２４０、記憶部２５０および通信部２６０を備える。
【００３１】
表示端末装置１００−１〜１００−４から送信された操作情報は、通信部２６０にて受信される。配列パターン認識部２１０は、このように複数の表示端末装置１００から受信した操作情報に基づいて、これら複数の表示端末装置１００の画面１１１の配列パターンを認識する。
【００３２】
同期制御部２２０は、基準時間を複数の表示端末装置１００に送信する。同期制御部２２０は、基準時間を計測（計時）している。そして、後述するように表示端末装置１００から端末情報が受信されるのに応答して、端末情報の送信元の表示端末装置１００に対して、そのときに計測していた基準時間を送信する。
【００３３】
端末別画像決定部２３０は、認識された複数の表示端末装置１００の画面１１１の配列パターンに基づいて、拡張画面に表示させる表示対象画像において画面１１１の各々に表示させる部分画像領域と、これらの部分画像領域ごとの回転角度を決定する。
【００３４】
端末別画像送信部２４０は、表示対象画像を元に生成した部分画像領域に対応する部分画像の各々を前記回転角度により回転させた端末別画像を生成し、生成した端末別画像を前記複数の表示端末装置のそれぞれに送信する。
【００３５】
記憶部２５０は、表示対象画像として利用される画像データを記憶する。この画像データは、例えばサーバ２００を運営する者が予め用意して記憶させたものであってもよいし、例えばネットワーク３００経由で表示端末装置１００や他の端末装置からアップロードされたものであってもよい。
通信部２６０は、ネットワーク３００経由で表示端末装置１００の各々と通信を行う。
【００３６】
［拡張表示モード］
続いて、本実施形態の拡張表示モードにおける表示端末装置１００のユーザの操作例と、表示端末装置１００とサーバ２００の動作例について説明する。
図３は、拡張表示モードによる画像表示のためにユーザが表示端末装置１００−１〜１００−４を配列させた態様の一例を示している。この場合には、表示端末装置１００−１〜１００−４をそれぞれ横向きとしている。そのうえで、左上に表示端末装置１００−２を配置し、その右横に表示端末装置１００−４を配置している。また、表示端末装置１００−２の真下に表示端末装置１００−３を配置し、さらに表示端末装置１００−４の真下で、かつ、表示端末装置１００−３の右横となる位置に表示端末装置１００−１を配置している。
つまり、この場合には、それぞれ横方向とされた表示端末装置１００−１〜１００−４が２×２の状態で配列される。そして、これらの位置関係としては、表示端末装置１００−２が左上、表示端末装置１００−４が右上、表示端末装置１００−３が左下、表示端末装置１００−１が右下となる。
【００３７】
また、ここでの表示端末装置１００−１〜１００−４の画面１１１−１〜１１１−４の画素数は、それぞれ、４８０×８００である。
そして、左上に配置される表示端末装置１００−２の画素座標ｐｓは、左上頂点の原点座標ｐｓ（０，０）に対して、右上頂点がｐｓ（０，８００）、左下頂点がｐｓ（４８０，０）、右下頂点がｐｓ（４８０，８００）となっている。つまり、この表示端末装置１００−２は、横向き状態の画面１１１−２における左上頂点が原点座標ｐｓ（０，０）であり、原点座標ｐｓ（０，０）から下向きの方向がｘ方向であり、右向きの方向がｙ方向である。この点については、左下に配置される表示端末装置１００−３も同様である。
【００３８】
また、右上に配置される表示端末装置１００−４と、右下に配置される表示端末装置１００−１の画素座標ｐｓは、それぞれ、右下頂点が原点座標ｐｓ（０，０）であり、左上頂点がｐｓ（４８０，８００）、右上頂点がｐｓ（４８０，０）、左下頂点がｐｓ（０，８００）である。
【００３９】
つまり、図３では、表示端末装置１００−１〜１００−４は、いずれも同じ横向きではあるが、表示端末装置１００−２および１００−３と、表示端末装置１００−４および１００−１とで、その上下方向が反対となるように配置された状態が示されている。
これは、本実施形態において、ユーザが複数の表示端末装置１００を配列させるにあたり、画面１１１の上下について揃える必要が無いことを意味している。つまり、ユーザは、画面１１１の上下について特に意識せずに複数の表示端末装置１００を配列させていくことができる。
【００４０】
ユーザは、図３のように配列させた表示端末装置１００−１〜１００−４のそれぞれに対して所定の操作を行うことで拡張表示モードを設定する。なお、拡張表示モードの設定は、例えばタッチパネル１２０に対する所定操作によって簡単に行える。
このように拡張表示モードが設定されるのに応じて、表示端末装置１００−１〜１００−４の情報送信部１３０は、記憶部１７０から端末情報１８０を読み出し、通信部１６０からサーバ２００に送信する。これにより、サーバ２００の通信部２６０は、表示端末装置１００−１〜１００−４の各々から送信された端末情報１８０を受信する。配列パターン認識部２１０は、受信された表示端末装置１００−１〜１００−４の端末情報を記憶する。
【００４１】
図４は、配列パターン認識部２１０が記憶する端末情報の内容例を示している。
この図に示すように、配列パターン認識部２１０が記憶する端末情報は、端末識別子ごとに画面サイズと対応画像フォーマットを対応付けた構造を有する。例えば、この図において破線により括って示す１行の内容は、表示端末装置１００−１が送信した端末情報１８０に相当する。
端末識別子は、端末情報１８０の送信元である表示端末装置１００を一意に識別する識別子である。この図において、端末識別子「０ｘ０１」は、表示端末装置１００−１を示す。端末識別子「０ｘ０２」は、表示端末装置１００−２を示す。端末識別子「０ｘ０３」は、表示端末装置１００−３を示す。端末識別子「０ｘ０４」は、表示端末装置１００−４を示す。
なお、端末識別子は、例えば、表示端末装置１００が送信する端末情報１８０に含まれている。または、端末識別子は、端末情報１８０の受信に応じて配列パターン認識部２１０が生成して付与してもよい。
画面サイズは、表示端末装置１００の画面１１１のサイズ（解像度）を示す。図４においては、表示端末装置１００−１〜１００−４のいずれもが、４８０×８００の画面サイズである例が示されている。
対応画像フォーマットは、表示端末装置１００が対応して表示可能な画像フォーマットを示す。
【００４２】
上記のように表示端末装置１００から端末情報１８０が送信されるのに応じて、同期制御部２２０は、そのときに計時している基準時間を、端末情報１８０の送信元の表示端末装置１００に対して通信部２６０から送信させる。
この基準時間は、表示端末装置１００の通信部１６０にて受信される。表示端末装置１００において時間計測部１４０は、受信された基準時間を利用して時間を計測する。つまり、基準時間が受信されたタイミングで、自己が計測する時間の値を基準時間にリセットし、以後、一定時間ごとにその値をインクリメントするように計測を行う。このような計測を表示端末装置１００−１〜１００−４の各時間計測部１４０が実行することで、表示端末装置１００−１〜１００−４の各々で計測される時間が同期する。
【００４３】
ユーザは、拡張表示モードの設定に応じて上記のように表示端末装置１００−１〜１００−４とサーバ２００との間での端末情報１８０と基準時間の送受信が行われた後において、画面間スワイプ操作を行う。
【００４４】
画面間スワイプ操作とは、予め定められた操作開始の配列位置に配置されている表示端末装置１００の画面１１１を指でタッチし、この後、配列された残るすべての表示端末装置１００の画面１１１を順次通過させていくように指を移動させていく操作である。
本実施形態において、操作開始の配列位置は、配列された表示端末装置１００のうち、最も左上であると定められている。そこで、ユーザは、例えば図３において破線による操作軌跡として示すように、画面間スワイプ操作を行う。
つまり、まず、ユーザは、左上の表示端末装置１００−２の画面１１１−２の上に指をタッチさせ、次にこのタッチさせた指を右方向に移動させて表示端末装置１００−４の画面１１１−４の上にまで到達させる。また、画面１１１−４の上にまで指が到達すると、ユーザは、指を下方向に移動させて表示端末装置１００−１の画面１１１−１の上にまで到達させる。さらに、この状態から、ユーザは、指を左方向に移動させて表示端末装置１００−３の画面１１１−３の上にまで到達させる。
ここまでの指の移動により、配列されたすべての表示端末装置１００の画面１１１に対するスワイプ操作が行われたことになる。そこで、ユーザは、表示端末装置１００−３の画面１１１−３上で指の移動を停止させ、さらに画面１１１−３から指を離して画面間スワイプ操作を終了させる。
【００４５】
画面間スワイプ操作に応じて、表示端末装置１００−１〜１００−４の各画面１１１−１〜１１１−４においては、図３に示すように、或る操作開始位置座標ｐｓ＿ｓｔから或る軌跡を辿って操作終了位置座標ｐｓ＿ｅｄにて終了するという自画面内スワイプ操作が行われる。
表示端末装置１００−１〜１００−４のタッチパネル１２０は、それぞれ、この自画面内スワイプ操作の軌跡に対応する座標を検出している。
【００４６】
そこで、表示端末装置１００−１〜１００−４の情報送信部１３０の各々は、タッチパネル１２０の検出出力から自画面内スワイプ操作の操作開始位置座標ｐｓ＿ｓｔと操作終了位置座標ｐｓ＿ｅｄの各値を入力する。
また、情報送信部１３０の各々は、操作開始位置座標ｐｓ＿ｓｔが検出されたとき、つまり、自画面内スワイプ操作が開始されたときの時間（操作開始時間）を時間計測部１４０から入力する。
また、情報送信部１３０の各々は、操作終了位置座標ｐｓ＿ｅｄが検出されたとき、つまり、自画面内スワイプ操作が終了したときの時間（操作終了時間）を時間計測部１４０から入力する。
そして、情報送信部１３０の各々は、上記のように入力した操作開始位置座標ｐｓ＿ｓｔと、操作開始時間と、操作終了位置座標ｐｓ＿ｅｄと、操作終了時間とを含む操作情報を生成し、この操作情報を通信部１６０からサーバ２００に送信する。
【００４７】
これにより、サーバ２００における通信部２６０は、表示端末装置１００−１〜１００−４のそれぞれから送信された操作情報を受信する。配列パターン認識部２１０は、受信された操作情報を記憶する。
【００４８】
図５は、配列パターン認識部２１０が記憶する操作情報の内容の具体例を示している。操作情報は、端末識別子ごとに操作開始情報と操作終了情報を対応付けた構造を有する。また、操作開始情報は、操作開始位置と操作開始時間を含む。操作終了情報は、操作終了位置と操作終了時間を含む。
この図において端末識別子「０ｘ０１」に対応付けられた１行は、表示端末装置１００−１が送信した操作情報に相当する。同様に、端末識別子「０ｘ０２」〜「０ｘ０４」に対応付けられた各行は、表示端末装置１００−２〜４がそれぞれ送信した操作情報に相当する。
【００４９】
上記図５の操作情報の内容は、以下のように画面間スワイプ操作が行われたことを示す。
つまり、図５の操作情報において、最も早い操作開始時間に対応する端末識別子は０ｘ０２である。
つまり、画面間スワイプ操作を開始するために、図３に示したように、表示端末装置１００−２の画面１１１−２における操作開始位置座標ｐｓ＿ｓｔ（２５０，２００）に指がタッチされた。このときの時間は、図５において端末識別子「０ｘ０２」に対応付けられた操作開始時間「１５８」である。
【００５０】
この後、画面１１１−２にタッチされた指が右に移動されたことで、画面１１１−２の操作終了位置座標ｐｓ＿ｅｄ（２７０，８００）において自画面内スワイプ操作が終了された。このときの時間は、図５において端末識別子「０ｘ０２」に対応付けられた操作終了時間「１６１」である。
【００５１】
次に、指がそのままさらに右に移動されたことで、表示端末装置１００−４の画面１１１−４において操作開始位置座標ｐｓ＿ｓｔ（２６０，８００）から自画面内スワイプ操作が開始された。このときの時間は、図５において端末識別子「０ｘ０４」に対応付けられた操作開始時間「１６３」である。
【００５２】
そして、この後、画面１１１−４にタッチされた指が図３に示す軌跡にしたがって左方向から下方向に変化するように移動されたことで、画面１１１−４の操作終了位置座標ｐｓ＿ｅｄ（０，４００）において自画面内スワイプ操作が終了された。このときの時間は、図５において端末識別子「０ｘ０４」に対応付けられた操作終了時間「１６５」である。
【００５３】
次に、指がさらに下側に移動されたことで、指は表示端末装置１００−１の画面１１１−１に移り、操作開始位置座標ｐｓ＿ｓｔ（４８０，４００）から自画面内スワイプ操作が開始された。このときの時間は、図５において端末識別子「０ｘ０１」に対応付けられた操作開始時間「１６８」である。
【００５４】
この後、画面１１１−１にタッチされている指が図３に示す軌跡にしたがって下方向から左方向へと変化しながら移動されたことで、画面１１１−１の操作終了位置座標ｐｓ＿ｅｄ（２４０，８００）において自画面内スワイプ操作が終了された。このときの時間は、図５において端末識別子「０ｘ０１」に対応付けられた操作終了時間「１７２」である。
【００５５】
次に、指がさらに左方向に移動されたことで、指は表示端末装置１００−３の画面１１１−３に移り、操作開始位置座標ｐｓ＿ｓｔ（２５０，８００）から自画面内スワイプ操作が開始された。このときの時間は、図５において端末識別子「０ｘ０３」に対応付けられた操作開始時間「１７３」である。
【００５６】
この後、画面１１１−３にタッチされている指が図３に示す軌跡にしたがってさらに左に移動され、同じ画面１１１−３における操作終了位置座標ｐｓ＿ｅｄ（２４０，２００）にて操作終了時間「１７５」のタイミングで指が離され、画面１１１−３に対する自画面内スワイプ操作が終了された。また、この後における残りの表示端末装置１００の操作情報は無いことで、画面間スワイプ操作も終了されたことが示される。
【００５７】
配列パターン認識部２１０は、まず、図４に示す端末情報の内容から、拡張表示モードのために４つの表示端末装置１００−１〜１００−４が使用されていることを認識する。次に、図５に示す操作情報において操作開始時間と操作終了時間を参照することで、画面間スワイプ操作によりスワイプが行われた表示端末装置１００の順序を認識することができる。そして、この認識した順序にしたがって、１つの操作終了時間に対応する操作終了位置の座標と、この操作終了時間に続く操作開始時間に対応する操作開始位置の座標とを、指の移動に沿った方向において同じ軸線を通過するように仮想的に配置する。この処理を、例えば自画面内スワイプ操作が行われた順にしたがって実行することで、配列パターン認識部２１０は、表示端末装置１００−１〜１００−４が、図３に示す配列パターンにより配列されていることを認識する。
【００５８】
上記の処理によっては、複数の表示端末装置１００の画面１１１の間での相対的な位置関係が認識される。この相対的な位置関係のみによっては、配列された表示端末装置１００の画面１１１により形成される拡張画面についての表示方向は特定されない。
しかし、本実施形態では、前述のように、画面間スワイプ操作は配列された表示端末装置１００において最も左上に配置されているものから開始すべきと定めている。これは、画面間スワイプ操作が開始された表示端末装置１００の画面１１１が、拡大画面を形成する画面１１１において最も左上に配置されたものであることを指定したことに相当する。
このように本実施形態では、画面間スワイプ操作が開始された表示端末装置１００−２の画面１１１−２が基準の位置に配置されているものとして指定されることで、拡張画面における画像の表示方向も特定される。また、このように拡張画面における基準配列位置の画面１１１が指定されるのに伴って、配列パターンにおける各画面１１１が縦向きと横向きのいずれであるのかも認識される。
そして、ユーザは、単に予め定められた配列位置に配置された表示端末装置１００から画面間スワイプ操作を開始させれば、これに伴って表示方向が指定できる。つまり、本実施形態では、表示方向の指定のために、ユーザが手順を踏んだ操作を行う必要がない。
【００５９】
なお、図３に示される破線の矢印とは逆に、表示端末装置１００−２、１００−３、１００−１、１００−４の順序で画面間スワイプ操作を行っても、上記と同様の配列パターンの認識結果が得られる。
また、画面間スワイプ操作を開始する基準の配置配列位置は、最も左上に限定されない。例えば、最も左下、最も右上、最も右下などとしてもよい。
【００６０】
上記のように複数の表示端末装置１００の画面１１１の配列パターンが認識されると、端末別画像決定部２３０は、この配列パターンの認識結果を利用して、以下のように、画面１１１のそれぞれに表示させるべき画像を決定する。なお、この段階において、配列パターン認識部２１０は、図３に示した表示端末装置１００−１〜１００−４の画面１１１−１〜１１１−４の配列パターンであることを認識しているものである。
【００６１】
図６には、拡張画面に表示させるべき表示対象画像４００が示されている。この表示対象画像４００のサイズは、７６８×１０２４である。この場合の表示対象画像４００は、例えばその左上頂点の画素座標がｐｘ（０，０）であり、右上頂点の画素座標がｐｘ（０，１０２４）であり、左下頂点の画素座標がｐｘ（７６８，０）であり、右下頂点の画素座標がｐｘ（７６８，１０２４）である。
【００６２】
端末別画像決定部２３０は、表示対象画像４００に対して、配列パターン認識部２１０の認識結果である図３の画面１１１−１〜１１１−４の配列パターンにより形成される拡張画面をあてはめるように照合する。この照合の結果、端末別画像決定部２３０は、画面１１１−１〜１１１−４ごとに、表示対象画像４００のどの部分画像領域が対応するのかを認識する。
【００６３】
このために、端末別画像決定部２３０は、例えば、拡張画面を形成する画面１１１−１〜１１１−４ごとの４つの頂点の座標と、表示対象画像４００における座標との対応関係を認識する。図６の場合、端末別画像決定部２３０は、以下の認識結果を得る。
【００６４】
まず、拡張画面の左上に配置される画面１１１−２の４つの頂点の座標ｐｓ（０，０）、ｐｓ（０，８００）、ｐｓ（４８０，０）、ｐｓ（４８０，８００）は、それぞれ、表示対象画像４００の画素座標ｐｘ（０，０）、ｐｘ（０，５１２）、ｐｘ（３８４，０）、ｐｘ（３８４，５１２）と対応する。つまり、画面１１１−２は、表示対象画像４００を２行２列で４分割した画像領域部分のうち左上の画像領域部分が対応する。
【００６５】
また、拡張画面の右上に配置される画面１１１−４の４つの頂点の座標ｐｓ（４８０，８００）、ｐｓ（４８０，０）、ｐｓ（０，８００）、ｐｓ（０，０）は、それぞれ、表示対象画像４００の画素座標ｐｘ（０，５１３）、ｐｘ（０，１０２４）、ｐｘ（３８４，５１３）、ｐｘ（３８４，１０２４）と対応する。つまり、画面１１１−４は、表示対象画像４００を２行２列で４分割した画像領域部分のうち右上の画像領域部分が対応する。
【００６６】
また、拡張画面の左下に配置される画面１１１−３の４つの頂点の座標ｐｓ（０，０）、ｐｓ（０，８００）、ｐｓ（４８０，０）、ｐｓ（４８０，８００）は、それぞれ、表示対象画像４００の画素座標ｐｘ（３８５，０）、ｐｘ（３８５，５１２）、ｐｘ（７６８，０）、ｐｘ（７６８，５１２）と対応する。つまり、画面１１１−３は、表示対象画像４００を２行２列で４分割した画像領域部分のうち左下の画像領域部分が対応する。
【００６７】
また、拡張画面の右下に配置される画面１１１−１の４つの頂点の座標ｐｓ（４８０，８００）、ｐｓ（４８０，０）、ｐｓ（０，８００）、ｐｓ（０，０）は、それぞれ、表示対象画像４００の画素座標ｐｘ（３８５，５１３）、ｐｘ（３８５，１０２４）、ｐｘ（７６８，５１３）、ｐｘ（７６８，１０２４）と対応する。つまり、画面１１１−１は、表示対象画像４００を２行２列で４分割した画像領域部分のうち右下の画像領域部分が対応する。
【００６８】
そして、端末別画像決定部２３０は、上記のように画面１１１−１〜１１１−４ごとに認識された座標を頂点とする表示対象画像４００の画像部分を、画面１１１−１〜１１１−４ごとに表示すべき部分画像領域４１０ａ〜４１０ｄであると決定する。
【００６９】
また、端末別画像決定部２３０は、画面１１１に部分画像領域を表示させる際の回転角度も決定する。このためには、端末別画像決定部２３０は、例えば、配置された画面１１１の座標方向を認識し、その座標方向が標準に対してどれだけの回転角度であるのかを認識する。
【００７０】
具体的に、図６の画面１１１−２の場合、左上頂点の座標がｐｓ（０，０）で、左下頂点の座標がｐｓ（４８０，０）であるので、ｘ座標の方向は下向きである。本実施形態において、ｘ座標の方向が下向きの方向は、横向きの状態で画像を表示する際の基準の方向である。
したがって、画面１１１−２に対応する部分画像領域４１０ａは、回転角度を与えることなく画面１１１−２に表示させればよい。つまり、端末別画像決定部２３０は、部分画像領域４１０ａの回転角度は０度であると決定する。
【００７１】
一方、図６の画面１１１−４の場合、左上頂点の座標がｐｓ（４８０，８００）で、左下頂点の座標がｐｓ（０，８００）であるので、ｘ座標の方向は上向きである。本実施形態において、ｘ座標の方向が上向きの方向は、横向きの状態で画像を表示する際の基準に対して１８０度の回転角度が与えられた方向である。
この向きの画面１１１−４に、そのまま部分画像領域４１０ｂを表示させた場合には、拡張画面において、この画面１１１−４において表示される画像部分が１８０度反転してしまう。そこで、端末別画像決定部２３０は、部分画像領域４１０ｂの回転角度は１８０度であると決定する。
同様に、図６の場合の端末別画像決定部２３０は、画面１１１−１に対応する部分画像領域４１０ｃの回転角度は１８０度であると決定し、画面１１１−３に対応する部分画像領域４１０ｄの回転角度は０度であると決定する。
【００７２】
端末別画像送信部２４０は、端末別画像決定部２３０により決定された部分画像領域４１０ａ〜４１０ｄごとに対応する個別の部分画像４１１ａ〜４１１ｄを生成する。このためには、例えば、端末別画像送信部２４０は、表示対象画像４００から部分画像領域４１０ａ〜４１０ｄに対応する領域部分を切り出すようにする。
【００７３】
図７は、端末別画像送信部２４０が生成した部分画像４１１ａ〜４１１ｄを示している。また、同図では、部分画像４１１ａ〜４１１ｄが、表示対象画像４００の１／４の解像度の画像データとして生成された例を示している。つまり、部分画像４１１ａ〜４１１ｄは、それぞれ、各頂点の座標がｐｘ（０，０）、ｐｘ（０，５１２）、ｐｘ（３８４，５１２）、ｐｘ（３８４，０）で同じであり、ｘ方向とｙ方向の各解像度が表示対象画像４００の１／２となっている。
【００７４】
次に、端末別画像送信部２４０は、図７に示したように生成した部分画像４１１ａ〜４１１ｄを、端末別画像決定部２３０により決定された回転角度にしたがって回転させることで、図８の端末別画像４１２ａ〜４１２ｄを生成する。
つまり、図７に示した部分画像４１１ａと４１１ｄについては回転角度が０度であると決定されていることから、これらの画像が、そのまま端末別画像４１２ａ、４１２ｄとなる。
これに対して、部分画像４１１ｂと４１１ｃについては回転角度が１８０度であると決定されていたので、部分画像４１１ｂと４１１ｃをそれぞれ１８０度回転させることで、端末別画像４１２ｂ、４１２ｃが生成される。このように、端末別画像送信部２４０は、例えば表示対象画像４００からの画像の切り出しと、切り出した画像の回転を行うことで端末別画像を生成する。
【００７５】
そして、端末別画像送信部２４０は、端末別画像４１２ａを表示端末装置１００−２に送信する。同様に、端末別画像送信部２４０は、端末別画像４１２ｂを表示端末装置１００−４に送信し、端末別画像４１２ｃを表示端末装置１００−１に送信し、端末別画像４１２ｄを表示端末装置１００−３に送信する。
【００７６】
表示端末装置１００−１〜１００−４における通信部１６０は、それぞれ、端末別画像４１２ｃ、４１２a、４１２ｄ、４１２ｂを受信する。そして、表示端末装置１００−１〜１００−４における表示制御部１５０は、それぞれ、受信した端末別画像４１２ｃ、４１２a、４１２ｄ、４１２ｂを表示部１１０に表示する。
【００７７】
図９は、このときに表示端末装置１００−１〜１００−４の画面１１１−１〜１１１−４に表示される画像を示している。この場合の表示端末装置１００−１〜１００−４の配列では、表示端末装置１００−４と１００−１の上下が逆の配置となっているのであるが、これらに表示される端末別画像４１２ｂ、４１２ｃは元の状態から１８０度反転されているために、表示される状態としては正しい向きとなっている。
【００７８】
このように、表示端末装置１００−１〜１００−４の画面１１１−１〜１１１−４により形成される拡張画面には、例えば図６に示した表示対象画像４００と同じ内容の画像が表示される。
そして、図９のように拡張画面に画像を表示させるにあたり、ユーザは、画面１１１に表示させるべき画像を設定するための画像の拡大、トリミング、移動などの面倒な操作を表示端末装置１００ごとに対して行う必要が無い。具体的には、表示端末装置１００−１〜１００−４ごとに対して拡張表示モードを設定するための簡単な操作を行い、拡張画面の形成のために表示端末装置１００を配列させ、この後、画面間スワイプ操作を行うだけでよい。
また、本実施形態のサーバ２００は、画面間スワイプ操作により画面１１１ごとに検出された操作情報に基づいて画面１１１の配列パターンを認識するのであるが、これに伴って、各画面１１１の向きも認識されるようになっている。そして、この認識された向きに応じて表示させるべき端末別画像が回転される。これにより、ユーザは、表示端末装置１００を配列させるにあたり、その向きを揃えるなど、向きについて特に意識する必要がない。この点も、拡張画面に画像を表示させるにあたっての操作性、利便性の向上に大きく寄与している。
また、本実施形態においては、拡張表示モードにより表示端末装置１００に表示させるべき画像をサーバ２００側から送信することとしているために、例えば表示端末装置１００同士で表示に使用する共通の画像データを予め記憶させておく必要もない。
【００７９】
図１０のフローチャートは、表示端末装置１００とサーバ２００が拡張表示モードに対応して実行する処理手順例を示している。なお、これまでの説明から理解されるように、拡張画面モードに際しては複数の表示端末装置１００が使用されるが、ここでは、説明を簡単にすることの便宜上、１つの表示端末装置１００についての処理を示す。
また、以降の説明にあたり、部分画像領域について個々を特に区別しない場合には、部分画像領域４１０と記載する。同様に、部分画像について個々を特に区別しない場合には部分画像４１１と記載し、端末別画像について個々を特に区別しない場合には、端末別画像４１２と記載する。
【００８０】
まず、表示端末装置１００において、情報送信部１３０は、タッチパネル１２０に対して拡張表示モードを設定するための操作が行われるのを待機している（ステップＳ１０１−ＮＯ）。そして、拡張表示モードを設定するための操作が行われるのに応じて（ステップＳ１０１−ＹＥＳ）、情報送信部１３０は、記憶部１７０から端末情報１８０を読み出し、通信部１６０からサーバ２００に対して送信する（ステップＳ１０２）。
【００８１】
次に、時間計測部１４０は、ステップＳ１０２による端末情報１８０の送信に応答してサーバ２００が送信してきた基準時間を受信し（ステップＳ１０３）、この基準時間を受信したタイミングで基準時間から時間計測を開始する（ステップＳ１０４）。
【００８２】
次に、情報送信部１３０は、タッチパネル１２０の操作情報を監視することで自画面内スワイプ操作が行われるのを待機している（ステップＳ１０５−ＮＯ）。そして、自画面内スワイプ操作が行われるのに応じて、情報送信部１３０は、まず、自画面内スワイプ操作が開始されたときにタッチパネル１２０にて検出された操作位置を操作開始位置として取得するとともに、そのときに計測されていた時間を操作開始時間として取得する（ステップＳ１０６）。次に、情報送信部１３０は、自画面内スワイプ操作が終了されたときにタッチパネル１２０にて検出された操作位置を操作終了位置として取得するとともに、そのときに計測されていた時間を操作終了時間として取得する（ステップＳ１０７）。
そして、情報送信部１３０は、ステップＳ１０６とステップＳ１０７により取得した操作開始位置、操作開始時間、操作終了位置および操作終了時間を操作情報として通信部１６０からサーバ２００に送信する（ステップＳ１０８）。
【００８３】
次に、表示制御部１５０は、サーバ２００から自己を送信先として送信される端末別画像が受信されるのを待機している（ステップＳ１０９−ＮＯ）。そして、端末別画像が受信されるのに応じて（ステップＳ１０９−ＹＥＳ）、表示制御部１５０は、この端末別画像を表示部１１０の画面１１１に表示させる（ステップＳ１１０）。
【００８４】
また、サーバ２００において、配列パターン認識部２１０は、ステップＳ１０２により送信される端末情報が受信されるのを待機している（ステップＳ２０１−ＮＯ）。そして、端末情報が受信されるのに応じて（ステップＳ２０１−ＹＥＳ）、配列パターン認識部２１０は、受信した端末情報を記憶する（ステップＳ２０２）。また、端末情報の受信に応じたタイミングで、同期制御部２２０は、端末情報の送信元の表示端末装置１００に対して、そのとき計測していた基準時間を通信部２６０から送信する（ステップＳ２０３）。
【００８５】
次に、配列パターン認識部２１０は、ステップＳ２０２において記憶した複数の端末情報に対応するすべての表示端末装置１００からの操作情報が受信されるのを待機している（ステップＳ２０４−ＮＯ）。そして、すべての表示端末装置１００からの操作情報が受信されると（ステップＳ２０４−ＹＥＳ）、配列パターン認識部２１０は、複数の表示端末装置１００の画面１１１の配列パターンを認識する（ステップＳ２０５）。このために、配列パターン認識部２１０は、前述のように、各表示端末装置１００からの操作情報に含まれる操作開始位置と操作開始時間と、操作終了位置と操作終了時間とに基づいて１つの画面と隣り合う他の画面の位置関係を特定する。
【００８６】
次に、端末別画像決定部２３０は、複数の表示端末装置１００の画面１１１の配列パターンについての認識結果に基づいて、図６にて説明したように、表示端末装置１００ごとに表示させるべき部分画像領域４１０と、各部分画像領域４１０の回転角度を決定する（ステップＳ２０６）。
【００８７】
次に、端末別画像送信部２４０は、端末別画像決定部２３０の決定結果にしたがって表示端末装置１００ごとの端末別画像４１２を生成する（ステップＳ２０７）。つまり、端末別画像送信部２４０は、端末別画像決定部２３０が決定した部分画像領域４１０に対応させて、図７により説明したように、表示対象画像４００を元に表示端末装置１００ごとに対応する部分画像４１１を生成する。次に、端末別画像送信部２４０は、上記のように生成した部分画像４１１を決定された回転角度により回転させる。このようにして端末別画像４１２が生成される。
そして、端末別画像送信部２４０は、上記のように生成した端末別画像４１２を、通信部２６０から各表示端末装置１００に対して送信する（ステップＳ２０８）。
【００８８】
［第１の応用例］
以降、本実施形態の拡張表示モードの応用例について説明することとし、まず、第１の応用例について説明する。
図１１は、第１の応用例の概要を示している。第１の応用例は、漢字の偏と旁を組み合わせて正しい漢字をつくるというゲームに本実施形態の拡張表示モードを応用している。
図１１（ａ）には、ゲームに使用する３つの表示端末装置１００−１〜１００−３が示されている。これらの表示端末装置１００−１〜１００−３の画面１１１−１〜１１１−３には、それぞれ、所定の漢字の偏または旁の画像（問題画像）が表示されている。具体的に、表示端末装置１００−１の画面１１１−１にはかねへんの問題画像が表示されている。表示端末装置１００−２の画面１１１−２にはいとへんの問題画像が表示されている。表示端末装置１００−３の画面１１１−３には、例えば「緑」や「録」などに使用される旁の問題画像が表示されている。なお、これらの問題画像は、サーバ２００から送信される。
【００８９】
この場合に出題された問題は、表示端末装置１００−１〜１００−３を利用して漢字の「緑」をつくるというものである。この問題への解答のために、例えばユーザが、図１１（ｂ）に示すように左側に表示端末装置１００−２を配置し、その右隣に表示端末装置１００−３を配置させるように配列させたとする。そのうえで、ユーザは、問題に対する解答の宣言として、先の実施形態と同様に、その配列において最も左上に配置された表示端末装置１００から開始して画面間スワイプ操作を行う。つまり、この場合には、左側に表示端末装置１００−２の画面１１１−２にタッチし、この状態から、右の表示端末装置１００−３の画面１１１−３に移動させるように画面間スワイプ操作を行う。
【００９０】
表示端末装置１００−２は、上記の画面間スワイプ操作によって画面１１１−２に対して行われた自画面内スワイプ操作についての操作情報をサーバ２００に送信する。同様に、表示端末装置１００−３は、上記の画面間スワイプ操作によって画面１１１−３に対して行われた自画面内スワイプ操作についての操作情報をサーバ２００に送信する。
【００９１】
サーバ２００は、これらの操作情報に基づいて、図１１（ｂ）に示す配列パターンにより表示端末装置１００−２と１００−３が配置されていることを認識する。ここで、サーバ２００は、表示端末装置１００−１〜１００−３にどの問題画像を送信したのかについて記憶しているため、図１１（ｂ）に示す配列パターンが正解であることも把握している。
【００９２】
この場合、サーバ２００は、操作情報に基づいて認識した配列パターンが正解であると判定することになる。そこで、サーバ２００は、正解を通知する内容の解答画像を表示対象画像として選択する。そのうえで、サーバ２００は、この表示対象画像をもとに表示端末装置１００−２と１００−３に表示させるべき画像を決定し、この決定結果にしたがって表示端末装置１００−２と１００−３ごとに対応する端末別画像を生成する。そして、サーバ２００は、生成した端末別画像を表示端末装置１００−２と１００−３に送信する。
表示端末装置１００−２と１００−３は、それぞれ、受信した端末別画像を表示する。これにより、図１１（ｃ）に示すように、表示端末装置１００−２と１００−３の画面１１１−２と１１１−３により形成される拡張画面に対して正解であることを通知する解答画像が表示される。
【００９３】
一方、ユーザが、例えば図１１（ｄ）に示すように、左側に表示端末装置１００−１を配置し、その右隣に表示端末装置１００−３を配置したうえで、図１１（ｂ）の場合と同様の画面間スワイプ操作を行ったとする。
この操作に応じた操作情報を表示端末装置１００−１と１００−３から受信したサーバ２００は、図１１（ｄ）に示す配列パターンにより表示端末装置１００−１と１００−３が配置されていることを認識する。さらに、サーバ２００は、この認識した配列パターンが正解の配列パターンと異なることを判定する。
そこで、サーバ２００は、不正解であることを通知する内容の画像を表示対象画像として選択し、この表示対象画像をもとに表示端末装置１００−１と１００−３に表示させるべき画像を決定し、端末別画像を生成する。そして、サーバ２００は、生成した端末別画像を表示端末装置１００−１と１００−３に送信する。
表示端末装置１００−１と１００−３は、それぞれ、受信した端末別画像を表示する。これにより、図１１（ｅ）に示すように、表示端末装置１００−１と１００−３の画面１１１−１と１１１−３により形成される拡張画面において不正解であることを通知する解答画像が表示される。
なお、ここでは、漢字の偏と旁をユーザが選択して配列するというゲーム内容としているが、ゲーム内容としては、例えば動物などの絵とその動物を表す言葉を対応付けるようなものなど、他にも考えられるものである。
このように、本実施形態の拡張表示モードは、例えば絵合わせなどのように、対応関係を有する複数の画像をユーザが選んで配列するというゲームに応用することができる。
【００９４】
図１２は、図１１により説明した第１の応用例に対応して表示端末装置１００とサーバ２００が実行する処理手順例を示している。なお、この第１の応用例における表示端末装置１００とサーバ２００の構成は、図２と同様でよい。
まず、表示端末装置１００における情報送信部１３０は、タッチパネル１２０に対して当該表示端末装置１００をゲームに使用することをサーバ２００に通知するための操作（ゲーム使用通知操作）が行われるのを待機している（ステップＳ３０１−ＮＯ）。なお、このゲーム使用通知操作は、先の実施形態にいける拡張表示モード設定のための操作に該当する。そして、ゲーム使用通知操作が行われるのに応じて（ステップＳ３０１−ＹＥＳ）、情報送信部１３０は、記憶部１７０から端末情報１８０を読み出し、通信部１６０からサーバ２００に対して送信する（ステップＳ３０２）。
【００９５】
次に、時間計測部１４０は、サーバ２００が送信してきた基準時間を受信し（ステップＳ３０３）、時間の計測を開始する（ステップＳ３０４）。
【００９６】
また、この場合のサーバ２００は、ステップＳ３０２による端末情報の送信に応じて問題画像を送信してくる。そこで、表示制御部１５０は、受信した問題画像を表示部１１０の画面１１１に表示させる（ステップＳ３０５）。
【００９７】
続くステップＳ３０６からＳ３１１までの処理は、図１０におけるステップＳ１０５からＳ１０８と同様であることから、ここでの説明は省略する。
なお、ステップＳ３０６にて待機している自画面内スワイプ操作は、前述のように、図１１（ｂ）または図１１（ｄ）などに示したように、ユーザが解答としての画面間スワイプ操作を行うのに応じて画面１１１に対して行われるものである。
また、ステップＳ３１０に対応して受信される端末別画像は、解答画像の一部分であり、ステップＳ３１１によっては、この解答画像の一部が画面１１１に表示される。
【００９８】
また、サーバ２００が実行する処理として、ステップＳ４０１からＳ４０３までの処理は、図１０のステップＳ２０１からＳ２０３と同様である。そのうえで、サーバ２００における端末別画像送信部２４０は、端末情報の送信元である表示端末装置１００の各々に対し、それぞれ異なる問題画像を送信する（ステップＳ４０４）。なお、この際において、どの表示端末装置１００に対してどの問題画像を送信するのかについては、例えば乱数などを用いてランダムに決定してよい。また、問題画像のデータは、例えば記憶部２５０に予め記憶されている。
【００９９】
また、配列パターン認識部２１０は、ステップＳ４０４により送信された問題画像と、その送信先の表示端末装置１００との対応関係に基づいて、正解に対応する表示端末装置１００の配列パターン（正解配列パターン）を認識する。そして、配列パターン認識部２１０は、この認識した正解配列パターンを記憶する（ステップＳ４０５）。
【０１００】
図１１（ｂ）または図１１（ｄ）にて説明したように解答として行われた画面間スワイプ操作が行われるのに応じて、表示端末装置１００は、自己に対して行われた自画面内スワイプ操作の操作情報を送信してくる。
配列パターン認識部２１０は、この操作情報が受信されるのを待機しており（ステップＳ４０６−ＮＯ）、操作情報が受信されるのに応じて（ステップＳ４０６−ＹＥＳ）、この操作情報に基づいて表示端末装置１００の配列パターンを認識する（ステップＳ４０７）。そして、配列パターン認識部２１０は、この認識した配列パターンが、ステップＳ４０５により記憶した正解配列パターンと一致しているか否かにより、正解か不正解かについての判定を行う（ステップＳ４０８）。
【０１０１】
この場合の端末別画像決定部２３０は、記憶部２５０に記憶されている解答画像のうちから、ステップＳ４０８の判定結果に応じた解答画像を選択する（ステップＳ４０９）。つまり、ステップＳ４０８において正解であると判定した場合には、正解を通知する解答画像を選択し、不正解であると判定した場合には、不正解を通知する解答画像を選択する。
【０１０２】
端末別画像送信部２４０は、ステップＳ４０９により選択された解答画像を表示対象画像として、表示端末装置１００ごとの部分画像領域とその回転角度を決定する（ステップＳ４１０）。
端末別画像送信部２４０は、この決定結果にしたがって、表示端末装置１００ごとに対応する端末別画像を生成し（ステップＳ４１１）、生成した端末別画像を各表示端末装置１００に対して送信する（ステップＳ４１２）。
【０１０３】
［第２の応用例］
図１３は、本実施形態の拡張表示モードの第２の応用例の概要を示している。第２の応用例は、本実施形態の拡張表示モードによる画像表示を、例えば店舗に提示するクーポン券として利用するものである。
この場合、ユーザは、クーポンサイトなどのサービスの会員として登録しており、これに伴ってサーバ２００の記憶部２５０には、会員としてのユーザの氏名、性別、所有の表示端末装置１００の端末識別子などの情報が登録（記憶）されている。
また、クーポンを発行する店舗側は、クーポン券に相当するクーポン画像と、クーポンを取得できる条件をサーバ２００の記憶部２５０に登録（記憶）させておく。
【０１０４】
ここで、或る店舗で使用できるクーポンを取得する条件は、男女カップルの二人で来店したことであるとする。この店舗でクーポンを取得しようとする男女カップルの二人のユーザは、店舗に赴いて、二人の表示端末装置１００−１と１００−２を、例えば図１３（ａ）に示すように、左右に並べた配列パターンにより配置する。そのうえで、これまでの説明と同様に、ユーザは、例えば最も左上に位置する表示端末装置１００の画面１１１（この場合は表示端末装置１００−１の画面１１１−１である）から画面間スワイプ操作を行う。この操作に応じて、表示端末装置１００−１と１００−２は、それぞれ自画面内スワイプ操作に応じた操作情報をサーバ２００に送信する。
【０１０５】
サーバ２００の配列パターン認識部２１０は、表示端末装置１００−１と１００−２から操作情報を受信するのに応じて、まず、操作情報の送信元である表示端末装置１００−１と１００−２が、予め登録されたクーポンの取得条件を満たしているか否かについての認証を行う。つまり、この場合には、クーポンの取得条件は男女のカップルであることなので、配列パターン認識部２１０は、表示端末装置１００−１と１００−２のそれぞれの所有者が男女別々の組み合わせあるか否かについて判定する。
【０１０６】
このために、配列パターン認識部２１０は、操作情報に含まれていた送信元の表示端末装置１００−１と１００−２の識別子に対応付けられているユーザの登録情報における性別を参照する。参照したユーザの登録情報における性別が、男性と女性とでそれぞれ異なっていれば、クーポンの取得条件を満足していることになる。この場合には、クーポンの取得条件が満たされていたことで認証が成立する。
このように認証が成立したことに応じて、配列パターン認識部２１０は、表示端末装置１００−１と１００−２から送信された操作情報の内容に基づいて、表示端末装置１００−１と１００−２の配列パターンが例えば図１３（ａ）に示したものであることを認識する。
【０１０７】
上記のように配列パターンが認識されたことに応じて、端末別画像決定部２３０は、記憶部２５０に登録されていたクーポン画像を表示対象画像として読み出す。そして、端末別画像決定部２３０は、配列パターン認識部２１０が認識した表示端末装置１００−１と１００−２の配列パターンに対応する部分画像領域と、部分画像領域ごとの回転角度を決定する。
次に、端末別画像送信部２４０は、端末別画像決定部２３０の決定結果にしたがって、クーポン画像を元にして表示端末装置１００−１と１００−２ごとの端末別画像を生成し、これを表示端末装置１００−１と１００−２に対して送信する。
【０１０８】
表示端末装置１００−１と１００−２は、受信した端末別画像を表示部１１０の画面１１１に表示させる。これにより、図１３（ｂ）に示すように、表示端末装置１００−１と１００−２の画面１１１−１と１１１−２により形成される拡大画面において、クーポン画像が表示される。
男女カップルのユーザは、図１３（ｂ）に示すように表示されたクーポン画像を店員に見せる。店員は、クーポン画像を確認すると、そのクーポン券に該当するサービスを提供する。
【０１０９】
［他の配列パターン例］
また、図１４に、本実施形態において認識可能な画面１１１の他の配列パターン例を示す。
まず、図１４（ａ）は、表示端末装置１００−１が縦方向とされて左側に配置され、その右隣に表示端末装置１００−２が同じく縦方向で配置されている。そのうえで、表示端末装置１００−１と１００−２の下側の端面に沿って、横向きの表示端末装置１００−３が配置されている。
このような配列パターンにおいても、例えば、ユーザは、この配列における最も左上の表示端末装置１００−１の画面１１１を起点として、例えば図において破線の矢印で示すように画面間スワイプ操作を行えばよい。この操作に応じて表示端末装置１００−１〜１００−３が送信する操作情報に基づき、サーバ２００の配列パターン認識部２１０は、この図に示す配列パターンを認識することができる。
【０１１０】
また、この図においては、画面１１１−１、１１１−２、１１１−３のサイズがそれぞれ異なっている。しかし、本実施形態では、端末情報に画面サイズの情報を含むとともに、画面１１１上の座標により自画面内スワイプ操作の操作開始位置と操作終了位置を表現する。これにより、画面１１１のサイズが異なっていても、配列パターン認識部２１０は問題なく配列パターンを認識することができる。
なお、図１４（ａ）において、上記破線の矢印とは逆に、表示端末装置１００−１、１００−３、１１０−２の順序で画面間スワイプ操作を行っても配列パターンは同様に認識される。
【０１１１】
また、本実施形態では、図１４（ｂ）に示すように、表示端末装置１００−１、１００−２、１００−３の間で接する端面が互いにずれている状態が示されている。このような状態においても、例えば破線の矢印で示すように行った画面間スワイプ操作に応じて表示端末装置１００−１〜１００−３の各々が送信する操作情報に基づき、配列パターン認識部２１０は問題なく配列パターンを認識することができる。
【０１１２】
なお、本実施形態の拡張表示モードは、図１１から図１３に示した以外にもその応用例は多様に考えることができる。
また、上記実施形態においては、サーバ２００側で回転させた端末別画像を表示端末装置１００に送信することとしている。しかし、例えばサーバ２００は、回転させないままの端末別画像を回転角度の指示情報とともに送信し、表示端末装置１００側で受信した端末別画像を回転角度の指示情報に応じて回転させて表示させることとしてもよい。
また、上記実施形態においては、表示端末装置１００とサーバ２００がネットワーク経由で接続される例を示している。しかし、例えば、複数の表示端末装置１００をアドホック通信により接続したうえで、これらの表示端末装置１００のうちのいずれか１つがサーバ２００と同等の機能を兼有するようにして構成してもよい。
【０１１３】
また、図２における表示端末装置１００とサーバ２００の各部の機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより拡張表示を行ってもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。
【０１１４】
また、「コンピュータシステム」は、ＷＷＷシステムを利用している場合であれば、ホームページ提供環境（あるいは表示環境）も含むものとする。
また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリ（ＲＡＭ）のように、一定時間プログラムを保持しているものも含むものとする。また上記プログラムは、前述した機能の一部を実現するためのものであっても良く、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであってもよい。
【０１１５】
以上、この発明の実施形態について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。
【符号の説明】
【０１１６】
１００  表示端末装置
１１０  表示部
１１１  画面
１２０  タッチパネル
１３０  情報送信部
１４０  時間計測部
１５０  表示制御部
１６０  通信部
１７０  記憶部
１８０  端末情報
２００  サーバ
２１０  配列パターン認識部
２２０  同期制御部
２３０  端末別画像決定部
２４０  端末別画像送信部
２５０  記憶部
２６０  通信部
３００  ネットワーク
４００  表示対象画像
４１０、４１０ａ〜４１０ｄ  部分画像領域
４１１、４１１ａ〜４１１ｄ  部分画像
４１２、４１２ａ〜４１２ｄ  端末別画像
【図１】
2013218468.tif 000003
【図２】
2013218468.tif 000004
【図３】
2013218468.tif 000005
【図４】
2013218468.tif 000006
【図５】
2013218468.tif 000007
【図６】
2013218468.tif 000008
【図７】
2013218468.tif 000009
【図８】
2013218468.tif 000010
【図９】
2013218468.tif 000011
【図１０】
2013218468.tif 000012
【図１１】
2013218468.tif 000013
【図１２】
2013218468.tif 000014
【図１３】
2013218468.tif 000015
【図１４】
2013218468.tif 000016