(57)【要約】  複数の端末からタッチ操作の第１操作信号を受信し、複数の端末の各々に対応したコンテンツを送信する画面生成装置であって、第１操作信号を受信する操作信号受信部と、第１操作信号の種別を判定する操作種別判定部と、第１操作信号をマウス操作の第２操作信号に変換する操作信号変換部と、操作種別判定部の判定結果に基づいて、第１操作信号、又は、第２操作信号で複数の端末に対応したコンテンツの画面を生成する複数のブラウザとを備える。これにより、複数のクライアント端末による操作をサーバで受信し、サーバの１つのデスクトップを各々のクライアント端末で操作することを可能とする。
2016059737.tif 000002
【特許請求の範囲】
【請求項１】
複数の端末からタッチ操作の第１操作信号を受信し、前記複数の端末の各々に対応したコンテンツを送信する画面生成装置であって、
前記第１操作信号を受信する操作信号受信部と、
前記第１操作信号の種別を判定する操作種別判定部と、
前記第１操作信号をマウス操作の第２操作信号に変換する操作信号変換部と、
前記操作種別判定部の判定結果に基づいて、前記第１操作信号、又は、前記第２操作信号で前記複数の端末に対応したコンテンツの画面を生成する複数のブラウザとを備える画面生成装置。
【請求項２】
前記操作種別判定部は、前記第１操作信号を操作時間および操作対象要素数によって判定する請求項１に記載の画面生成装置。
【請求項３】
前記タッチ操作がスワイプ、ピンチ、ローテートのいずれかのとき、前記ブラウザは前記第１操作信号で前記コンテンツを生成する請求項１に記載の画面生成装置。
【請求項４】
前記タッチ操作がタップ、又は、フリックのとき、前記ブラウザは前記第２操作信号で前記コンテンツを生成する請求項１に記載の画面生成装置。
【請求項５】
複数の端末と、複数の端末からタッチ操作の第１操作信号を受信し、前記複数の端末の各々に対応したコンテンツを送信する画面生成装置を備える画面生成システムであって、
前記複数の端末は、
タッチパネルにより入力されたタッチ操作を前記第１操作信号として前記画面生成装置に送信する操作信号送信部を備え、
前記画面生成装置は、
前記第１操作信号を受信する操作信号受信部と、
前記第１操作信号の種別を判定する操作種別判定部と、
前記第１操作信号をマウス操作の第２操作信号に変換する操作信号変換部と、
前記操作種別判定部の判定結果に基づいて、前記第１操作信号、又は、前記第２操作信号で前記複数の端末に対応したコンテンツの画面を生成する複数のブラウザとを備える画面生成システム。
【請求項６】
複数の端末と、前記複数の端末からタッチ操作の第１操作信号を受信し、前記複数の端末の各々に対応したコンテンツを送信する画面生成装置を備える画面生成システムであって、
前記複数の端末は、
タッチパネルにより入力された前記第１操作信号の種別を判定する操作種別判定部と、
前記第１操作信号と前記操作種別判定部の判定結果を前記画面生成装置に送信する操作信号送信部を備え、
前記画面生成装置は、
前記第１操作信号を受信する操作信号受信部と、
前記第１操作信号をマウス操作の第２操作信号に変換する操作信号変換部と、
前記操作種別判定部の判定結果に基づいて、前記第１操作信号、又は、前記第２操作信号で前記複数の端末に対応したコンテンツの画面を生成する複数のブラウザとを備える画面生成システム。
【請求項７】
複数の端末からタッチ操作の第１操作信号を受信し、前記複数の端末の各々に対応したコンテンツを送信する画面生成方法であって、
前記第１操作信号を受信し、
前記第１操作信号の種別を判定し、
前記判定結果に基づいて、前記第１操作信号、又は、前記第１操作信号を変換したマウス操作の第２操作信号で前記複数の端末に対応したコンテンツの画面を生成する画面生成方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、複数の端末からのタッチ操作信号を受信し、複数の端末の各々に対応したコンテンツを生成・送信する画面生成装置、画面生成システム、及び、画面生成方法に関する。
【背景技術】
【０００２】
運用の柔軟性や可用性、コストメリットの観点から、仮想化技術の急速な普及が進んでいる。仮想化技術とは、サーバなどのハードウェア内のリソース（ＣＰＵ、メモリ、ディスク）を、物理的な構成にとらわれずに、論理的に統合・分割して利用可能とする技術である。このような仮想化技術の一つとして、特許文献１に開示されるように、従来クライアント端末で行っていたデスクトップ上の描画処理をサーバで実行し、その処理結果をクライアント端末に映像コンテンツとして送信するというデスクトップの仮想化技術がある。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】国際特許公開第２０１２／１３３３００号
【発明の概要】
【０００４】
本開示は、画面生成サーバ及びクライアント端末により形成されるデスクトップ仮想化において、複数のクライアント端末による操作をサーバで受信し、サーバの１つのデスクトップを各々のクライアント端末で操作することを目的とする。
【０００５】
本開示の画面生成装置は、複数の端末からタッチ操作の第１操作信号を受信し、複数の端末の各々に対応したコンテンツを送信する画面生成装置であって、第１操作信号を受信する操作信号受信部と、第１操作信号の種別を判定する操作種別判定部と、第１操作信号をマウス操作の第２操作信号に変換する操作信号変換部と、操作種別判定部の判定結果に基づいて、第１操作信号、又は、第２操作信号で複数の端末に対応したコンテンツの画面を生成する複数のブラウザとを備えるものである。
【０００６】
本開示の画面生成システムは、複数の端末と、複数の端末からタッチ操作の第１操作信号を受信し、複数の端末の各々に対応したコンテンツを送信する画面生成装置を備える画面生成システムであって、複数の端末は、タッチパネルにより入力された第１操作信号の種別を判定する操作種別判定部と、第１操作信号と操作種別判定部の判定結果を画面生成装置に送信する操作信号送信部を備え、画面生成装置は、第１操作信号を受信する操作信号受信部と、第１操作信号をマウス操作の第２操作信号に変換する操作信号変換部と、操作種別判定部の判定結果に基づいて、第１操作信号、又は、第２操作信号で複数の端末に対応したコンテンツの画面を生成する複数のブラウザとを備えるものである。
【０００７】
本開示の画面生成方法は、複数の端末からタッチ操作の第１操作信号を受信し、複数の端末の各々に対応したコンテンツを送信する画面生成方法であって、第１操作信号を受信し、第１操作信号の種別を判定し、判定結果に基づいて、第１操作信号、又は、第１操作信号を変換したマウス操作の第２操作信号で複数の端末に対応したコンテンツの画面を生成するものである。
【０００８】
本開示は、画面生成サーバ及びクライアント端末により形成されるデスクトップ仮想化において、複数のクライアント端末による操作をサーバで受信し、サーバの１つのデスクトップを各々のクライアント端末で操作することを可能とする。
【図面の簡単な説明】
【０００９】
【図１】図１は、画面生成サーバ及びクライアント端末による画面生成システムの概略図である。
【図２】図２は、実施の形態１にかかる画面生成サーバ及びクライアント端末による画面生成システムの構成を示すブロック図である。
【図３】図３は、画面生成システムで使用するタッチ操作信号の一覧を示す図である。
【図４】図４は、画面生成システムで使用するマウス操作信号の一覧を示す図である。
【図５】図５は、タッチ操作信号とマウス操作信号の変換テーブルを示す図である。
【図６Ａ】図６Ａは、タッチ操作信号の転送方式を示す図である。
【図６Ｂ】図６Ｂは、タッチ操作信号の転送方式を示す図である。
【図７】図７は、タッチ操作信号転送の各方式の長所・短所を示す図である。
【図８】図８は、タッチ操作の種別の分類を表す図である。
【図９】図９は、操作種別判定部の処理フローを表すフローチャートである。
【図１０】図１０は、操作信号変換部の処理フローを表すフローチャートである。
【図１１】図１１は、実施の形態２にかかる画面生成サーバ及びクライアント端末による画面生成システムの構成を示すブロック図である。
【発明を実施するための形態】
【００１０】
以下、適宜図面を参照しながら、実施の形態を詳細に説明する。但し、必要以上に詳細な説明は省略する場合がある。例えば、既によく知られた事項の詳細説明や実質的に同一の構成に対する重複説明を省略する場合がある。これは、以下の説明が不必要に冗長になるのを避け、当業者の理解を容易にするためである。
【００１１】
なお、発明者らは、当業者が本開示を十分に理解するために添付図面および以下の説明を提供するのであって、これらによって請求の範囲に記載の主題を限定することを意図するものではない。
【００１２】
（実施の形態１）
［１．概略］
図１は、デスクトップ仮想化を行う画面生成サーバ及びクライアント端末による画面生成システムの概略図である。図１に示す画面生成システムは、多数の映像を組合せたＨＴＭＬコンテンツを、ブラウザを用いて画面生成サーバ１０のデスクトップ画面上に表示し、これを１本の映像ストリームに統合して、大型ディスプレイ２００、スマートフォン３００、タブレット４００などの各種のクライアント端末２０へ配信する構成としている。このように、多数の映像を１本の映像ストリームに統合して配信することで、クライアント端末２０は再生表示できないほど多数の映像を組合せたＨＴＭＬコンテンツの表示が可能となる。
【００１３】
また、画面生成システムは、クライアント端末２０から画面生成サーバ１０のデスクトップを操作可能とする。このとき、画面生成システムは、クライアント端末２０でユーザのタッチ操作に基づいて受信したタッチ操作信号を画面生成サーバ１０に送信し、画面生成サーバ１０でそのタッチ操作信号を画面生成サーバ１０のデスクトップに反映する。クライアント端末２０が、スマートフォン３００、タブレット４００などのタッチパネルを有するデバイスであった場合、クライアント端末２０は、画面生成サーバ１０へタッチ操作に関するタッチ操作信号を送信する。このとき、画面生成サーバ１０は、タッチ操作信号をデスクトップ上のマウス操作に関するマウス操作信号に変換することで、クライアント端末２０から受信したタッチ操作信号をデスクトップに反映させることができる。
【００１４】
画面生成サーバ１０は、デスクトップ画面にスマートフォン３００、タブレット４００の画面よりも広い面積を確保することできる。そのため、画面生成サーバ１０は、複数のクライアント端末向けのブラウザを同時に表示することができる。例えば、画面生成サーバ１０のデスクトップ画面の解像度が３８４０×２１６０（４Ｋ解像度）で、クライアント端末２０の画面の解像度が１９２０×１０８０（Ｆｕｌｌ  ＨＤ解像度）であったとする。このとき、画面生成サーバ１０は、デスクトップ上に１９２０×１０８０の描画領域のブラウザを４つ重ならないように配置し、このデスクトップ画面をキャプチャした後にブラウザの描画領域をクリッピングする。そして、画面生成サーバ１０は、クリッピングした各々のブラウザの描画領域の画像をエンコードした結果を、４つのブラウザの各々に対応する４つのクライアント端末に送信する。これにより、画面生成サーバ１０の１つのデスクトップ画面を、４台のクライアント端末で共用することができる。
【００１５】
画面生成サーバ１０は、所定のオペレーティングシステムを動作させることにより、各種のアプリケーションを実行する。例えば、画面生成サーバ１０は、オペレーティングシステムを動作させることにより、ブラウザ上でマウス操作を実行する。複数のクライアント端末２０が同時に１つのオペレーティングシステムにより動作する画面生成サーバ１０に接続される場合、従来はいずれか１台のクライアント端末がマウス操作を占有することになる。従って、画面生成サーバ１０は、マウス操作を占有するクライアント端末２０以外のクライアント端末２０からのタッチ操作をマウス操作に変換することができない。
【００１６】
そのため、画面生成サーバ１０は、１つのデスクトップを利用して複数のクライアント端末２０の画面イメージを生成する能力があるにもかかわらず、操作系の制約により１つのデスクトップに対して１台のクライアント端末２０しか収容できないという課題がある。発明者らは、デスクトップ仮想化の開発の過程において本課題を認識し、その課題を解決する画面生成装置、画面生成システム、及び、画面生成方法を発案するに至った。以下では、本開示にかかる画面生成装置、画面生成、及び、画面生成方法システムの技術的思想を具現化した一例として、実施の形態１の詳細を説明する。
【００１７】
［２．システム構成］
図２は、実施の形態１にかかる画面生成サーバ１０及び、クライアント端末２０の構成を示すブロック図である。画面生成サーバ１０は、複数のクライアント端末２０と同時に接続することができる。以下の説明では、複数のクライアント端末２０として、３台のクライアント端末２０ａ、２０ｂ、２０ｃが存在しているとする。
【００１８】
まず、クライアント端末２０の構成について説明する。クライアント端末２０は、画面生成サーバ１０から送信されるＨＴＭＬコンテンツ１１０の描画映像を再生・表示する。クライアント端末２０は符号化データ受信部２１、映像復号化部２２、表示部２３、タッチパネル２４、操作信号送信部２５を備える。以下、クライアント端末２０の構成について説明する。
【００１９】
符号化データ受信部２１は、画面生成サーバ１０とのネットワーク通信を行う通信モジュールである。符号化データ受信部２１は、画面生成サーバ１０より送信される映像符号化データを受信し、映像復号化部２２へ映像データを送信する。
【００２０】
映像復号化部２２は、符号化データ受信部２１より受信した映像符号化データを復号化し、映像データを復号化する復号化モジュールである。そして、映像復号化部２２は、生成した映像データを表示部２３に送信する。
【００２１】
表示部２３は、映像復号化部２２から受信した映像データをクライアント端末２０の利用者に対して表示する液晶ディスプレイなどの表示デバイスである。
【００２２】
タッチパネル２４は、クライアント端末２０の利用者からのタッチ操作を入力し、操作信号送信部２５へタッチ操作信号を送信する。タッチ操作信号の詳細については後述する。
【００２３】
操作信号送信部２５は、タッチパネル２４から受信したタッチ操作信号を画面生成サーバ１０に送信する通信モジュールである。
【００２４】
続いて、画面生成サーバ１０の構成について説明する。画面生成サーバ１０は、複数のクライアント端末２０ａ、２０ｂ、２０ｃからの映像配信リクエストに応じて、複数のクライアント端末２０ａ、２０ｂ、２０ｃに各々の映像を配信する。また、画面生成サーバ１０は、各クライアント端末２０ａ、２０ｂ、２０ｃのタッチ操作信号を受信し、各ブラウザ１１ａ、１１ｂ、１１ｃに反映する。ブラウザ１１（１１ａ、１１ｂ、１１ｃ）は、各々のクライアント端末２０（２０ａ、２０ｂ、２０ｃ）に対応する。
【００２５】
画面生成サーバ１０は、ブラウザ１１（１１ａ、１１ｂ、１１ｃ）、画面キャプチャ部１２、映像符号化部１３、符号化データ送信部１４、操作信号受信部１５、操作種別判定部１６、操作信号変換部１７の各ブロックを有する。以下、これらの構成について説明する。
【００２６】
操作信号受信部１５は、クライアント端末２０から第１操作信号としてのタッチ操作信号を受信する通信モジュールである。操作信号受信部１５は、受信したタッチ操作信号を操作種別判定部１６に送信する。
【００２７】
操作種別判定部１６は、操作信号受信部１５から受信したタッチ操作信号に基づいて、タッチ操作の種別（タップ、フリック、スワイプなど）を判定し、操作種別によってタッチ操作信号を操作信号変換部１７又はブラウザ１１に送信する。操作種別に基づいてタッチ操作信号の送信経路を選択する理由については後述する。
【００２８】
操作信号変換部１７は、操作種別判定部１６から受信したタッチ操作信号をマウス操作信号へ変換し、ブラウザ１１に変換後のマウス操作信号を送信する。マウス操作信号の詳細および変換処理の詳細は後述する。
【００２９】
ブラウザ１１（１１ａ、１１ｂ、１１ｃ）は、対応する各クライアント端末２０（２０ａ、２０ｂ、２０ｃ）に送信するコンテンツの画面を描画する。そして、ブラウザ１１は、ネットワーク上に存在する、或いは、画面生成サーバ１０内に蓄積されたＨＴＭＬコンテンツ１１０を表示・再生する。また、ブラウザ１１は、操作信号変換部１７からマウス操作信号を受信してＨＴＭＬコンテンツ１１０に対してイベント発行処理を行うイベント発行処理部１８と、ＷｅｂＳｏｃｋｅｔなどの通信手段を介して、操作種別判定部１６からタッチ操作信号を直接受信するタッチ操作信号受信部１９を有している。イベント発行処理は、ブラウザに表示されたＨＴＭＬコンテンツをマウスで操作（例えば、リンクのクリックなど）した際に、マウスで操作された座標（Ｘ，Ｙ）の情報から、ＨＴＭＬコンテンツ内のどの要素に対して操作イベント情報を送信するべきかを決定する、「座標⇒要素変換」処理である。また、ブラウザ１１が操作信号の受信経路を２種類具備している理由については後述する。
【００３０】
画面キャプチャ部１２は、デスクトップをキャプチャし、キャプチャされた画面から各ブラウザ１１ａ、１１ｂ、１１ｃの表示領域をクリッピングする。そして、画面キャプチャ部１２は、各クリッピング画像を映像符号化部１３へ送信する。
【００３１】
映像符号化部１３は、画面キャプチャ部１２から受信したクリッピング画像を映像として符号化し、符号化データ送信部１４へ送信する符号化モジュールである。映像符号化部１３は、各クライアント端末２０ａ、２０ｂ、２０ｃ向けの映像符号化データを並行して生成する。
【００３２】
符号化データ送信部１４は、各クライアント端末２０ａ、２０ｂ、２０ｃへ符号化データを送信するネットワーク通信モジュールである。
【００３３】
［３．タッチ操作信号］
タッチ操作信号は、クライアント端末２０の利用者のタッチ操作の内容をイベントと補足情報の組合せで表現したものである。図３に本開示の画面生成システムで使用するタッチ操作信号の一覧を示す。イベント「ＤＯＷＮ」は、タッチパネル２４に接触物、例えば、指が接触した場合に発生する。イベント「ＤＯＷＮ」が発生したとき、指の接触位置の座標情報が補足情報として与えられる。イベント「ＭＯＶＥ」は、イベント「ＤＯＷＮ」発生後にタッチパネル２４上を指が移動した場合に発生する。イベント「ＭＯＶＥ」が発生したとき、指の移動先の座標情報が補足情報として与えられる。イベント「ＵＰ」は、指がタッチパネル２４から離脱した場合に発生する。イベント「ＵＰ」が発生したとき、指の離脱位置を表す座標情報が補足情報として与えられる。イベント「ＳＣＡＬＥ」は、イベント「ＤＯＷＮ」発生後に、指がタッチパネル２４上をピンチイン／ピンチアウトした場合に発生する。イベント「ＳＣＡＬＥ」が発生したとき、拡大／縮小率を示す情報が補足情報として与えられる。イベント「ＲＯＴＡＴＥ」は、イベント「ＤＯＷＮ」発生後に、指がタッチパネル２４上を回転した場合に発生する。イベント「ＲＯＴＡＴＥ」が発生したとき、回転角度を示す情報が補足情報として与えられる。
【００３４】
［４．マウス操作信号］
マウス操作信号は、マウス操作の内容をイベントと補足情報の組合せで表現したものである。図４に本開示の画面生成システムで使用するマウス操作信号の一覧を示す。イベント「ＬＥＦＴ_ＢＵＴＴＯＮ_ＤＯＷＮ」は、マウスの左ボタンが押されたことを示す。イベント「ＬＥＦＴ_ＢＵＴＴＯＮ_ＤＯＷＮ」が発生したとき、左ボタンが押されたときのマウスポインタの座標情報が補足情報として与えられる。イベント「ＭＯＶＥ」は、マウスが移動した際に発生する。イベント「ＭＯＶＥ」が発生したとき、マウスポインタの移動先の座標情報が補足情報として与えられる。イベント「ＬＥＦＴ_ＢＵＴＴＯＮ_ＵＰ」は、マウスボタンが離される際に発生する。イベント「ＬＥＦＴ_ＢＵＴＴＯＮ_ＵＰ」が発生したとき、マウスボタンが離された時点のマウスポインタの位置を表す座標情報が補足情報として与えられる。
【００３５】
［５．タッチ操作信号とマウス操作信号の対応テーブル］
図５は、操作信号変換部１７が参照するタッチ操作信号とマウス操作信号の対応テーブルである。まず、操作信号変換部１７は、図５のテーブルのタッチ操作信号のイベント欄を参照し、現在処理中のタッチ操作信号のイベントの行を選択する。次に、操作信号変換部１７は、選択した行のマウス操作のイベントを参照し、送信するマウス操作信号のイベントを決定する。これにより、操作信号変換部１７は、タッチ操作信号をマウス操作信号へと変換することができる。
【００３６】
［６．タッチ操作信号の送信経路について］
上述したように、１つのオペレーティングシステムにより動作する画面生成サーバ１０に、複数のクライアント端末２０が同時に接続される場合、従来はいずれか１台のクライアント端末２０がマウス操作を占有することになる。従って、画面生成サーバ１０は、マウス操作を占有するクライアント端末２０以外のクライアント端末２０からのタッチ操作をマウス操作に変換することができない。そこで、１つのデスクトップで複数のクライアント端末２０のタッチ操作を受信可能にするために、図６Ａ、図６Ｂに示す２つの方式のどちらかを使用することが考えられる。図６Ａ、図６Ｂは、タッチ操作信号の転送方式を示す図である。
【００３７】
図６Ａは、指がタッチパネルに触れてから離れるまでをタッチ操作の１処理単位として、例えば、処理単位毎にマウス操作をクライアント端末２０ａが占有し、他のクライアント端末２０ｂ、２０ｃからのタッチ操作入力を排他する方式１を示している。マウス操作を占有するクライアント端末２０ａからのタッチ操作信号は、マウス操作信号へと変換された後に、対応するブラウザ１１ａへと第１経路で送信される。
【００３８】
一方、図６Ｂは、ＷｅｂＳｏｃｋｅｔなどを使用して、マウス操作を経由せずに、各クライアント端末２０ａ、２０ｂ、２０ｃからのタッチ操作信号を、対応するブラウザ１１ａ、１１ｂ、１１ｃへと第２経路で直接送信する方式２を示している。
【００３９】
図７は、方式１及び方式２の長所・短所を比較した結果を示す。図７に記載している「座標⇒要素変換処理」は、タッチ操作の補足情報として送信される座標から、イベント発行対象のＨＴＭＬ要素を決定する処理である。方式１では、タッチ操作はブラウザをマウス操作した場合と同様に処理される。すなわち、この処理はブラウザにより行われる。一方、方式２では、ブラウザ上で動作しているＪａｖａＳｃｒｉｐｔ（登録商標）がタッチ操作のイベントを直接受信するため、「座標⇒要素変換処理」をＪａｖａＳｃｒｉｐｔ（登録商標）で実装しなければならない。この処理は、操作イベントが発生する都度、操作対象となる各要素に対して、イベント発行対象であるかを判定する処理を行うこととなる。そのため、操作対象要素が増えるほど処理負荷が大きくなる。従って、方式２は、処理対象の要素数が多い場合には適用が困難である。
【００４０】
一方、方式１は、あるクライアント端末２０ａのタッチ操作を処理している最中には、他のクライアント端末２０ｂ、２０ｃからのタッチ操作信号を受信しないため、スワイプ、ピンチイン／アウトといった処理時間が数秒にわたる可能性がある操作に対しては適用できない。
【００４１】
このように、方式１、方式２ともに適用が困難なケースが存在するため、どちらか一方の方式で全てのタッチ操作を扱うことは難しい。そこで本開示の画面生成装置、画面生成システム、及び、画面生成方法では、タッチ操作を特性に応じて分類した上で、タッチ操作の種別に応じて、方式１、方式２の好適な方式を適用するハイブリッド方式を採用することとした。すなわち、操作種別判定部１６は、クライアント端末２０から受信したタッチ操作信号の種別に応じて、マウス操作経由でブラウザに送信する経路と、ブラウザ１１に直接送信する経路の２種類を使い分ける。
【００４２】
図８は、主なタッチ操作の種別の分類結果を示す。図８が示す分類結果の分類軸は、１）操作時間の長い／短い、及び、２）ＨＴＭＬコンテンツにおいて操作対象要素の要素数が多い／少ないである。この分類によると、タッチ操作は、グループＡ、Ｂ、Ｃの３つのグループに分かれる。
【００４３】
グループＡに属するタッチ操作は、操作時間が短く、操作対象要素が画面上に多数存在するという特性を有する。グループＡには、タップ操作、フリック操作が属する。例えば、タップ操作はタッチパネル２４に接触してから離脱するまでの時間が１００ミリ秒未満であり、操作時間が非常に短い。また、タップ操作の操作対象要素はリンクやリスト内のアイテムであり、画面内に多数の処理対象要素をもつケースがある。そのため、グループＡに属するタッチ操作については、「座標⇒要素変換処理」を行うＪａｖａＳｃｒｉｐｔ（登録商標）の実装が困難である。従って、グループＡに属するタッチ操作に対しては、方式２は不適であり、方式１が好適となる。
【００４４】
グループＢに属するタッチ操作は、操作時間が長く、画面内に操作対象となる要素の数が少ないという特性を有する。グループＢには、スワイプ操作、ピンチ操作、ローテート操作が属する。例えば、スワイプ操作は、画面に接触してから離脱するまでの操作が数秒以上となる場合もあり、操作時間が長くなるケースがある。そのため、方式１による排他制御を行うと、タッチ操作信号が受理されないクライアント端末２０が発生する可能性が高い。また、グループＢに属するタッチ操作は、リストや画面全体をスクロールするなど、ある程度の広さの領域を持つ要素に対する操作であるため、操作対象を画面内に多数配置するケースはあまりない。そのため、グループＢに属するタッチ操作については、「座標⇒要素変換処理」を行うＪａｖａＳｃｒｉｐｔ（登録商標）の実装が比較的容易である。従って、グループＢに属するタッチ操作については、方式１は不適であり、方式２が好適となる。
【００４５】
グループＣに属するタッチ操作は、操作時間が長く、操作対象要素が多数存在するという特性を有する。グループＣには、ロングタップが属する。ロングタップは、操作時間が長いケースがあるともに、操作対象要素が画面内に多数の処理対象要素をもつケースがある。従って、このグループＣに属する操作は、方式１、方式２ともに不適である。このグループＣに属するタッチ操作は、実施の形態１にかかるシステムでは利用できないが、このグループＣに属する操作はロングタップのみである。この操作が使用不能であってもコンテンツ制作やユーザインタフェース設計への影響はほとんどないものと考える。なお、本開示は、グループＣに属するタッチ操作を、排除するものではない。すなわち、グループＣに属するタッチ操作については、設計思想に応じて、方式１或いは方式２を採用することとしてもよい。
【００４６】
以上より、操作種別判定部１６は、タッチ操作信号の操作種別を判定する。そして、操作種別判定部１６は、グループＡのタッチ操作であると判定した場合は、タッチ操作信号の送信を方式１（マウス操作信号に変換して送信）とし、グループＢのタッチ操作であると判定した場合は、タッチ操作信号の送信を方式２（タッチ操作信号を直接送信）とする。これにより、各々の方式の短所を補って実用可能な操作処理を行うことができる。
【００４７】
［７．操作種別判定部１６の処理フロー］
図９は、操作種別判定部１６の動作を示すフローチャートである。まず、操作種別判定部１６は、クライアント端末２０からタッチ操作信号を受信する（ステップＳ１０１）。次に、操作種別判定部１６は、受信したタッチ操作信号のイベントが「ＳＣＡＬＥ」又は「ＲＯＴＡＴＥ」であるかを判定する（ステップＳ１０２）。タッチ操作信号が「ＳＣＡＬＥ」又は「ＲＯＴＡＴＥ」であった場合（ステップＳ１０２におけるＹｅｓ）、操作種別判定部１６は、タッチ操作信号がピンチ又はローテートであると判定する（ステップＳ１０３）。ピンチ及びローテートは、グループＢに属するタッチ操作であるので、操作種別判定部１６は、方式２を採用しタッチ操作信号をブラウザ１１へ送信し（ステップＳ１０４）、ステップＳ１０１へ戻る。
【００４８】
ステップＳ１０２においてタッチ操作信号のイベントが「ＳＣＡＬＥ」又は「ＲＯＴＡＴＥ」でない場合（ステップＳ１０２におけるＮｏ）、操作種別判定部１６は、タッチ操作信号が「ＤＯＷＮ」であるかを判定する（ステップＳ１０５）。タッチ操作信号が「ＤＯＷＮ」である場合（ステップＳ１０５におけるＹｅｓ）、操作種別判定部１６は、タッチ操作信号の送信経路が未確定である場合にタッチ操作信号を一旦保存しておくためのメモリのキュー内のタッチ操作信号を全削除する（ステップＳ１０６）。そして、操作種別判定部１６は、ステップＳ１０１において受信したタッチ操作信号をメモリのキュー内に保存する（ステップＳ１０７）。続いて、操作種別判定部１６は、イベント「ＤＯＷＮ」を受信したタイミングを管理するため、メモリに現在時刻を保存し（ステップＳ１０８）、ステップＳ１０１へ戻る。
【００４９】
ステップＳ１０５においてタッチ操作信号が「ＤＯＷＮ」でない場合（ステップＳ１０５におけるＮｏ）、操作種別判定部１６は、ステップＳ１０８で記録された時刻情報と、現在時刻とに基づいて、イベント「ＤＯＷＮ」を受信してから所定時間（数十ミリ秒〜数百ミリ秒を想定）が過ぎているかどうかを判定する（ステップＳ１０９）。所定時間を過ぎている場合（ステップＳ１０９におけるＹｅｓ）、操作種別判定部１６は、タッチ操作の種別はスワイプであると判定する（ステップＳ１１０）。スワイプは、グループＢに属するタッチ操作であるので、操作種別判定部１６は、方式２を採用する。そして、操作種別判定部１６は、メモリのキュー内に存在するタッチ操作信号と、最新のタッチ操作信号をブラウザに直接送信し（ステップＳ１１１）、ステップＳ１０１へ戻る。
【００５０】
ステップＳ１０９において所定時間を経過していない場合（ステップＳ１０９におけるＮｏ）、操作種別判定部１６は、タッチ操作信号のイベントが「ＵＰ」であるかを判定する（ステップＳ１１２）。タッチ操作信号が「ＵＰ」である場合（ステップＳ１１２におけるＹｅｓ）、タッチ操作がタップ又はフリップであると判定する（ステップＳ１１３）。タップ及び、フリップは、グループＡに属するタッチ操作であるので、操作種別判定部１６は、方式１を採用する。そして、操作種別判定部１６は、メモリのキュー内に存在するタッチ操作信号と、最新のタッチ操作信号を操作信号変換部１７に送信する（ステップＳ１１４）。操作種別判定部１６は、ステップＳ１１４においてタッチ操作信号を操作信号変換部１７に送信した後、ステップＳ１０８においてメモリ内に保存していた時刻情報をクリアし（ステップＳ１１５）、ステップＳ１０１へ戻る。
【００５１】
ステップＳ１１２においてタッチ操作信号が「ＵＰ」でない場合（ステップＳ１１２におけるＮｏ）、操作種別判定部１６は、タッチ操作信号をメモリのキューに保存し（ステップＳ１１６）、ステップＳ１０１へ戻る。
【００５２】
図１０は操作信号変換部１７の動作を示すフローチャートである。まず、操作信号変換部１７は、タッチ操作信号を操作種別判定部１６より受信する（ステップＳ２０１）。次に、操作信号変換部１７は、図５に示したタッチ操作信号とマウス操作信号の対応関係を記述したテーブルを参照し、タッチ操作信号をマウス操作信号に変換する（ステップＳ２０２）。そして、操作信号変換部１７は、対応するマウス操作信号をブラウザ１１に送信する（ステップＳ２０３）。ステップＳ２０３が終わると、ステップＳ２０１に戻り、ステップＳ２０１〜ステップＳ２０３の処理を繰り返す。
【００５３】
以上のように、操作種別判定部１６は、各クライアント端末２０から受信したタッチ操作信号に基づいて、タッチ操作の種別（タップ、フリック、スワイプなど）を判定し、その判定結果に応じて、タッチ操作信号を操作信号変換部１７へ送ってマウス操作に変換してからブラウザ１１へ送るか、マウス操作には変換せずにブラウザ１１へ直接送信するかを判定する。そして、ブラウザ１１が操作種別判定部１６の判定結果に基づいて、タッチ操作信号、又は、マウス操作信号でコンテンツを生成する。これにより、複数のクライアント端末による操作を、サーバの１つのデスクトップで操作することが可能となる。
【００５４】
なお、本実施の形態において、画面生成サーバ１０の１つのデスクトップ画面を、４台のクライアント端末で共用するとしたが、２台以上のクライアント端末で共用するとしてもよい。
【００５５】
なお、本実施の形態において、画面生成サーバ１０のデスクトップ画面（解像度が３８４０×２１６０）をクライアント端末２０の画面（解像度が１９２０×１０８０）を複数台分描画できる１つの画面としたが、クライアント端末２０の画面（解像度が１９２０×１０８０）を複数台分描画できる複数のシートを有するブック形式としてもよい。
【００５６】
（実施の形態２）
上記の実施の形態１においては、操作種別判定部１６は、画面生成サーバ１０に配置されている場合を示したが、本実施の形態はこれに限定されない。図１１は、実施の形態２にかかる画面生成サーバ及びクライアント端末の構成を示すブロック図である。図１１に示すように、画面生成システムは、操作種別判定部２６がクライアント端末２０に設置されていてもよい。
【００５７】
実施の形態２では、操作種別判定部２６が各クライアント端末２０に設置されており、タッチ操作信号を操作信号送信部２５、操作信号受信部１５を介して送信するとき判定したグループＡとグループＢをポート分けして送信する。これらの点以外の構成は、図２に示す実施の形態１の構成と同様であるため説明を省略する。操作種別判定部２６を各クライアント端末２０に設置する構成とすることで、操作種別判定を各クライアント端末２０が実施することとなり、処理負荷が分散される利点がある。
【００５８】
なお、本実施の形態において、操作種別判定部２６からタッチ操作信号をポート分けして送信するとしたが、操作種別判定部２６がタッチ操作信号とタッチ操作信号の判定結果を操作信号受信部１５に送信し、操作信号受信部１５がタッチ操作信号の判定結果に基づいて、タッチ操作信号のグループＡとグループＢを操作信号変換部１７又はタッチ操作信号受信部１９に分けて送信するとしてもよい。これにより、操作信号送信部２５のポートの数を低減することができる。
【産業上の利用可能性】
【００５９】
本開示にかかる画面生成装置、画面生成システム、及び、画面生成方法は、画面生成サーバ、或いは、画面生成サーバに接続されるクライアント端末に適用することができる。
【符号の説明】
【００６０】
１０  画面生成サーバ
１１，１１ａ，１１ｂ，１１ｃ  ブラウザ
１２  画面キャプチャ部
１３  映像符号化部
１４  符号化データ送信部
１５  操作信号受信部
１６  操作種別判定部
１７  操作信号変換部
１８  イベント発行処理部
１９，１９ａ，１９ｂ，１９ｃ  タッチ操作信号受信部
２０，２０ａ，２０ｂ，２０ｃ  クライアント端末
２１  符号化データ受信部
２２  映像復号化部
２３  表示部
２４  タッチパネル
２５  操作信号送信部
２６  操作種別判定部
１１０  ＨＴＭＬコンテンツ
２００  大型ディスプレイ
３００  スマートフォン
４００  タブレット
【図１】
2016059737.tif 000003
【図２】
2016059737.tif 000004
【図３】
2016059737.tif 000005
【図４】
2016059737.tif 000006
【図５】
2016059737.tif 000007
【図６Ａ】
2016059737.tif 000008
【図６Ｂ】
2016059737.tif 000009
【図７】
2016059737.tif 000010
【図８】
2016059737.tif 000011
【図９】
2016059737.tif 000012
【図１０】
2016059737.tif 000013
【図１１】
2016059737.tif 000014
【手続補正書】
【提出日】平成27年12月25日(2015.12.25)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
複数の端末からタッチ操作の第１操作信号を受信し、前記複数の端末の各々に対応したコンテンツを送信する画面生成装置であって、
前記第１操作信号を受信する操作信号受信部と、
前記第１操作信号のタッチ操作の種別を判定する操作種別判定部と、
前記第１操作信号を前記タッチ操作の種別と対応関係にあるマウス操作の種別の第２操作信号に変換する操作信号変換部と、
前記操作種別判定部の判定結果に基づいて、前記第１操作信号、又は、第２操作信号のいずれかの操作信号の送信経路が選択され、前記第１操作信号、又は、前記第２操作信号で前記複数の端末に対応したコンテンツの画面を生成する複数のブラウザとを備える画面生成装置。
【請求項２】
前記ブラウザは、前記操作種別判定部の判定結果に基づいて、複数の端末からの前記第１操作信号で前記複数の端末に対応したコンテンツの画面を生成する、又は、所定の端末の前記第２操作信号で他の端末からの第１操作信号を排他しながら前記所定の端末に対応したコンテンツの画面を生成する請求項１に記載の画面生成装置。
【請求項３】
前記操作種別判定部は、前記第１操作信号を操作時間および操作対象要素数によって判定する請求項１に記載の画面生成装置。
【請求項４】
前記タッチ操作の種別が、操作対象要素数が少なく、かつ、操作時間が長いとき、前記ブラウザは前記第１操作信号で前記コンテンツの画面を生成し、
前記タッチ操作の種別が、操作対象要素数が多く、かつ、操作時間が短いとき、前記ブラウザは前記第１操作信号で前記コンテンツの画面を生成する請求項３に記載の画面生成装置。
【請求項５】
前記タッチ操作の種別がスワイプ、ピンチ、ローテートのいずれかのとき、前記ブラウザは前記第１操作信号で前記コンテンツの画面を生成する請求項４に記載の画面生成装置。
【請求項６】
前記タッチ操作の種別がタップ、又は、フリックのとき、前記ブラウザは前記第２操作信号で前記コンテンツの画面を生成する請求項４に記載の画面生成装置。
【請求項７】
複数の端末と、複数の端末からタッチ操作の第１操作信号を受信し、前記複数の端末の各々に対応したコンテンツを送信する画面生成装置を備える画面生成システムであって、
前記複数の端末は、
タッチパネルにより入力されたタッチ操作を前記第１操作信号として前記画面生成装置に送信する操作信号送信部を備え、
前記画面生成装置は、
前記第１操作信号を受信する操作信号受信部と、
前記第１操作信号のタッチ操作の種別を判定する操作種別判定部と、
前記第１操作信号を前記タッチ操作の種別と対応関係にあるマウス操作の種別の第２操作信号に変換する操作信号変換部と、
前記操作種別判定部の判定結果に基づいて、前記第１操作信号、又は、第２操作信号のいずれかの操作信号の送信経路が選択され、前記第１操作信号、又は、前記第２操作信号で前記複数の端末に対応したコンテンツの画面を生成する複数のブラウザとを備える画面生成システム。
【請求項８】
複数の端末と、前記複数の端末からタッチ操作の第１操作信号を受信し、前記複数の端末の各々に対応したコンテンツを送信する画面生成装置を備える画面生成システムであって、
前記複数の端末は、
タッチパネルにより入力された前記第１操作信号のタッチ操作の種別を判定する操作種別判定部と、前記第１操作信号と前記操作種別判定部の判定結果を前記画面生成装置に送信する操作信号送信部を備え、
前記画面生成装置は、
前記第１操作信号を受信する操作信号受信部と、
前記第１操作信号を前記タッチ操作の種別と対応関係にあるマウス操作のタッチ操作の第２操作信号に変換する操作信号変換部と、
前記操作種別判定部の判定結果に基づいて、前記第１操作信号、又は、第２操作信号のいずれかの操作信号の送信経路が選択され、前記第１操作信号、又は、前記第２操作信号で前記複数の端末に対応したコンテンツの画面を生成する複数のブラウザとを備える画面生成システム。
【請求項９】
複数の端末からタッチ操作の第１操作信号を受信し、前記複数の端末の各々に対応したコンテンツを送信する画面生成方法であって、
前記第１操作信号を受信し、
前記第１操作信号のタッチ操作の種別を判定し、
前記第１操作信号を前記タッチ操作の種別と対応関係にあるマウス操作の種別の第２操作信号に変換し、
前記判定結果に基づいて、前記第１操作信号、又は、第２操作信号のいずれかの操作信号の送信経路が選択され、前記第１操作信号、又は、前記第２操作信号で前記複数の端末に対応したコンテンツの画面を生成する画面生成方法。
【手続補正書】
【提出日】平成28年8月22日(2016.8.22)
【手続補正１】
【補正対象書類名】明細書
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、複数の端末からのタッチ操作信号を受信し、複数の端末の各々に対応したコンテンツを生成・送信する画面生成装置、画面生成システム、及び、画面生成方法に関する。
【背景技術】
【０００２】
運用の柔軟性や可用性、コストメリットの観点から、仮想化技術の急速な普及が進んでいる。仮想化技術とは、サーバなどのハードウェア内のリソース（ＣＰＵ、メモリ、ディスク）を、物理的な構成にとらわれずに、論理的に統合・分割して利用可能とする技術である。このような仮想化技術の一つとして、特許文献１に開示されるように、従来クライアント端末で行っていたデスクトップ上の描画処理をサーバで実行し、その処理結果をクライアント端末に映像コンテンツとして送信するというデスクトップの仮想化技術がある。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】国際特許公開第２０１２／１３３３００号
【発明の概要】
【０００４】
本開示は、画面生成サーバ及びクライアント端末により形成されるデスクトップ仮想化において、複数のクライアント端末による操作をサーバで受信し、サーバの１つのデスクトップを各々のクライアント端末で操作することを目的とする。
【０００５】
本開示の画面生成装置は、複数の端末からタッチ操作の第１操作信号を受信し、複数の端末の各々に対応したコンテンツを送信する画面生成装置であって、第１操作信号を受信する操作信号受信部と、第１操作信号のタッチ操作の種別を判定する操作種別判定部と、第１操作信号をタッチ操作の種別と対応関係にあるマウス操作の種別の第２操作信号に変換する操作信号変換部と、操作種別判定部の判定結果に基づいて、第１操作信号、又は、第２操作信号のいずれかの操作信号の送信経路が選択され、第１操作信号、又は、第２操作信号で複数の端末に対応したコンテンツの画面を生成する複数のブラウザとを備えるものである。
【０００６】
本開示の画面生成システムは、複数の端末と、複数の端末からタッチ操作の第１操作信号を受信し、複数の端末の各々に対応したコンテンツを送信する画面生成装置を備える画面生成システムであって、複数の端末は、タッチパネルにより入力された第１操作信号のタッチ操作の種別を判定する操作種別判定部と、第１操作信号と操作種別判定部の判定結果を画面生成装置に送信する操作信号送信部を備え、画面生成装置は、第１操作信号を受信する操作信号受信部と、第１操作信号をタッチ操作の種別と対応関係にあるマウス操作の種別の第２操作信号に変換する操作信号変換部と、操作種別判定部の判定結果に基づいて、第１操作信号、又は、第２操作信号のいずれかの操作信号の送信経路が選択され、第１操作信号、又は、第２操作信号で複数の端末に対応したコンテンツの画面を生成する複数のブラウザとを備えるものである。
【０００７】
本開示の画面生成方法は、複数の端末からタッチ操作の第１操作信号を受信し、複数の端末の各々に対応したコンテンツを送信する画面生成方法であって、第１操作信号を受信し、第１操作信号のタッチ操作の種別を判定し、第１操作信号をタッチ操作の種別と対応関係にあるマウス操作の種別の第２操作信号に変換し、判定結果に基づいて、第１操作信号、又は、前記第２操作信号で複数の端末に対応したコンテンツの画面を生成するものである。
【０００８】
本開示は、画面生成サーバ及びクライアント端末により形成されるデスクトップ仮想化において、複数のクライアント端末による操作をサーバで受信し、サーバの１つのデスクトップを各々のクライアント端末で操作することを可能とする。
【図面の簡単な説明】
【０００９】
【図１】図１は、画面生成サーバ及びクライアント端末による画面生成システムの概略図である。
【図２】図２は、実施の形態１にかかる画面生成サーバ及びクライアント端末による画面生成システムの構成を示すブロック図である。
【図３】図３は、画面生成システムで使用するタッチ操作信号の一覧を示す図である。
【図４】図４は、画面生成システムで使用するマウス操作信号の一覧を示す図である。
【図５】図５は、タッチ操作信号とマウス操作信号の変換テーブルを示す図である。
【図６Ａ】図６Ａは、タッチ操作信号の転送方式を示す図である。
【図６Ｂ】図６Ｂは、タッチ操作信号の転送方式を示す図である。
【図７】図７は、タッチ操作信号転送の各方式の長所・短所を示す図である。
【図８】図８は、タッチ操作の種別の分類を表す図である。
【図９】図９は、操作種別判定部の処理フローを表すフローチャートである。
【図１０】図１０は、操作信号変換部の処理フローを表すフローチャートである。
【図１１】図１１は、実施の形態２にかかる画面生成サーバ及びクライアント端末による画面生成システムの構成を示すブロック図である。
【発明を実施するための形態】
【００１０】
以下、適宜図面を参照しながら、実施の形態を詳細に説明する。但し、必要以上に詳細な説明は省略する場合がある。例えば、既によく知られた事項の詳細説明や実質的に同一の構成に対する重複説明を省略する場合がある。これは、以下の説明が不必要に冗長になるのを避け、当業者の理解を容易にするためである。
【００１１】
なお、発明者らは、当業者が本開示を十分に理解するために添付図面および以下の説明を提供するのであって、これらによって請求の範囲に記載の主題を限定することを意図するものではない。
【００１２】
（実施の形態１）
［１．概略］
図１は、デスクトップ仮想化を行う画面生成サーバ及びクライアント端末による画面生成システムの概略図である。図１に示す画面生成システムは、多数の映像を組合せたＨＴＭＬコンテンツを、ブラウザを用いて画面生成サーバ１０のデスクトップ画面上に表示し、これを１本の映像ストリームに統合して、大型ディスプレイ２００、スマートフォン３００、タブレット４００などの各種のクライアント端末２０へ配信する構成としている。このように、多数の映像を１本の映像ストリームに統合して配信することで、クライアント端末２０は再生表示できないほど多数の映像を組合せたＨＴＭＬコンテンツの表示が可能となる。
【００１３】
また、画面生成システムは、クライアント端末２０から画面生成サーバ１０のデスクトップを操作可能とする。このとき、画面生成システムは、クライアント端末２０でユーザのタッチ操作に基づいて受信したタッチ操作信号を画面生成サーバ１０に送信し、画面生成サーバ１０でそのタッチ操作信号を画面生成サーバ１０のデスクトップに反映する。クライアント端末２０が、スマートフォン３００、タブレット４００などのタッチパネルを有するデバイスであった場合、クライアント端末２０は、画面生成サーバ１０へタッチ操作に関するタッチ操作信号を送信する。このとき、画面生成サーバ１０は、タッチ操作信号をデスクトップ上のマウス操作に関するマウス操作信号に変換することで、クライアント端末２０から受信したタッチ操作信号をデスクトップに反映させることができる。
【００１４】
画面生成サーバ１０は、デスクトップ画面にスマートフォン３００、タブレット４００の画面よりも広い面積を確保することできる。そのため、画面生成サーバ１０は、複数のクライアント端末向けのブラウザを同時に表示することができる。例えば、画面生成サーバ１０のデスクトップ画面の解像度が３８４０×２１６０（４Ｋ解像度）で、クライアント端末２０の画面の解像度が１９２０×１０８０（Ｆｕｌｌ  ＨＤ解像度）であったとする。このとき、画面生成サーバ１０は、デスクトップ上に１９２０×１０８０の描画領域のブラウザを４つ重ならないように配置し、このデスクトップ画面をキャプチャした後にブラウザの描画領域をクリッピングする。そして、画面生成サーバ１０は、クリッピングした各々のブラウザの描画領域の画像をエンコードした結果を、４つのブラウザの各々に対応する４つのクライアント端末に送信する。これにより、画面生成サーバ１０の１つのデスクトップ画面を、４台のクライアント端末で共用することができる。
【００１５】
画面生成サーバ１０は、所定のオペレーティングシステムを動作させることにより、各種のアプリケーションを実行する。例えば、画面生成サーバ１０は、オペレーティングシステムを動作させることにより、ブラウザ上でマウス操作を実行する。複数のクライアント端末２０が同時に１つのオペレーティングシステムにより動作する画面生成サーバ１０に接続される場合、従来はいずれか１台のクライアント端末がマウス操作を占有することになる。従って、画面生成サーバ１０は、マウス操作を占有するクライアント端末２０以外のクライアント端末２０からのタッチ操作をマウス操作に変換することができない。
【００１６】
そのため、画面生成サーバ１０は、１つのデスクトップを利用して複数のクライアント端末２０の画面イメージを生成する能力があるにもかかわらず、操作系の制約により１つのデスクトップに対して１台のクライアント端末２０しか収容できないという課題がある。発明者らは、デスクトップ仮想化の開発の過程において本課題を認識し、その課題を解決する画面生成装置、画面生成システム、及び、画面生成方法を発案するに至った。以下では、本開示にかかる画面生成装置、画面生成システム、及び、画面生成方法の技術的思想を具現化した一例として、実施の形態１の詳細を説明する。
【００１７】
［２．システム構成］
図２は、実施の形態１にかかる画面生成サーバ１０及び、クライアント端末２０の構成を示すブロック図である。画面生成サーバ１０は、複数のクライアント端末２０と同時に接続することができる。以下の説明では、複数のクライアント端末２０として、３台のクライアント端末２０ａ、２０ｂ、２０ｃが存在しているとする。
【００１８】
まず、クライアント端末２０の構成について説明する。クライアント端末２０は、画面生成サーバ１０から送信されるＨＴＭＬコンテンツ１１０の描画映像を再生・表示する。クライアント端末２０は符号化データ受信部２１、映像復号化部２２、表示部２３、タッチパネル２４、操作信号送信部２５を備える。以下、クライアント端末２０の構成について説明する。
【００１９】
符号化データ受信部２１は、画面生成サーバ１０とのネットワーク通信を行う通信モジュールである。符号化データ受信部２１は、画面生成サーバ１０より送信される映像符号化データを受信し、映像復号化部２２へ映像データを送信する。
【００２０】
映像復号化部２２は、符号化データ受信部２１より受信した映像符号化データを復号化し、映像データを復号化する復号化モジュールである。そして、映像復号化部２２は、生成した映像データを表示部２３に送信する。
【００２１】
表示部２３は、映像復号化部２２から受信した映像データをクライアント端末２０の利用者に対して表示する液晶ディスプレイなどの表示デバイスである。
【００２２】
タッチパネル２４は、クライアント端末２０の利用者からのタッチ操作を入力し、操作信号送信部２５へタッチ操作信号を送信する。タッチ操作信号の詳細については後述する。
【００２３】
操作信号送信部２５は、タッチパネル２４から受信したタッチ操作信号を画面生成サーバ１０に送信する通信モジュールである。
【００２４】
続いて、画面生成サーバ１０の構成について説明する。画面生成サーバ１０は、複数のクライアント端末２０ａ、２０ｂ、２０ｃからの映像配信リクエストに応じて、複数のクライアント端末２０ａ、２０ｂ、２０ｃに各々の映像を配信する。また、画面生成サーバ１０は、各クライアント端末２０ａ、２０ｂ、２０ｃのタッチ操作信号を受信し、各ブラウザ１１ａ、１１ｂ、１１ｃに反映する。ブラウザ１１（１１ａ、１１ｂ、１１ｃ）は、各々のクライアント端末２０（２０ａ、２０ｂ、２０ｃ）に対応する。
【００２５】
画面生成サーバ１０は、ブラウザ１１（１１ａ、１１ｂ、１１ｃ）、画面キャプチャ部１２、映像符号化部１３、符号化データ送信部１４、操作信号受信部１５、操作種別判定部１６、操作信号変換部１７の各ブロックを有する。以下、これらの構成について説明する。
【００２６】
操作信号受信部１５は、クライアント端末２０から第１操作信号としてのタッチ操作信号を受信する通信モジュールである。操作信号受信部１５は、受信したタッチ操作信号を操作種別判定部１６に送信する。
【００２７】
操作種別判定部１６は、操作信号受信部１５から受信したタッチ操作信号に基づいて、タッチ操作の種別（タップ、フリック、スワイプなど）を判定し、操作種別によってタッチ操作信号を操作信号変換部１７又はブラウザ１１に送信する。操作種別に基づいてタッチ操作信号の送信経路を選択する理由については後述する。
【００２８】
操作信号変換部１７は、操作種別判定部１６から受信したタッチ操作信号をマウス操作信号へ変換し、ブラウザ１１に変換後のマウス操作信号を送信する。マウス操作信号の詳細および変換処理の詳細は後述する。
【００２９】
ブラウザ１１（１１ａ、１１ｂ、１１ｃ）は、対応する各クライアント端末２０（２０ａ、２０ｂ、２０ｃ）に送信するコンテンツの画面を描画する。そして、ブラウザ１１は、ネットワーク上に存在する、或いは、画面生成サーバ１０内に蓄積されたＨＴＭＬコンテンツ１１０を表示・再生する。また、ブラウザ１１は、操作信号変換部１７からマウス操作信号を受信してＨＴＭＬコンテンツ１１０に対してイベント発行処理を行うイベント発行処理部１８と、ＷｅｂＳｏｃｋｅｔなどの通信手段を介して、操作種別判定部１６からタッチ操作信号を直接受信するタッチ操作信号受信部１９を有している。イベント発行処理は、ブラウザに表示されたＨＴＭＬコンテンツをマウスで操作（例えば、リンクのクリックなど）した際に、マウスで操作された座標（Ｘ，Ｙ）の情報から、ＨＴＭＬコンテンツ内のどの要素に対して操作イベント情報を送信するべきかを決定する、「座標⇒要素変換」処理である。また、ブラウザ１１が操作信号の受信経路を２種類具備している理由については後述する。
【００３０】
画面キャプチャ部１２は、デスクトップをキャプチャし、キャプチャされた画面から各ブラウザ１１ａ、１１ｂ、１１ｃの表示領域をクリッピングする。そして、画面キャプチャ部１２は、各クリッピング画像を映像符号化部１３へ送信する。
【００３１】
映像符号化部１３は、画面キャプチャ部１２から受信したクリッピング画像を映像として符号化し、符号化データ送信部１４へ送信する符号化モジュールである。映像符号化部１３は、各クライアント端末２０ａ、２０ｂ、２０ｃ向けの映像符号化データを並行して生成する。
【００３２】
符号化データ送信部１４は、各クライアント端末２０ａ、２０ｂ、２０ｃへ符号化データを送信するネットワーク通信モジュールである。
【００３３】
［３．タッチ操作信号］
タッチ操作信号は、クライアント端末２０の利用者のタッチ操作の内容をイベントと補足情報の組合せで表現したものである。図３に本開示の画面生成システムで使用するタッチ操作信号の一覧を示す。イベント「ＤＯＷＮ」は、タッチパネル２４に接触物、例えば、指が接触した場合に発生する。イベント「ＤＯＷＮ」が発生したとき、指の接触位置の座標情報が補足情報として与えられる。イベント「ＭＯＶＥ」は、イベント「ＤＯＷＮ」発生後にタッチパネル２４上を指が移動した場合に発生する。イベント「ＭＯＶＥ」が発生したとき、指の移動先の座標情報が補足情報として与えられる。イベント「ＵＰ」は、指がタッチパネル２４から離脱した場合に発生する。イベント「ＵＰ」が発生したとき、指の離脱位置を表す座標情報が補足情報として与えられる。イベント「ＳＣＡＬＥ」は、イベント「ＤＯＷＮ」発生後に、指がタッチパネル２４上をピンチイン／ピンチアウトした場合に発生する。イベント「ＳＣＡＬＥ」が発生したとき、拡大／縮小率を示す情報が補足情報として与えられる。イベント「ＲＯＴＡＴＥ」は、イベント「ＤＯＷＮ」発生後に、指がタッチパネル２４上を回転した場合に発生する。イベント「ＲＯＴＡＴＥ」が発生したとき、回転角度を示す情報が補足情報として与えられる。
【００３４】
［４．マウス操作信号］
マウス操作信号は、マウス操作の内容をイベントと補足情報の組合せで表現したものである。図４に本開示の画面生成システムで使用するマウス操作信号の一覧を示す。イベント「ＬＥＦＴ_ＢＵＴＴＯＮ_ＤＯＷＮ」は、マウスの左ボタンが押されたことを示す。イベント「ＬＥＦＴ_ＢＵＴＴＯＮ_ＤＯＷＮ」が発生したとき、左ボタンが押されたときのマウスポインタの座標情報が補足情報として与えられる。イベント「ＭＯＶＥ」は、マウスが移動した際に発生する。イベント「ＭＯＶＥ」が発生したとき、マウスポインタの移動先の座標情報が補足情報として与えられる。イベント「ＬＥＦＴ_ＢＵＴＴＯＮ_ＵＰ」は、マウスボタンが離される際に発生する。イベント「ＬＥＦＴ_ＢＵＴＴＯＮ_ＵＰ」が発生したとき、マウスボタンが離された時点のマウスポインタの位置を表す座標情報が補足情報として与えられる。
【００３５】
［５．タッチ操作信号とマウス操作信号の対応テーブル］
図５は、操作信号変換部１７が参照するタッチ操作信号とマウス操作信号の対応テーブルである。まず、操作信号変換部１７は、図５のテーブルのタッチ操作信号のイベント欄を参照し、現在処理中のタッチ操作信号のイベントの行を選択する。次に、操作信号変換部１７は、選択した行のマウス操作のイベントを参照し、送信するマウス操作信号のイベントを決定する。これにより、操作信号変換部１７は、タッチ操作信号をマウス操作信号へと変換することができる。
【００３６】
［６．タッチ操作信号の送信経路について］
上述したように、１つのオペレーティングシステムにより動作する画面生成サーバ１０に、複数のクライアント端末２０が同時に接続される場合、従来はいずれか１台のクライアント端末２０がマウス操作を占有することになる。従って、画面生成サーバ１０は、マウス操作を占有するクライアント端末２０以外のクライアント端末２０からのタッチ操作をマウス操作に変換することができない。そこで、１つのデスクトップで複数のクライアント端末２０のタッチ操作を受信可能にするために、図６Ａ、図６Ｂに示す２つの方式のどちらかを使用することが考えられる。図６Ａ、図６Ｂは、タッチ操作信号の転送方式を示す図である。
【００３７】
図６Ａは、指がタッチパネルに触れてから離れるまでをタッチ操作の１処理単位として、例えば、処理単位毎にマウス操作をクライアント端末２０ａが占有し、他のクライアント端末２０ｂ、２０ｃからのタッチ操作入力を排他する方式１を示している。マウス操作を占有するクライアント端末２０ａからのタッチ操作信号は、マウス操作信号へと変換された後に、対応するブラウザ１１ａへと第１経路で送信される。
【００３８】
一方、図６Ｂは、ＷｅｂＳｏｃｋｅｔなどを使用して、マウス操作を経由せずに、各クライアント端末２０ａ、２０ｂ、２０ｃからのタッチ操作信号を、対応するブラウザ１１ａ、１１ｂ、１１ｃへと第２経路で直接送信する方式２を示している。
【００３９】
図７は、方式１及び方式２の長所・短所を比較した結果を示す。図７に記載している「座標⇒要素変換処理」は、タッチ操作の補足情報として送信される座標から、イベント発行対象のＨＴＭＬ要素を決定する処理である。方式１では、タッチ操作はブラウザをマウス操作した場合と同様に処理される。すなわち、この処理はブラウザにより行われる。一方、方式２では、ブラウザ上で動作しているＪａｖａＳｃｒｉｐｔ（登録商標）がタッチ操作のイベントを直接受信するため、「座標⇒要素変換処理」をＪａｖａＳｃｒｉｐｔ（登録商標）で実装しなければならない。この処理は、操作イベントが発生する都度、操作対象となる各要素に対して、イベント発行対象であるかを判定する処理を行うこととなる。そのため、操作対象要素が増えるほど処理負荷が大きくなる。従って、方式２は、処理対象の要素数が多い場合には適用が困難である。
【００４０】
一方、方式１は、あるクライアント端末２０ａのタッチ操作を処理している最中には、他のクライアント端末２０ｂ、２０ｃからのタッチ操作信号を受信しないため、スワイプ、ピンチイン／アウトといった処理時間が数秒にわたる可能性がある操作に対しては適用できない。
【００４１】
このように、方式１、方式２ともに適用が困難なケースが存在するため、どちらか一方の方式で全てのタッチ操作を扱うことは難しい。そこで本開示の画面生成装置、画面生成システム、及び、画面生成方法では、タッチ操作を特性に応じて分類した上で、タッチ操作の種別に応じて、方式１、方式２の好適な方式を適用するハイブリッド方式を採用することとした。すなわち、操作種別判定部１６は、クライアント端末２０から受信したタッチ操作信号の種別に応じて、マウス操作経由でブラウザに送信する経路と、ブラウザ１１に直接送信する経路の２種類を使い分ける。
【００４２】
図８は、主なタッチ操作の種別の分類結果を示す。図８が示す分類結果の分類軸は、１）操作時間の長い／短い、及び、２）ＨＴＭＬコンテンツにおいて操作対象要素の要素数が多い／少ないである。この分類によると、タッチ操作は、グループＡ、Ｂ、Ｃの３つのグループに分かれる。
【００４３】
グループＡに属するタッチ操作は、操作時間が短く、操作対象要素が画面上に多数存在するという特性を有する。グループＡには、タップ操作、フリック操作が属する。例えば、タップ操作はタッチパネル２４に接触してから離脱するまでの時間が１００ミリ秒未満であり、操作時間が非常に短い。また、タップ操作の操作対象要素はリンクやリスト内のアイテムであり、画面内に多数の処理対象要素をもつケースがある。そのため、グループＡに属するタッチ操作については、「座標⇒要素変換処理」を行うＪａｖａＳｃｒｉｐｔ（登録商標）の実装が困難である。従って、グループＡに属するタッチ操作に対しては、方式２は不適であり、方式１が好適となる。
【００４４】
グループＢに属するタッチ操作は、操作時間が長く、画面内に操作対象となる要素の数が少ないという特性を有する。グループＢには、スワイプ操作、ピンチ操作、ローテート操作が属する。例えば、スワイプ操作は、画面に接触してから離脱するまでの操作が数秒以上となる場合もあり、操作時間が長くなるケースがある。そのため、方式１による排他制御を行うと、タッチ操作信号が受理されないクライアント端末２０が発生する可能性が高い。また、グループＢに属するタッチ操作は、リストや画面全体をスクロールするなど、ある程度の広さの領域を持つ要素に対する操作であるため、操作対象を画面内に多数配置するケースはあまりない。そのため、グループＢに属するタッチ操作については、「座標⇒要素変換処理」を行うＪａｖａＳｃｒｉｐｔ（登録商標）の実装が比較的容易である。従って、グループＢに属するタッチ操作については、方式１は不適であり、方式２が好適となる。
【００４５】
グループＣに属するタッチ操作は、操作時間が長く、操作対象要素が多数存在するという特性を有する。グループＣには、ロングタップが属する。ロングタップは、操作時間が長いケースがあるともに、操作対象要素が画面内に多数の処理対象要素をもつケースがある。従って、このグループＣに属する操作は、方式１、方式２ともに不適である。このグループＣに属するタッチ操作は、実施の形態１にかかるシステムでは利用できないが、このグループＣに属する操作はロングタップのみである。この操作が使用不能であってもコンテンツ制作やユーザインタフェース設計への影響はほとんどないものと考える。なお、本開示は、グループＣに属するタッチ操作を、排除するものではない。すなわち、グループＣに属するタッチ操作については、設計思想に応じて、方式１或いは方式２を採用することとしてもよい。
【００４６】
以上より、操作種別判定部１６は、タッチ操作信号の操作種別を判定する。そして、操作種別判定部１６は、グループＡのタッチ操作であると判定した場合は、タッチ操作信号の送信を方式１（マウス操作信号に変換して送信）とし、グループＢのタッチ操作であると判定した場合は、タッチ操作信号の送信を方式２（タッチ操作信号を直接送信）とする。これにより、各々の方式の短所を補って実用可能な操作処理を行うことができる。
【００４７】
［７．操作種別判定部１６の処理フロー］
図９は、操作種別判定部１６の動作を示すフローチャートである。まず、操作種別判定部１６は、クライアント端末２０からタッチ操作信号を受信する（ステップＳ１０１）。次に、操作種別判定部１６は、受信したタッチ操作信号のイベントが「ＳＣＡＬＥ」又は「ＲＯＴＡＴＥ」であるかを判定する（ステップＳ１０２）。タッチ操作信号が「ＳＣＡＬＥ」又は「ＲＯＴＡＴＥ」であった場合（ステップＳ１０２におけるＹｅｓ）、操作種別判定部１６は、タッチ操作信号がピンチ又はローテートであると判定する（ステップＳ１０３）。ピンチ及びローテートは、グループＢに属するタッチ操作であるので、操作種別判定部１６は、方式２を採用しタッチ操作信号をブラウザ１１へ送信し（ステップＳ１０４）、ステップＳ１０１へ戻る。
【００４８】
ステップＳ１０２においてタッチ操作信号のイベントが「ＳＣＡＬＥ」又は「ＲＯＴＡＴＥ」でない場合（ステップＳ１０２におけるＮｏ）、操作種別判定部１６は、タッチ操作信号が「ＤＯＷＮ」であるかを判定する（ステップＳ１０５）。タッチ操作信号が「ＤＯＷＮ」である場合（ステップＳ１０５におけるＹｅｓ）、操作種別判定部１６は、タッチ操作信号の送信経路が未確定である場合にタッチ操作信号を一旦保存しておくためのメモリのキュー内のタッチ操作信号を全削除する（ステップＳ１０６）。そして、操作種別判定部１６は、ステップＳ１０１において受信したタッチ操作信号をメモリのキュー内に保存する（ステップＳ１０７）。続いて、操作種別判定部１６は、イベント「ＤＯＷＮ」を受信したタイミングを管理するため、メモリに現在時刻を保存し（ステップＳ１０８）、ステップＳ１０１へ戻る。
【００４９】
ステップＳ１０５においてタッチ操作信号が「ＤＯＷＮ」でない場合（ステップＳ１０５におけるＮｏ）、操作種別判定部１６は、ステップＳ１０８で記録された時刻情報と、現在時刻とに基づいて、イベント「ＤＯＷＮ」を受信してから所定時間（数十ミリ秒〜数百ミリ秒を想定）が過ぎているかどうかを判定する（ステップＳ１０９）。所定時間を過ぎている場合（ステップＳ１０９におけるＹｅｓ）、操作種別判定部１６は、タッチ操作の種別はスワイプであると判定する（ステップＳ１１０）。スワイプは、グループＢに属するタッチ操作であるので、操作種別判定部１６は、方式２を採用する。そして、操作種別判定部１６は、メモリのキュー内に存在するタッチ操作信号と、最新のタッチ操作信号をブラウザに直接送信し（ステップＳ１１１）、ステップＳ１０１へ戻る。
【００５０】
ステップＳ１０９において所定時間を経過していない場合（ステップＳ１０９におけるＮｏ）、操作種別判定部１６は、タッチ操作信号のイベントが「ＵＰ」であるかを判定する（ステップＳ１１２）。タッチ操作信号が「ＵＰ」である場合（ステップＳ１１２におけるＹｅｓ）、タッチ操作がタップ又はフリップであると判定する（ステップＳ１１３）。タップ及び、フリップは、グループＡに属するタッチ操作であるので、操作種別判定部１６は、方式１を採用する。そして、操作種別判定部１６は、メモリのキュー内に存在するタッチ操作信号と、最新のタッチ操作信号を操作信号変換部１７に送信する（ステップＳ１１４）。操作種別判定部１６は、ステップＳ１１４においてタッチ操作信号を操作信号変換部１７に送信した後、ステップＳ１０８においてメモリ内に保存していた時刻情報をクリアし（ステップＳ１１５）、ステップＳ１０１へ戻る。
【００５１】
ステップＳ１１２においてタッチ操作信号が「ＵＰ」でない場合（ステップＳ１１２におけるＮｏ）、操作種別判定部１６は、タッチ操作信号をメモリのキューに保存し（ステップＳ１１６）、ステップＳ１０１へ戻る。
【００５２】
図１０は操作信号変換部１７の動作を示すフローチャートである。まず、操作信号変換部１７は、タッチ操作信号を操作種別判定部１６より受信する（ステップＳ２０１）。次に、操作信号変換部１７は、図５に示したタッチ操作信号とマウス操作信号の対応関係を記述したテーブルを参照し、タッチ操作信号をマウス操作信号に変換する（ステップＳ２０２）。そして、操作信号変換部１７は、対応するマウス操作信号をブラウザ１１に送信する（ステップＳ２０３）。ステップＳ２０３が終わると、ステップＳ２０１に戻り、ステップＳ２０１〜ステップＳ２０３の処理を繰り返す。
【００５３】
以上のように、操作種別判定部１６は、各クライアント端末２０から受信したタッチ操作信号に基づいて、タッチ操作の種別（タップ、フリック、スワイプなど）を判定し、その判定結果に応じて、タッチ操作信号を操作信号変換部１７へ送ってマウス操作に変換してからブラウザ１１へ送るか、マウス操作には変換せずにブラウザ１１へ直接送信するかを判定する。そして、ブラウザ１１が操作種別判定部１６の判定結果に基づいて、タッチ操作信号、又は、マウス操作信号でコンテンツを生成する。これにより、複数のクライアント端末による操作を、サーバの１つのデスクトップで操作することが可能となる。
【００５４】
なお、本実施の形態において、画面生成サーバ１０の１つのデスクトップ画面を、４台のクライアント端末で共用するとしたが、２台以上のクライアント端末で共用するとしてもよい。
【００５５】
なお、本実施の形態において、画面生成サーバ１０のデスクトップ画面（解像度が３８４０×２１６０）をクライアント端末２０の画面（解像度が１９２０×１０８０）を複数台分描画できる１つの画面としたが、クライアント端末２０の画面（解像度が１９２０×１０８０）を複数台分描画できる複数のシートを有するブック形式としてもよい。
【００５６】
（実施の形態２）
上記の実施の形態１においては、操作種別判定部１６は、画面生成サーバ１０に配置されている場合を示したが、本実施の形態はこれに限定されない。図１１は、実施の形態２にかかる画面生成サーバ及びクライアント端末の構成を示すブロック図である。図１１に示すように、画面生成システムは、操作種別判定部２６がクライアント端末２０に設置されていてもよい。
【００５７】
実施の形態２では、操作種別判定部２６が各クライアント端末２０に設置されており、タッチ操作信号を操作信号送信部２５、操作信号受信部１５を介して送信するとき判定したグループＡとグループＢをポート分けして送信する。これらの点以外の構成は、図２に示す実施の形態１の構成と同様であるため説明を省略する。操作種別判定部２６を各クライアント端末２０に設置する構成とすることで、操作種別判定を各クライアント端末２０が実施することとなり、処理負荷が分散される利点がある。
【００５８】
なお、本実施の形態において、操作種別判定部２６からタッチ操作信号をポート分けして送信するとしたが、操作種別判定部２６がタッチ操作信号とタッチ操作信号の判定結果を操作信号受信部１５に送信し、操作信号受信部１５がタッチ操作信号の判定結果に基づいて、タッチ操作信号のグループＡとグループＢを操作信号変換部１７又はタッチ操作信号受信部１９に分けて送信するとしてもよい。これにより、操作信号送信部２５のポートの数を低減することができる。
【産業上の利用可能性】
【００５９】
本開示にかかる画面生成装置、画面生成システム、及び、画面生成方法は、画面生成サーバ、或いは、画面生成サーバに接続されるクライアント端末に適用することができる。
【符号の説明】
【００６０】
１０    画面生成サーバ
１１，１１ａ，１１ｂ，１１ｃ    ブラウザ
１２    画面キャプチャ部
１３    映像符号化部
１４    符号化データ送信部
１５    操作信号受信部
１６    操作種別判定部
１７    操作信号変換部
１８    イベント発行処理部
１９，１９ａ，１９ｂ，１９ｃ    タッチ操作信号受信部
２０，２０ａ，２０ｂ，２０ｃ    クライアント端末
２１    符号化データ受信部
２２    映像復号化部
２３    表示部
２４    タッチパネル
２５    操作信号送信部
２６    操作種別判定部
１１０    ＨＴＭＬコンテンツ
２００    大型ディスプレイ
３００    スマートフォン
４００    タブレット
【手続補正２】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
複数の端末からタッチ操作の第１操作信号を受信し、前記複数の端末の各々に対応したコンテンツを送信する画面生成装置であって、
前記第１操作信号を受信する操作信号受信部と、
前記第１操作信号のタッチ操作の種別を判定する操作種別判定部と、
前記第１操作信号を前記タッチ操作の種別と対応関係にあるマウス操作の種別の第２操作信号に変換する操作信号変換部と、
前記操作種別判定部の判定結果に基づいて、前記第１操作信号、又は、第２操作信号のいずれかの操作信号の送信経路が選択され、前記第１操作信号、又は、前記第２操作信号で前記複数の端末に対応したコンテンツの画面を生成する複数のブラウザとを備える
画面生成装置。
【請求項２】
前記ブラウザは、前記操作種別判定部の判定結果に基づいて、複数の端末からの前記第１操作信号で前記複数の端末に対応したコンテンツの画面を生成する、又は、所定の端末の前記第２操作信号で他の端末からの第１操作信号を排他しながら前記所定の端末に対応したコンテンツの画面を生成する請求項１に記載の画面生成装置。
【請求項３】
前記操作種別判定部は、前記第１操作信号を操作時間および操作対象要素数によって判定する請求項１に記載の画面生成装置。
【請求項４】
前記タッチ操作の種別が、操作対象要素数が少なく、かつ、操作時間が長いとき、前記ブラウザは前記第１操作信号で前記コンテンツの画面を生成し、
前記タッチ操作の種別が、操作対象要素数が多く、かつ、操作時間が短いとき、前記ブラウザは前記第１操作信号で前記コンテンツの画面を生成する請求項３に記載の画面生成装置。
【請求項５】
前記タッチ操作の種別がスワイプ、ピンチ、ローテートのいずれかのとき、前記ブラウザは前記第１操作信号で前記コンテンツの画面を生成する請求項４に記載の画面生成装置。
【請求項６】
前記タッチ操作の種別がタップ、又は、フリックのとき、前記ブラウザは前記第２操作信号で前記コンテンツの画面を生成する請求項４に記載の画面生成装置。
【請求項７】
複数の端末と、複数の端末からタッチ操作の第１操作信号を受信し、前記複数の端末の各々に対応したコンテンツを送信する画面生成装置を備える画面生成システムであって、
前記複数の端末は、タッチパネルにより入力されたタッチ操作を前記第１操作信号として前記画面生成装置に送信する操作信号送信部を備え、
前記画面生成装置は、
前記第１操作信号を受信する操作信号受信部と、
前記第１操作信号のタッチ操作の種別を判定する操作種別判定部と、
前記第１操作信号を前記タッチ操作の種別と対応関係にあるマウス操作の種別の第２操作信号に変換する操作信号変換部と、
前記操作種別判定部の判定結果に基づいて、前記第１操作信号、又は、第２操作信号のいずれかの操作信号の送信経路が選択され、前記第１操作信号、又は、前記第２操作信号で前記複数の端末に対応したコンテンツの画面を生成する複数のブラウザとを備える
画面生成システム。
【請求項８】
複数の端末と、前記複数の端末からタッチ操作の第１操作信号を受信し、前記複数の端末の各々に対応したコンテンツを送信する画面生成装置を備える画面生成システムであって、
前記複数の端末は、タッチパネルにより入力された前記第１操作信号のタッチ操作の種別を判定する操作種別判定部と、前記第１操作信号と前記操作種別判定部の判定結果を前記画面生成装置に送信する操作信号送信部を備え、
前記画面生成装置は、
前記第１操作信号を受信する操作信号受信部と、
前記第１操作信号を前記タッチ操作の種別と対応関係にあるマウス操作の種別の第２操作信号に変換する操作信号変換部と、
前記操作種別判定部の判定結果に基づいて、前記第１操作信号、又は、第２操作信号のいずれかの操作信号の送信経路が選択され、前記第１操作信号、又は、前記第２操作信号で前記複数の端末に対応したコンテンツの画面を生成する複数のブラウザとを備える
画面生成システム。
【請求項９】
複数の端末からタッチ操作の第１操作信号を受信し、前記複数の端末の各々に対応したコンテンツを送信する画面生成方法であって、
前記第１操作信号を受信し、
前記第１操作信号のタッチ操作の種別を判定し、
前記第１操作信号を前記タッチ操作の種別と対応関係にあるマウス操作の種別の第２操作信号に変換し、
前記判定結果に基づいて、前記第１操作信号、又は、第２操作信号のいずれかの操作信号の送信経路が選択され、前記第１操作信号、又は、前記第２操作信号で前記複数の端末に対応したコンテンツの画面を生成する
画面生成方法。
【手続補正３】
【補正対象書類名】図面
【補正対象項目名】全図
【補正方法】変更
【補正の内容】
【図１】
2016059737.tif 000015
【図２】
2016059737.tif 000016
【図３】
2016059737.tif 000017
【図４】
2016059737.tif 000018
【図５】
2016059737.tif 000019
【図６Ａ】
2016059737.tif 000020
【図６Ｂ】
2016059737.tif 000021
【図７】
2016059737.tif 000022
【図８】
2016059737.tif 000023
【図９】
2016059737.tif 000024
【図１０】
2016059737.tif 000025
【図１１】
2016059737.tif 000026
【国際調査報告】
2016059737.tif 000027
2016059737.tif 000028
2016059737.tif 000029
2016059737.tif 000030