(57)【要約】【課題】コンテンツに対して拡大、縮小、スクロール等の表示形態の変形を行う場合に、その変形限界をユーザにわかりやすく提示する表示制御装置を提供する。【解決手段】ユーザの操作によりその表示形態が変形可能なコンテンツを表示画面に表示する表示制御装置２００である。コンテンツの表示形態の変形指示を取得する操作取得部２０２と、変形指示が変形の限界を表す限界量を超えた変形を指示する場合に、指示された変形とは異なる表示形態にコンテンツを歪ませる画像変形部２０６と、を備える。【選択図】図２
2014182638.tif 000002
【特許請求の範囲】
【請求項１】
ユーザの操作によりその表示形態が変形可能なコンテンツを、予め定められた表示画面に表示させる表示手段と、
表示形態の変形指示を取得する操作取得手段と、
前記変形指示が変形の限界を表す限界量を超えた変形を指示する場合に、指示された変形とは異なる表示形態に前記コンテンツを歪ませる画像変形手段と、を備えることを特徴とする、
表示制御装置。
【請求項２】
前記変形指示は、前記コンテンツの表示形態の操作量の指示を含んでおり、
前記画像変形手段は、前記操作量と前記限界量との差分に応じて前記コンテンツの歪みの程度を変化させることを特徴とする、
請求項１に記載の表示制御装置。
【請求項３】
前記変形指示は、前記コンテンツの表示形態の変形方向の指示を含んでおり、
前記限界量で変形した前記コンテンツの限界画像の表示領域を等間隔のメッシュ状に分割し、前記差分及び前記変形方向に応じて前記メッシュの各交点を移動させることで、歪んだメッシュを生成する変形情報生成手段を更に備え、
前記画像変形手段は、前記歪んだメッシュに前記限界画像をテクスチャマッピングすることで、前記差分に応じて前記コンテンツの歪みの程度を変化させることを特徴とする、
請求項２に記載の表示制御装置。
【請求項４】
前記変形情報生成手段は、前記メッシュの各交点が移動する量を、このメッシュの予め定められた点からの距離に応じて変化させることを特徴とする、
請求項３に記載の表示制御装置。
【請求項５】
前記変形情報生成手段は、前記予め定められた点から一定の距離以上離れた交点については移動を行わないことを特徴とする、
請求項４に記載の表示制御装置。
【請求項６】
前記変形情報生成手段は、前記メッシュの各交点を、３次元方向に移動させることを特徴とする、
請求項５に記載の表示制御装置。
【請求項７】
前記変形の終了指示を検出する終了操作検出手段と、
前記終了指示を検出した時点で、前記表示画面に表示されたコンテンツが歪んでいる場合に、前記表示画面を前記限界画像に更新する画像回復手段と、をさらに備えることを特徴とする、
請求項６に記載の表示制御装置。
【請求項８】
ユーザの操作によりその表示形態が変形可能なコンテンツを、予め定められた表示画面に表示させる表示制御装置により実行される方法であって、
表示形態の変形指示を取得するステップと、
前記変形指示が変形の限界を表す限界量を超えた変形を指示する場合に、指示された変形とは異なる表示形態に前記コンテンツを歪ませるステップと、を含むことを特徴とする、
表示制御方法。
【請求項９】
ユーザの操作によりその表示形態が変形可能なコンテンツを、予め定められた表示画面に表示させるコンピュータを、
表示形態の変形指示を取得する操作取得手段、
前記変形指示が変形の限界を表す限界量を超えた変形を指示する場合に、指示された変形とは異なる表示形態に前記コンテンツを歪ませる画像変形手段、
として機能させるためのコンピュータプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ディスプレイに表示されるコンテンツの表示制御技術に関し、特に、コンテンツの表示形態を変形する際の表示制御技術に関する。
【背景技術】
【０００２】
タブレットＰＣ（Personal Computer）やスマートフォン等のように、ディスプレイとしてマルチタッチスクリーンを備えた情報処理装置が普及している。このような情報処理装置では、複数の指を用いたジェスチャにより、タッチスクリーンに表示されたコンテンツの表示形態の変形が可能である。コンテンツの表示形態の変形には、スクロール（平行移動）、拡大、縮小、回転等がある。例えば、タッチスクリーンに触れている指を一方向に直線的に動かすことでコンテンツを該方向にスクロールさせることができる。また、二本の指間の距離を近接することでコンテンツを縮小表示させ、離隔することでコンテンツを拡大表示させることができる。
【０００３】
コンテンツを変形することで、コンテンツがタッチスクリーンの表示領域をはみ出したり、表示領域よりも小さくなってコンテンツの縁部がタッチスクリーン上に表示されることがある。特許文献１では、コンテンツの縁部を越えて表示する必要がある場合に、縁部を越える領域に余白領域を表示する。余白領域の表示後に、コンテンツの変形を終了すると、コンテンツが表示領域に収まる大きさに戻る。
コンテンツを拡大、縮小する場合の拡大率（あるいは縮小率）には規定の倍率が設けられる。コンテンツを規定の倍率以上に拡大操作（あるいは縮小操作）した場合、コンテンツは一時的に拡大して表示（あるいは縮小して表示）されるが、操作を終了すると規定の倍率の大きさに戻る。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１１−２３００４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
特許文献１では、一時的にコンテンツが変形の限界に相当する規定の倍率を超えて拡大して表示（あるいは縮小して表示）される。そのため、拡大、縮小の変形限界がユーザにわかりづらく、ユーザは、変形限界を超えても、なおコンテンツの拡大操作、縮小操作を行うことがある。スクロールを行う場合にも、コンテンツの縁部を超えてスクロール操作を行うことがある。
【０００６】
本発明は、上記の問題を解決するために、コンテンツに対して拡大、縮小、スクロール等の表示形態の変形を行う場合に、その変形限界をユーザにわかりやすく提示する表示制御装置を提供することを主たる課題とする。
【課題を解決するための手段】
【０００７】
上記課題を解決する本発明の表示制御装置は、ユーザの操作によりその表示形態が変形可能なコンテンツを、予め定められた表示画面に表示させる表示手段と、表示形態の変形指示を取得する操作取得手段と、前記変形指示が変形の限界を表す限界量を超えた変形を指示する場合に、指示された変形とは異なる表示形態に前記コンテンツを歪ませる画像変形手段と、を備えることを特徴とする。
【発明の効果】
【０００８】
本発明によれば、コンテンツに対して拡大、縮小、スクロール等の表示形態の変形を行う場合に、その変形限界をユーザにわかりやすく提示することができる。
【図面の簡単な説明】
【０００９】
【図１】表示制御装置のハードウェア構成図。
【図２】表示制御装置の機能ブロック図。
【図３】コンテンツの操作時の処理手順を表すフローチャート。
【図４】（ａ）〜（ｇ）は、変形処理における交点の移動に関する式を表す図。
【図５】（ａ）は変形前のメッシュの例示図、（ｂ）は変形後のメッシュの例示図。
【図６】（ａ）〜（ｄ）はコンテンツの例示図。
【図７】（ａ）は変形前のメッシュの例示図、（ｂ）は変形後のメッシュの例示図。
【図８】（ａ）は変形前のメッシュの例示図、（ｂ）は変形後のメッシュの例示図。
【図９】表示制御装置の機能ブロック図。
【図１０】操作終了時の処理手順を表すフローチャート。
【図１１】（ａ）〜（ｄ）はコンテンツの例示図。
【図１２】（ａ）は変形前のメッシュの例示図、（ｂ）及び（ｃ）は変形後のメッシュの例示図。
【図１３】（ａ）は変形前のメッシュの例示図、（ｂ）は変形後のメッシュの例示図。
【図１４】（ａ）は変形前のメッシュの例示図、（ｂ）は変形後のメッシュの例示図。
【図１５】（ａ）〜（ｄ）はコンテンツの例示図。
【図１６】（ａ）は変形前のメッシュの例示図、（ｂ）は変形後のメッシュの例示図。
【図１７】（ａ）、（ｂ）はコンテンツの例示図。
【発明を実施するための形態】
【００１０】
以下、本発明の実施の形態を図面を参照しつつ詳細に説明する。
【００１１】
［全体構成］
図１は、表示制御装置のハードウェア構成図である。この表示制御装置は、例えばタブレットＰＣやスマートフォン等の情報処理装置により実現される。
ＣＰＵ（Central Processing Unit）１０１は、マイクロプロセッサ等で構成されており、表示制御装置全体の動作制御を行う。ＲＯＭ（Read Only Memory）１０２は、表示制御装置による動作を制御するためのコンピュータプログラム等を格納する。ＲＡＭ（Random Access Memory）１０３は、ＣＰＵ１０１が処理を実行する際の作業領域となるメモリであり、処理中のデータ等を一時記憶する。
【００１２】
出力部１０４は、表示画面を有するディスプレイ、スピーカ等であり、ユーザに画像や音を提供する。入力部１０５は、キーボード、タッチパネル、マウス、ボタン、タッチパッド、カメラ等であり、データの入力が可能である。本実施形態では、ディスプレイとタッチパネルとが一体に構成されたタッチスクリーンを用いる。
【００１３】
補助記憶部１０６は、ハードディスクやフラッシュメモリ、メモリカード等で構成される大容量の記憶装置である。ネットワークインタフェース（Ｉ／Ｆ）１０７は、外部の他の装置との間で通信を行うものである。
【００１４】
図２は、ＣＰＵ１０１がＲＯＭ１０２からコンピュータプログラムを読み込んで実行することにより、表示制御装置２００内に形成される機能ブロックの構成図である。表示制御装置２００には、検出部２０１、操作取得部２０２、超過量取得部２０３、描画結果取得部２０４、変形情報生成部２０５、画像変形部２０６、及び表示部２０７が形成される。なお、図２は、コンテンツのスクロールや、拡大、縮小等の表示形態の変形を行うためのブロック構成図であり、表示制御装置２００で行われる他の処理のための機能ブロックについては、図示を省略している。
【００１５】
コンテンツは、電子コンテンツであり、操作画面、ウェブページ、静止画、動画、プレゼンテーション、スプレッドシート、電子文書、電子メール等の出力部１０４に表示可能な画像である。コンテンツは、ユーザの操作により表示形態が変形可能である。コンテンツには、表示形態の変形の限界を表す限界量（以下、「変形限界量」という。）が設定される。変形限界量は、以下のようなものである。変形が拡大、縮小の場合、それ以上拡大、縮小できなくなる最大拡大率、最大縮小率が変形限界量になる。変形が回転の場合、それ以上回転できなくなる角度が変形限界量になる。変形がスクロールの場合、それ以上スクロールできなくなるスクロール限界位置が変形限界量になる。
【００１６】
検出部２０１は、タッチスクリーンから通知される情報に基づいて、ユーザがタッチスクリーン上をタッチすることで指定するタッチ位置の移動情報を検出する。タッチスクリーンから通知される情報には、タッチイベントが含まれる。本実施形態で用いるタッチスクリーンは、タッチの開始を表す「ＤＯＷＮ」、指やスタイラスがタッチしたまま移動されたことを表す「ＭＯＶＥ」、タッチ点がリリースされたことを表す「ＵＰ」の３種類のイベントを通知する。検出部２０１は、「ＭＯＶＥ」イベントが検出されたことに応じて、タッチ位置の移動方向、移動量、操作を開始した始点のタッチ位置、操作を終了した終点のタッチ位置等を含む移動情報を検出する。ここで「ＭＯＶＥ」イベントとは、ユーザがタッチした指をタッチスクリーン上から離すことなく移動させた場合に通知されるタッチイベントである。検出部２０１に検出されるタッチ位置の移動方向は、コンテンツの拡大、縮小の方向、スクロールの方向、回転の方向等、表示形態を変形する操作の操作方向となる。また移動量が、コンテンツの表示形態の変形量、すなわち操作量となる。ユーザは、タッチスクリーンやタッチパッド上をタッチさせた指、スタイラス、ポインタ、カーソル等のオブジェクトで位置を指定するとともに、オブジェクトを、タッチさせたまま移動させることで指定した位置を移動させることができる。一例として、以下ではユーザがオブジェクトとして指を使ってタッチ操作を行う場合を説明する。検出部２０１が検出するこのような移動情報に基づいてコンテンツの表示形態の変形が行われる。検出部２０１は、オブジェクトの移動によるタッチ位置の移動情報により、ユーザによるタッチ操作を検出する。
【００１７】
操作取得部２０２は、検出部２０１で検出された移動情報から、コンテンツの表示形態の変形指示を取得する。変形指示により、コンテンツのスクロールや、拡大、縮小、回転等が指示される。例えば、ユーザが二本以上の指をタッチスクリーンに接触させたまま、そのうち少なくとも一本の指を移動させることで、指間（２箇所のタッチ位置の間）の距離を拡大したことを示す移動情報を得た場合には、コンテンツの拡大の変形指示として取得する。二本以上の指のタッチ位置の移動方向（操作方向）が、各指が互いに遠ざかる方向であることから、操作取得部２０２がコンテンツの拡大操作を認識する。タッチスクリーン上に指が最初に接触した位置を始点として、指と指が大きく離れるほど操作量が大きくなり、コンテンツの拡大率が大きくなる。なお、このような二本以上の指を用いるタッチ操作はマルチタッチ操作と呼ばれ、中でも特に各指の間の距離が拡大・縮小されるように指を動かしてコンテンツの拡大・縮小等を指示する操作はピンチ操作と呼ばれることがある。
【００１８】
超過量取得部２０３は、変形限界量を超えた操作量である超過量を取得する。コンテンツの変形は、限界量を超えない限りは操作量に応じた量だけ行われる。例えば、コンテンツの拡大操作の場合、その拡大率は操作量に応じて決まる。拡大の変形限界量である最大拡大率に相当する操作量以上に拡大操作が指示された場合、超過量取得部２０３は、その超過分（差分）を超過量として取得する。縮小、回転、スクロールの場合においても、同様に、変形限界量以上の操作量を超過量として取得する。
【００１９】
描画結果取得部２０４は、変形限界におけるコンテンツの描画結果である限界画像を取得する。例えば、コンテンツの拡大操作の場合、拡大の変形限界である最大拡大率におけるコンテンツの描画結果を取得する。
【００２０】
変形情報生成部２０５は、変形を適用するコンテンツの限界画像の表示領域を等間隔のメッシュ状に分割し、ユーザの指の移動によるタッチ位置及びその移動量の超過量に基づいてメッシュを歪ませることで変形情報を生成する。例えば、コンテンツの拡大操作の場合、拡大操作を行った後の指の位置、操作方向、及び拡大操作の超過量に応じてメッシュを歪ませて、拡大以外のコンテンツの変形を行うための変形情報を生成する。
【００２１】
画像変形部２０６は、変形情報に基づいて、限界画像をユーザの操作によって指示された変形とは異なる変形が加わった表示形態にコンテンツを歪ませた変形画像を生成する。なお、操作量が変形限界量を超えない場合には、変形情報が生成されず、操作量に応じたコンテンツの通常画像を生成する。
表示部２０７は、画像変形部２０６で生成された変形画像或いは通常画像を出力部１０４の表示画面に表示する。
【００２２】
図３は、表示制御装置２００によるコンテンツの表示形態の変形時の処理手順を表すフローチャートである。ここでは、タッチスクリーン上で二本の指の指間を離隔するジェスチャによりコンテンツの拡大操作を行う場合を例に挙げ、各処理手順を説明する。
【００２３】
検出部２０１は、タッチスクリーン上をユーザが第１の指及び第２の指でタッチするタッチ位置を識別し、各タッチ位置の移動情報を検出する。そして操作取得部２０２は、検出部２０１により検出した移動情報からユーザによる表示形態の変形指示を取得する。例えば、二本の指の間の距離が拡大されたことを検出し、操作取得部２０２は、コンテンツの拡大指示を取得する（Ｓ３０１）。
超過量取得部２０３は、操作取得部２０２により取得した変形指示に応じたコンテンツの変形限界量と、検出部２０１が検出した操作量とに基づき、超過量を取得する。ここでは、操作取得部２０２は拡大指示を取得したので、コンテンツの変形限界量となる最大拡大率が得られる指の操作量と、検出部２０１で検出した操作量との差分を算出する。検出部２０１で検出した指の操作量が変形限界量よりも大きい場合には、その差分が超過量となる（Ｓ３０２）。
【００２４】
そして超過量取得部２０３は、拡大が変形限界を超えて指示されているか否かを判断する（Ｓ３０３）。
操作量が変形限界量以下、即ち指示された拡大が変形限界を超えていないと判断される場合（Ｓ３０３：N）、画像変形部２０６は、操作量に応じた拡大率を算出して、その拡大率により拡大したコンテンツを生成する。それに応じて、表示部２０７は、生成されたコンテンツをタッチスクリーンの表示画面に表示する（Ｓ３０４）。
一方、操作量が変形限界量を超えていると判断される場合（Ｓ３０３：Y）、描画結果取得部２０４は、拡大の変形限界である最大拡大率で生成されたコンテンツである限界画像を取得する（Ｓ３０５）。初めてこの処理を実行する際には、限界画像を生成する。２回目以降の場合には、１回目に生成された限界画像を用いる。限界画像は、タッチスクリーンにはまだ描画されない。
限界画像の取得後、変形情報生成部２０５は、限界画像の表示領域を等間隔の格子状に分割したメッシュを、ユーザの指の操作後の位置や操作方向、超過量に基づいて変形して歪ませることで変形情報を生成する（Ｓ３０６）。メッシュの変形については、後述する。
【００２５】
画像変形部２０６は、変形情報に合わせて、ステップＳ３０５で取得した限界画像を変形する（Ｓ３０７）。画像変形部２０６は、限界画像を、変形情報に合わせてテクスチャマッピングすることで変形画像を生成する。変形画像は、変形されたメッシュ上にマッピングされるために、歪んだコンテンツとなる。また、超過量に応じて、コンテンツの歪みの程度を変化させることができる。
それに応じて、表示部２０７は、生成した変形画像をタッチスクリーンの表示画面に表示する（Ｓ３０８）。このようにして、コンテンツの拡大処理が終了する。
【００２６】
ステップＳ３０６におけるメッシュの変形について説明する。なお、メッシュの変形に用いる座標は、タッチスクリーンの表示領域全体を含むように定義された二次元の座標平面、あるいは三次元の座標空間におけるものである。
変形情報生成部２０５は、超過量取得部２０３から第１の指によるタッチ位置の移動に伴う操作量の超過量及び操作方向を表すベクトルｖ（ｖｘ，ｖｙ）を取得する。ベクトルｖに適切な係数ｃ（０＜ｃ≦１）を乗算したものを、基本の座標移動量とする。第１の指の操作後のタッチ位置から、移動対象のメッシュの交点の座標（ｘ，ｙ）までを距離ｄとすると、交点の移動量を例えば図４（ａ）の式で表すことができる。この式をメッシュの各交点に適用して、当該交点を表示する位置を移動させることで、メッシュを変形する。交点の座標（ｘ，ｙ）の変形後の点の座標（ｘ’，ｙ’）は、図４（ｂ）で表すことができる。
ユーザの第２の指に関しても同様の処理を行う。この場合には、ベクトルｖが第２の指についての超過量及び操作方向を表す。なお、二本の指の間の距離が変更される際に、かならずしも両方の指が移動されるとは限らない。従って、超過量も、必ずしも両方の指に関してのみ取得されるとは限らない。これは後述する縮小、回転等の処理においても同様である。
【００２７】
第１の指及び第２の指の各操作後の位置から一定の距離以上離れたメッシュの交点については、移動を行わなくともよい。或いは、第１の指又は第２の指の各操作後の位置を第１の焦点、コンテンツが変形限界となる最大拡大率を得られる第１の指又は第２の指の位置を第２の焦点とする楕円に含まれる点だけを、移動の対象としてもよい。さらに、操作対象となるコンテンツの縁部にあたるメッシュの交点については座標の移動を行わないものとする。
【００２８】
図５（ａ）は、変形前のメッシュの例示図である。メッシュ５０１には、座標（ｘ１、ｙ１）にある交点５０２、座標（ｘ２，ｙ２）にある交点５０３、座標（ｘ３，ｙ３）にある交点５０４等のメッシュの交点がある。
図５（ｂ）は、図５（ａ）のメッシュ５０１を変形した場合の例示図である。拡大操作を行う指先が、操作後に交点５０２に位置し、超過量及び操作方向がベクトルｖ５０９で表される。破線は、変形前のメッシュ５０１を表す。交点５０２、交点５０３、交点５０４がそれぞれ交点５０６、交点５０７、交点５０８に移動し、その他の交点も交点５０２からの距離に応じた移動量で移動する。これらの移動した交点を結ぶことで、変形情報５０５が生成される。
この例では、メッシュの各交点の移動する量が、指の位置からの距離に応じて変化している。そのために、メッシュが、拡大操作を行っている指の位置に近い程大きく歪み、遠い程歪み量が少なくなる。また、超過量に応じて歪みの程度が変化し、超過量が大きい程大きく歪み、超過量が小さければ歪みが小さくなる。
【００２９】
図６（ａ）は、変形限界（拡大限界）のコンテンツの例示図であり、図６（ｂ）〜（ｄ）は、変形後のコンテンツの例示図である。
図６（ｂ）は、図５（ｂ）のような変形情報５０５により得られるコンテンツの描画像であり、ユーザに、指の移動に伴って変形されたコンテンツが、変形限界を超えたために変形に抵抗しているような視覚効果を与える。
【００３０】
メッシュの変形は、以下のようなものであってもよい。
変形情報生成部２０５は、超過量取得部２０３から第１の指の超過量及び操作方向を表すベクトルｖ（ｖｘ，ｖｙ）を取得する。ベクトルｖに適切な係数ｃ（０＜ｃ≦１）を乗算したものを、基本の座標移動量とする。第１の指及び第２の指の各操作後の座標点の垂直二等分線から、第１の指の方向にある移動対象のメッシュの交点の座標（ｘ，ｙ）までを距離ｄとすると、この交点の移動量は例えば図４（ａ）の式で表すことができる。この式を垂直二等分線から、第１の指の方向にある各交点に適用して、メッシュを変形する。交点の座標（ｘ，ｙ）の変形後の点の座標（ｘ’，ｙ’）は、図４（ｂ）で表すことができる。操作対象のコンテンツの縁部にあたる交点については座標の移動を行わないものとする。
第２の指に関しても同様の処理を行う。この場合、ベクトルｖ（ｖｘ，ｖｙ）は第２の指の超過量及び操作方向を表す。
この変形は、第１の指と前記第２の指の間にある領域のみを対象としてもよい。
【００３１】
図７（ａ）は、変形前のメッシュ７０１の例示図である。第１の指の位置７０２及び第２の指の位置７０３がそれぞれコンテンツ上にある。
図７（ｂ）は、図７（ａ）のメッシュ７０１を変形した場合の例示図である。拡大操作を行うことで、第１の指の位置７０２が位置７０４に移動し、第２の指の位置７０３が位置７０５に移動する。変形情報生成部２０５は、第１の指についての超過量及び操作方向を表すベクトルｖ７０６と、第２の指についての超過量及び操作方向を表すベクトルｖ７０７とを、超過量取得部２０３から取得する。破線は、変形前のメッシュ７０１を表す。第１の指の位置７０４と第２の指の位置７０５の間に存在するメッシュ７０１上の各交点は移動するが、その移動量は、第１の指の位置７０４と第２の指の位置７０５の垂直二等分線からの距離に応じて減衰する。これらの移動した交点を結ぶことで、変形情報７０８が生成される。
【００３２】
図６（ｃ）は、図７（ｂ）のような変形情報７０８により得られるコンテンツの描画像であり、ユーザに、指の移動に伴って変形されたコンテンツが変形限界を超えたために無理に引っ張られているような視覚効果を与える。
【００３３】
メッシュの変形は、以下のようなものであってもよい。
第１の指と第２の指との間の垂直二等分線を境にして、メッシュを２つに分割する。変形情報生成部２０５は、超過量取得部２０３から、第１の指の超過量及び操作方向を表すベクトルｖ（ｖｘ，ｖｙ）を取得する。垂直二等分線から第１の指側にあるメッシュをすべて第１の指側に、ベクトルｖに適切な係数ｃ（０＜ｃ≦１）を乗算した分だけ並行移動する。第２の指側のメッシュも、同様に第２の指側に平行移動する。メッシュが存在しなくなった部位は、ステップＳ３０８で単色或いはコンテンツと異なる画像で塗り潰す。
【００３４】
図８（ａ）は、変形前のメッシュ８０１の例示図である。第１の指の位置８０２及び第２の指の位置８０３がそれぞれコンテンツ上にある。
図８（ｂ）は、図８（ａ）のメッシュ８０１を変形した場合の例示図である。拡大操作を行うことで、第１の指の位置８０２が位置８０４に移動し、第２の指の位置８０３が位置８０５に移動する。変形情報生成部２０５は、第１の指についての超過量及び操作方向を表すベクトルｖ８０９と、第２の指についての超過量及び操作方向を表すベクトルｖ８１０とを、超過量取得部２０３から取得する。変形前のメッシュ８０１は、移動後の第１の指の位置８０４と第２の指の位置８０５との垂直二等分線８０６で２つに分割される。第１の指の位置８０４方向にメッシュ８０７が、第２の指の位置８０５方向にメッシュ８０８が、それぞれ平行移動する。
【００３５】
図６（ｄ）は、図８（ｂ）のような変形情報により得られるコンテンツの描画像であり、ユーザに、指の移動に伴って変形されたコンテンツが変形限界を超えたために引き裂かれたような視覚効果を与える。
【００３６】
以上のような表示制御装置２００により、拡大操作が変形限界を超過して行われた場合にコンテンツが歪み、ユーザが変形限界の超過を容易に認識できるようになる。また、拡大操作がどの程度変形限界を超過したかが、コンテンツの歪み度合いの変化に表れて、ユーザに視覚的に超過分を示すことができる。
【００３７】
［変形したコンテンツの描画像の回復］
次に、変形限界を超えた操作後の、操作終了時の処理について説明する。
図９は、操作終了時の表示制御装置９００の機能ブロックの構成図である。なお、表示制御装置のハードウェア構成は、図１と同様であるので説明を省略する。
【００３８】
表示制御装置９００には、ＣＰＵ１０１がＲＯＭ１０２からコンピュータプログラムを読み出して実行することで、表示制御装置２００に含まれる機能ブロックに加えて、終了操作取得部９０８、回復情報生成部９０９、及び画像回復部９１０が形成される。
【００３９】
終了操作取得部９０８は、検出部２０１が検出する移動情報に基づいて、表示携帯の変形の終了指示を取得する。本実施の形態では、タッチスクリーンから通知される「ＵＰ」イベントに基づいて、ユーザがタッチスクリーンから指を離したことを検出部２０１が検出したときに、変形の終了指示を検出する。
回復情報生成部９０９は、終了指示を検出した時点の変形情報である歪んだメッシュを、変形状態から元の状態に戻すための回復情報を生成する。例えば、歪んだメッシュの各交点を元の格子状の位置の方向に移動して回復情報を生成する。回復情報の生成には、変形情報生成時の超過量及び操作方向を利用してもよい。
画像回復部９１０は、回復情報生成部９０９が生成した回復情報に基づいて、変形限界を超えたコンテンツを回復させる回復画像を生成する。回復画像は、最終的には限界画像と同じ画像になり、コンテンツの画像が限界画像に更新される。
【００４０】
図１０は、このような表示制御装置９００による変形の終了時の処理手順を表すフローチャートである。図３のステップＳ３０１において、終了操作取得部９０８が終了指示を検出した場合に、変形の終了処理に移行する。
【００４１】
超過量取得部２０３は、終了操作取得部９０８が終了指示を取得した時点で、終了する変形が変形限界量を超えて行われたか否かを判断する（Ｓ１００１）。この判断には、前回の操作時のステップＳ３０３の判断結果を用いることができる。
終了する変形が変形限界量を超えていない場合、操作量に応じて変形したコンテンツを生成していた画像変形部２０６は、そのまま表示制御処理を終了する（Ｓ１００１：N）。
終了する変形が変形限界量を超えている場合（Ｓ１００１：Y）、描画結果取得部２０４は、限界画像を取得する（Ｓ１００２）。取得した限界画像は、まだ、タッチスクリーンに描画しない。操作が拡大であれば、拡大の変形限界である最大拡大率のコンテンツの画像を限界画像として取得する。
【００４２】
限界画像の取得後に、回復情報生成部９０９は、現在の変形情報を取得する（Ｓ１００３）。現在の変形情報の取得後に、回復情報生成部９０９は、変形情報を初期状態に近づけた回復情報を生成する（Ｓ１００４）。回復情報生成部９０９は、歪んでいない格子状に並んだ状態に向けて、ステップＳ３０６で行ったメッシュの変形と逆の変形を行うような回復情報を生成する。このときに、予め定められた時間ｔをかけて徐々に初期状態に戻るようにしてもよい。徐々に戻るようにする場合は、時間１／ｔ毎に処理同幅で戻るようにしてもよく、また、最初は高速で、徐々にゆっくり戻るように係数をかけてもよい。
【００４３】
画像回復部９１０は、回復情報に合わせて、ステップＳ１００２で取得した限界画像を変形した回復画像を生成する（Ｓ１００５）。画像回復部９１０は、限界画像を、回復情報に合わせてテクスチャマッピングすることで回復画像を生成する。表示部２０７は、回復画像をタッチスクリーンに描画する（Ｓ１００６）。タッチスクリーンへの描画後に、回復情報生成部９０９は、回復情報が初期の格子状のメッシュに戻ったかどうかを判定する（Ｓ１００７）。つまり、メッシュが歪んでいない格子状に並んだ状態に戻っていれば、この処理を終了する。メッシュが初期状態に戻っていなければ、ステップＳ１００３の処理に戻る。
このようにして、変形限界を超過した後に、限界画像に表示が更新されるまで、上記の処理を行い、自然に画像が戻る様子を表示することができる。
【００４４】
［縮小処理］
次に、タッチスクリーン上で二本の指の間の距離を縮小するタッチ操作により、コンテンツを縮小して表示する処理について説明する。図３のフローチャートにより、コンテンツの縮小操作を行う場合の処理手順を説明する。
【００４５】
検出部２０１は、タッチスクリーン上をユーザが第１の指及び第２の指でタッチするタッチ位置の移動情報を検出する。操作取得部２０２は、検出部２０１により検出された移動情報からユーザによる表示形態の変形指示を取得する。この例では、二本の指の間の距離を縮小されることを示す移動情報が検出されるので、操作取得部２０２は、コンテンツの縮小指示を取得する（Ｓ３０１）。このとき、指をタッチスクリーンから離すといった終了指示を検出した場合、図１０の処理に移行する。
超過量取得部２０３は、操作取得部２０２により取得した変形指示が縮小指示であるので、コンテンツの変形限界量となる最大縮小率が得られる指の操作量と、検出部２０１で検出した操作量との差分を算出する。検出部２０１で検出した指の操作量が変形限界量よりも大きい場合には、その差分が超過量となる（Ｓ３０２）。
【００４６】
超過量取得部２０３は、縮小が変形限界を超えて指示されているか否かを判断する（Ｓ３０３）。
操作量が変形限界量以下、即ち指示された縮小が変形限界を超えていないと判断される場合（Ｓ３０３：N）、画像変形部２０６は、操作量に応じた縮小率を算出して、その縮小率により縮小したコンテンツを生成する。表示部２０７は、生成されたコンテンツをタッチスクリーンの表示画面に表示する（Ｓ３０４）。
操作量が変形限界量を超えていると判断される場合（Ｓ３０３：Y）、描画結果取得部２０４は、縮小の変形限界である最大縮小率で生成されたコンテンツである限界画像を取得する（Ｓ３０５）。初めてこの処理を実行する際には、限界画像を生成する。２回目以降の場合には、１回目に生成された限界画像を用いる。限界画像は、タッチスクリーンにはまだ描画されない。
限界画像の取得後、変形情報生成部２０５は、メッシュを用いた変形情報を生成する（Ｓ３０６）。変形情報生成部２０５は、メッシュを、ユーザの指の操作後の位置や操作方向、超過量に基づいて変形して歪ませることで変形情報を生成する。メッシュの変形については後述する。
【００４７】
画像変形部２０６は、変形情報に合わせて、ステップＳ３０５で取得した限界画像を変形する（Ｓ３０７）。画像変形部２０６は、限界画像を、変形情報に合わせてテクスチャマッピングすることで変形画像を生成する。変形画像は、変形されたメッシュ上にマッピングされるために、歪んだコンテンツとなる。また、超過量に応じて、コンテンツの歪みの程度を変化させることができる。
表示部２０７は、生成した変形画像をタッチスクリーンの表示画面に表示する（Ｓ３０８）。このようにして、コンテンツの縮小処理が終了する。
【００４８】
ステップＳ３０６におけるメッシュの変形について説明する。
図１１（ａ）は、縮小処理により図６（ａ）のコンテンツを、ユーザの指の操作後の位置の周辺で変形した場合の例示図である。
【００４９】
ステップＳ３０６のメッシュの変形について説明する。なお、メッシュの変形に用いる座標は、タッチスクリーンの表示領域全体を含むように定義された二次元の座標平面、あるいは三次元の座標空間におけるものである。
変形情報生成部２０５は、超過量取得部２０３から第１の指の超過量及び操作方向を表すベクトルｖ（ｖｘ，ｖｙ）を取得する。ベクトルｖに適切な係数ｃ（０＜ｃ≦１）を乗算したものを、基本の座標移動量とする。第１の指及び第２の指の各操作後の座標点の垂直二等分線に平行で、第１の指の座標を通る直線から、移動対象のメッシュの交点の座標（ｘ，ｙ）までを距離ｄとすると、交点の移動量は例えば図４（ａ）の式で表すことができる。この式をメッシュの各交点に適用して、メッシュを変形する。交点の座標（ｘ，ｙ）の移動後の点の座標（ｘ’，ｙ’）は、図４（ｂ）の式で表すことができる。移動対象となる交点は、垂直二等分線よりも第１の指側にある交点である。操作対象のコンテンツの縁部にあたる交点については座標の移動を行わないものとする。このようにメッシュの交点の表示される位置を移動させることメッシュを変形し、それに応じて変形されたコンテンツの画像が生成される。
第２の指に関しても同様の処理を行う。この場合、ベクトルｖ（ｖｘ，ｖｙ）は第２の指の超過量及び操作方向を表す。距離ｄは、第１の指及び第２の指の各操作後の座標点の垂直二等分線に平行で、第２の指の座標を通る直線から移動対象のメッシュの点の座標（ｘ，ｙ）までの距離である。移動対象となる交点は、垂直二等分線よりも第２の指側にある交点である。
この変形は、第１の指と第２の指の間にある領域のみを対象としてもよい。
【００５０】
図１２（ａ）は、変形前の格子状のメッシュ１３０１の例示図である。第１の指の位置１３０２と第２の指の位置１３０３がそれぞれコンテンツ上にある。
図１２（ｂ）は、図１２（ａ）のメッシュ１３０１を変形した場合の例示図である。縮小操作を行うことで、第１の指の位置１３０２が位置１３０４に移動し、第２の指の位置１３０３が位置１３０５に移動する。変形情報生成部２０５は、第１の指についての超過量及び操作方向を表すベクトルｖ１３０６と、第２の指についての超過量及び操作方向を表すベクトルｖ１３０７とを、超過量取得部２０３から取得する。破線は、変形前のメッシュ１３０１を表す。第１の指の位置１３０４と第２の指の位置１３０５の間に存在するメッシュ１３０１上の各交点は移動するが、その移動量は、第１の指の位置１３０４と第２の指の位置３０５との垂直二等分線までの距離によって異なる。これらの移動した交点を結ぶことで、変形情報１３０８が生成される。
【００５１】
図１１（ｂ）は、図１２（ｂ）のような変形情報１３０８により得られるコンテンツの描画像であり、ユーザに、指の移動に伴って変形されたコンテンツが変形限界を超えたために無理に押し込まれているような視覚効果を与える。
【００５２】
メッシュの変形は、以下のようなものであってもよい。
ユーザに対して視覚的に立体感を与える場合には、オブジェクトである第１の指のタッチ位置と第２の指のタッチ位置との間の歪んだメッシュにより、谷のように盛り下がって見えるように陰影の描画を行う。
このような変形を行う場合には、ｚ軸方向を含めた３次元方向への変形を表す変形情報を生成する。変形情報生成部２０５は、超過量取得部２０３から、第１の指の超過量及び操作方向を表すベクトルｖ（ｖｘ，ｖｙ）を取得する。ベクトルｖに適切な係数ｃ（０＜ｃ≦１）を乗算したものを、基本の座標移動量とする。ｚ軸の負方向への座標移動量は、座標移動量ｖｚと表す。第１の指及び第２の指の各操作後の座標点の垂直二等分線に平行で、第１の指の座標を通る直線から移動対象のメッシュの交点の座標（ｘ，ｙ，ｚ＝０）までを距離ｄとする。ｚ軸に関しては、第１の指及び第２の指の各操作後の座標点の垂直二等分線から移動対象のメッシュの交点の座標（ｘ，ｙ，ｚ＝０）までを距離ｄとする。このとき、交点の移動量は例えば図４（ａ）の式で表すことができる。この式をメッシュの各交点に適用して、メッシュを変形する。操作対象のコンテンツの縁部にあたる交点については座標の移動を行わないものとする。交点の座標（ｘ，ｙ，ｚ＝０）の変形後の点の座標（ｘ’，ｙ’，ｚ’）は、図４（ｃ）の式で表すことができる。この変形は、第１の指と第２の指の間にある領域のみを対象としてもよく、また、ある程度外側の領域までを対象としてもよい。
【００５３】
次に、陰を描画する。陰の描画方法にはいくつか既知の手法があるが、例えば以下のように行う。陰を描画する面の法線ベクトルｎ、該面から該面を照らす光源の方向への光源ベクトルｌ、該面を見る視点方向の視点ベクトルＶとすると、該面の反射光の方向を表す正反射光ベクトルｒを、ｒ＝２（ｎ・ｌ）ｎ−１と表すことができる。法線ベクトルｎ、光源ベクトルｌ、視点ベクトルＶ、及び正反射光ベクトルｒは、それぞれ単位ベクトルである。そして、視点ベクトルＶと正反射光ベクトルｒの内積を求める。視点ベクトルＶと正反射光ベクトルｒはいずれも単位ベクトルなので、内積は「−１」〜「１」の間の値になる。内積が「１」のとき、視点ベクトルＶと正反射光ベクトルｒは同じ方向なので、面が最も明るくなる。内積が「０」に近くなる程、陰は濃く、「１」に近くなる程、陰は薄くなるように描画する。内積が「０」より小さい場合には、「０」と見做す。この内積値に応じた明度により、影の描画を行う。陰の描画は、例えばステップＳ３０７で行う。
【００５４】
図１２（ｃ）は、図１２（ａ）のメッシュ１３０１を変形した場合の例示図である。縮小操作を行うことで、第１の指の位置１３０２が位置１３０４に移動し、第２の指の位置１３０３が位置１３０５に移動する。変形情報生成部２０５は、第１の指についての超過量及び操作方向を表すベクトルｖ１３０６と、第２の指についての超過量及び操作方向を表すベクトルｖ１３０７とを、超過量取得部２０３から取得する。第１の指の位置１３０４と第２の指の位置１３０５の間の移動した交点を結ぶことで、変形情報１３０９が生成される。また、変形情報１３０９は、ｚ軸方向の成分も含む。グラフ１３１０は変形情報１３０９のｚ軸方向の値を表したものである。変形情報１３０９に基づいて陰１３１１を描画する。
【００５５】
図１１（ｃ）は、図１２（ｃ）のような変形情報１３０９により得られるコンテンツの描画像であり、ユーザに、指の移動に伴って変形されたコンテンツが変形限界を超えたために無理に奥に押し込まれているような視覚効果を与える。
【００５６】
メッシュの変形は、以下のようなものであってもよい。
ユーザに対して視覚的に立体感を与える他の例として、オブジェクトである第１の指のタッチ位置と第２の指のタッチ位置との間の歪んだメッシュにより、山のように盛り上がって見えるように陰影の描画を行う。
【００５７】
このような変形を行う場合にも、ｚ軸方向を含めた３次元方向への変形を表す変形情報を生成する。変形情報生成部２０５は、超過量取得部２０３から、第１の指の超過量及び操作方向を表すベクトルｖ（ｖｘ，ｖｙ）を取得する。ベクトルｖに適切な係数ｃ（０＜ｃ≦１）を乗算したものを基本の座標移動量とする。さらに、ｚ軸方向の第１の指及び第２の指の各操作後の座標点の垂直二等分線から移動対象のメッシュの交点の座標（ｘ，ｙ，ｚ＝０）までを距離ｄとする。このとき、交点の座標（ｘ，ｙ）の移動量は図４（ａ）の式で表すことができる。点ｚは山の高さを調節する適切な係数ｃ’（０＜ｃ’）を用いて、図４（ｆ）の式で表すことができる。この式をメッシュの各交点に適用して格子を変形する。操作対象のコンテンツの縁部にあたる交点については座標の移動を行わないものとする。交点の座標（ｘ，ｙ，ｚ＝０）の変形後の点の座標（ｘ’，ｙ’，ｚ’）は、図４（ｇ）の式で表すことができる。この変形は、第１の指と第２の指の間にある領域のみを対象としてもよく、また、ある程度外側の領域までを対象としてもよい。
【００５８】
陰の描画方法は上述の手法と同様であるので説明を省略する。
図１３（ａ）は、変形前の格子状のメッシュ１４０１の例示図である。第１の指の位置１４０２と第２の指の位置１４０３がそれぞれコンテンツ上にある。
図１３（ｂ）は、図１３（ａ）のメッシュ１４０１を変形した場合の例示図である。縮小操作を行うことで、第１の指の位置１４０２が位置１４０４に移動し、第２の指の位置１４０３が位置１４０５に移動する。変形情報生成部２０５は、第１の指についての超過量及び操作方向を表すベクトルｖ１４０６と、第２の指についての超過量及び操作方向を表すベクトルｖ１４０７とを、超過量取得部２０３から取得する。第１の指の位置１４０４と第２の指の位置１４０５の間の移動した交点を結ぶことで、変形情報１４０８が生成される。また、変形情報１４０８は、ｚ軸方向の成分も含む。グラフ１４０９は変形情報１４０８のｚ軸方向の値を表したものである。変形情報１４０８に基づいて陰１４１０を描画する。
【００５９】
図１１（ｄ）は、図１３（ｂ）のような変形情報１４０８により得られるコンテンツの描画像であり、ユーザに、指の移動に伴って変形されたコンテンツが変形限界を超えたために無理に盛り上がっているような視覚効果を与える。
【００６０】
メッシュの変形は、以下のようなものであってもよい。
ユーザに対して視覚的に立体感を与える他の例として、オブジェクトである第１の指のタッチ位置と第２の指のタッチ位置との間の歪んだメッシュにより、皺が寄って凹凸に見えるように陰影の描画を行う。
【００６１】
このような変形を行う場合にも、ｚ軸方向を含めた３次元方向への変形を表す変形情報を生成する。変形情報生成部２０５は、超過量取得部２０３から第１の指の超過量及び操作方向を表すベクトルｖ（ｖｘ，ｖｙ）を取得する。ｚ軸方向への移動量は、例えばサイン（ｓｉｎ）関数で表され、一定周期で正方向と負方向とに振れる。さらに、超過量が大きい場合には周波数や振幅が大きくなる。振幅を調整するための係数ｃ（０＜ｃ）、周波数を調整するための係数ｃ’（０＜ｃ’）、第１の指の操作後の座標点から移動対象のメッシュの交点の座標（ｘ，ｙ，ｚ＝０）までを距離ｄとすると、交点のｚ軸方向の移動量は、以下の式で表すことができる。
ｃ｜ｖ｜ｓｉｎ（ｃ’｜ｖ｜ｄ）
この式をメッシュの各交点に適用して、メッシュを変形する。交点の座標（ｘ，ｙ，ｚ＝０）の変形後の点の座標（ｘ’，ｙ’，ｚ’）は、（ｘ，ｙ，ｃ｜ｖ｜ｓｉｎ
（ｃ’｜ｖ｜ｄ））と表される。この変形は、第１の指と第２の指の間にある領域のみを対象とする。
【００６２】
陰の描画方法は上述の手法と同様であるので説明を省略する。
図１４（ａ）は、変形前の格子状のメッシュ１５０１の例示図である。第１の指の位置１５０２と第２の指の位置１５０３がそれぞれコンテンツ上にある。
図１４（ｂ）は、図１４（ａ）のメッシュ１５０１を変形した場合の例示図である。縮小操作を行うことで、第１の指の位置１５０２が位置１５０４に移動し、第２の指の位置１５０３が位置１５０５に移動する。変形情報生成部２０５は、第１の指についての超過量及び操作方向を表すベクトルｖ１５０６と、第２の指についての超過量及び操作方向を表すベクトルｖ１５０７とを、超過量取得部２０３から取得する。第１の指の位置１５０４と第２の指の位置１５０５の間の移動した交点を結ぶことで、変形情報１５０８が生成される。また、変形情報１５０８は、ｚ軸方向の成分も含む。グラフ１５０９は変形情報１５０８のｚ軸方向の値を表したものである。変形情報１５０８に基づいて陰１５１０を描画する。
【００６３】
図１５（ａ）は、図１４（ｂ）のような変形情報１５０８により得られるコンテンツの描画像であり、ユーザに、指の移動に伴って変形されたコンテンツが変形限界を超えたために皺が寄っているような視覚効果を与える。
【００６４】
メッシュの変形は、以下のようなものであってもよい。
第１の指及び第２の指の各操作後の位置の外側のメッシュ全体を超過方向に歪ませ、第１の指と第２の指の内側の領域には、操作によって縮小したコンテンツをそのまま表示する。図１５（ｂ）は、このような変形の結果得られるコンテンツの描画像である。
【００６５】
以上のような表示制御装置２００により、縮小操作が変形限界を超過して行われた場合にコンテンツが歪み、ユーザが変形限界の超過を容易に認識できるようになる。また、縮小操作がどの程度変形限界を超過したかが、コンテンツの歪み度合いの変化に表れて、ユーザに視覚的に超過分を示すことができる。
【００６６】
［回転処理］
タッチスクリーン上で二本の指を円弧を描くように動かすタッチ操作により、コンテンツを回転する処理について説明する。図３のフローチャートにより、コンテンツの回転処理を行う場合の処理手順を説明する。
【００６７】
検出部２０１は、タッチスクリーン上をユーザが第１の指及び第２の指でタッチするタッチ位置の移動情報を検出する。操作取得部２０２は、検出部２０１により検出した移動情報からユーザによる表示形態の変形指示を取得する。この例では、二本の指がタッチスクリーン上で円弧を描いたことを示す移動情報に基づいて、操作取得部２０２は、コンテンツの回転指示を取得する（Ｓ３０１）。このとき、指をタッチスクリーンから離すといった終了指示を検出した場合、図１０の処理に移行する。
超過量取得部２０３は、操作取得部２０２により取得した変形指示が回転指示であるので、コンテンツの変形限界量の回転量が得られる指の操作量（回転角）と、検出部２０１で検出した指の回転角との差分を算出する。検出部２０１で検出した指の回転角が変形限界量よりも大きい場合には、その差分の角度が超過量となる（Ｓ３０２）。
【００６８】
超過量取得部２０３は、回転が変形限界量を超えて指示されているか否かを判断する（Ｓ３０３）。
回転角が変形限界量以下、即ち指示された回転が変形限界を超えていないと判断される場合（Ｓ３０３：N）、画像変形部２０６は、回転角に応じた回転量を算出して、その回転量だけ回転したコンテンツを生成する。表示部２０７は、生成されたコンテンツをタッチスクリーンの表示画面に表示する（Ｓ３０４）。
回転角が変形限界量を超えていると判断される場合（Ｓ３０３：Y）、描画結果取得部２０４は、回転の変形限界である回転角で生成されたコンテンツである限界画像を取得する。（Ｓ３０５）。初めてこの処理を実行する際には、限界画像を生成する。２回目以降の場合には、１回目に生成された限界画像を用いる。限界画像は、タッチスクリーンにはまだ描画されない。
限界画像の取得後、変形情報生成部２０５は、メッシュを用いた変形情報を生成する（Ｓ３０６）。変形情報生成部２０５は、メッシュを、ユーザの指の操作後の位置や操作方向、超過量に基づいて変形して歪ませることで変形情報を生成する。メッシュの変形については後述する。
【００６９】
画像変形部２０６は、変形情報に合わせて、ステップＳ３０５で取得した限界画像を変形する（Ｓ３０７）。画像変形部２０６は、限界画像を、変形情報に合わせてテクスチャマッピングすることで変形画像を生成する。変形画像は、変形されたメッシュ上にマッピングされるために、歪んだコンテンツとなる。また、超過量に応じて、コンテンツの歪みの程度を変化させることができる。
表示部２０７は、生成した変形画像をタッチスクリーンの表示画面に描画する（Ｓ３０８）。このようにして、コンテンツの回転処理が終了する。
【００７０】
なお、ステップＳ３０１において、タッチスクリーン上の第１の指を固定し、第２の指のみで円弧を描くように動かして、回転の操作を行うジェスチャもある。この場合、第１の指を中心点として、第２の指の動きに応じて変形を行う。
【００７１】
ステップＳ３０６におけるメッシュの変形について説明する。なお、メッシュの変形に用いる座標は、タッチスクリーンの表示領域全体を含むように定義された二次元の座標平面、あるいは三次元の座標空間におけるものである。
変形情報生成部２０５は、超過量取得部２０３から第１の指の超過量及び操作方向を表す角度θを取得する。角度θに適切な係数ｃ（０＜ｃ≦１）を乗算したものを、基本の座標回転量とする。コンテンツの変形限界における第１の指の操作後の位置から移動対象のメッシュの交点の座標（ｘ，ｙ）までを距離ｄとすると、交点の回転量は例えば図４（ｄ）の式で表すことができる。この式をメッシュの各交点に適用してメッシュを変形する。交点の座標（ｘ，ｙ）の変形後の点の座標（ｘ’，ｙ’）は、図４（ｅ）の式で表すことができる。このようにメッシュの交点を表示する位置を移動させてメッシュを変形することで、コンテンツの表示形態を変形する。
第２の指に関しても同様の処理を行う。この場合、角度θは第２の指についての超過量を表す。
【００７２】
なお、回転操作の中心から一定の距離以上離れた点については変形を行わないようにしてもよい。また、回転操作の中心から第１の指のタッチ位置の領域を含む角θの円弧状の領域内の点を変形の対象としてもよい。また、第１の指又は第２の指のタッチ位置を第１の焦点、コンテンツが変形限界となる最大倍率を得られる第１の指又は第２の指のタッチ位置を第２の焦点とする楕円に含まれる点だけを変形の対象としてもよい。また、操作対象のコンテンツの縁にあたる点については座標の移動を行わない。
【００７３】
図１６（ａ）は、変形前の格子状のメッシュ１６０１の例示図である。第１の指の位置１６０２がコンテンツ上にある。第２の指の位置もコンテンツ上にあるが、図１６（ａ）に示したメッシュの範囲外である。
図１６（ｂ）は、図１６（ａ）のメッシュ１６０１を変形した場合の例示図である。回転操作を行うことで、第１の指の位置１６０２が、円弧１６０４を描いて位置１６０３に移動する。点１６０６が回転操作の中心の場合、変形情報生成部２０５は、第１の指についての超過量及び操作方向を表す角度θ１６０５を超過量取得部２０３から取得する。破線は、変形前のメッシュ１６０１を表す。メッシュ１６０１上の各交点が、点１６０６を中心に、第１の指を動かした方向１６０４に沿って、回転するように移動する。これらの移動した交点を結ぶことで、変形情報１６０７が生成される。
【００７４】
図１５（ｃ）は、第１の指と第２の指のタッチ位置付近に図１６（ｂ）のような変形情報１６０７を適用して得られるコンテンツの描画像であり、ユーザに、指の移動に伴って変形されたコンテンツが変形限界を超えたためにねじれているような視覚効果を与える。
図１５（ｄ）は、回転操作の中心から一定の距離以内に図１６（ｂ）のような変形情報１６０７を適用して得られるコンテンツの描画像であり、ユーザに、指の移動に伴って変形されたコンテンツが変形限界を超えたためにいびつに回転しているような視覚効果を与える。
【００７５】
以上のような表示制御装置２００により、回転操作が変形限界を超過して行われた場合にコンテンツが歪み、ユーザが変形限界の超過を容易に認識できるようになる。また、回転操作がどの程度変形限界を超過したかが、コンテンツの歪み度合いの変化に表れて、ユーザに視覚的に超過分を示すことができる。
【００７６】
［スクロール処理］
タッチスクリーン上で指を一方向に動かすジェスチャにより、コンテンツをスクロール（平行移動）する処理について説明する。図３のフローチャートにより、コンテンツのスクロール処理の処理手順を説明する。
【００７７】
検出部２０１は、タッチスクリーン上をユーザが指でタッチするタッチ位置の移動情報を検出する。操作取得部２０２は、検出部２０１により検出した移動情報からユーザによる表示形態の変形指示を取得する。この例では、指がタッチスクリーン上を一方向に移動するので、操作取得部２０２は、スクロール操作を認識する（Ｓ３０１）。このとき、指をタッチスクリーンから離すといった終了指示を検出した場合、図１０の処理に移行する。
超過量取得部２０３は、操作取得部２０２により取得した変形指示がスクロール指示であるので、コンテンツの変形限界となる指の操作量と、検出部２０１で検出した指の操作量との差分を算出する。検出部２０１で検出した指の操作量の方が変形限界量よりも大きい場合は、その差分が超過量となる（Ｓ３０２）。このときに、コンテンツの変形限界となる指の位置を記憶しておいてもよい。
【００７８】
超過量取得部２０３は、スクロールが変形限界量を超えて指示されているか否かを判断する（Ｓ３０３）。
操作量が変形限界量以下、即ち指示されたスクロールが変形限界を超えていないと判断される場合（Ｓ３０３：N）、操作量に応じたスクロール量を算出し、そのスクロール量だけスクロールしたコンテンツを生成する。表示部２０７は、生成されたコンテンツをタッチスクリーンの表示画面に表示する（Ｓ３０４）。
操作量が変形限界量を超えて行われていると判断される場合、描画結果取得部２０４は、スクロールの変形限界であるスクロール限界位置におけるコンテンツである限界画像を取得する（Ｓ３０３：Y、Ｓ３０５）。初めてこの処理を実行する際には、限界画像を生成する。２回目以降の場合には、１回目に生成された限界画像を用いる。限界画像は、タッチスクリーンにはまだ描画されない。
限界画像の取得後、変形情報生成部２０５は、限界画像の表示領域を等間隔の格子状に分割したメッシュを、ユーザの指の操作後の位置や操作方向、超過量に基づいて変形して歪ませることで変形情報を生成する（Ｓ３０６）。
【００７９】
画像変形部２０６は、変形情報に合わせて、ステップＳ３０５で取得した限界画像を変形する（Ｓ３０７）。画像変形部２０６は、限界画像を、変形情報に合わせてテクスチャマッピングすることで変形画像を生成する。変形画像は、変形されたメッシュ上にマッピングされるために、歪んだコンテンツとなる。また、超過量に応じて、コンテンツの歪みの程度を変化させることができる。
表示部２０７は、生成した変形画像をタッチスクリーンの表示画面に表示する（Ｓ３０８）。このようにして、コンテンツのスクロール処理が終了する。
【００８０】
図１７（ａ）は、変形限界（横スクロールの限界）のコンテンツの例示図である。
図１７（ｂ）は、図１７（ａ）のコンテンツの描画結果を横スクロールして変形した場合の例示図であり、ユーザに、指の移動に伴って変形されたコンテンツが変形限界を超えたために画像が無理に引っ張られているような視覚効果を与える。
【００８１】
以上のような表示制御装置２００により、スクロール操作が変形限界を超過して行われた場合にコンテンツが歪み、ユーザが変形限界の超過を容易に認識できるようになる。また、スクロール操作がどの程度変形限界を超過したかが、コンテンツの歪み度合いの変化に表れて、ユーザに視覚的に超過分を示すことができる。
【００８２】
なお、表示制御装置２００の表示制御では、拡大、縮小、回転、スクロールが各々独立ではなく、同時に処理を行い、コンテンツの描画像を変形することも可能である。
【図１】
2014182638.tif 000003
【図２】
2014182638.tif 000004
【図３】
2014182638.tif 000005
【図４】
2014182638.tif 000006
【図５】
2014182638.tif 000007
【図６】
2014182638.tif 000008
【図７】
2014182638.tif 000009
【図８】
2014182638.tif 000010
【図９】
2014182638.tif 000011
【図１０】
2014182638.tif 000012
【図１６】
2014182638.tif 000013
【図１７】
2014182638.tif 000014
【図１１】
2014182638.tif 000015
【図１２】
2014182638.tif 000016
【図１３】
2014182638.tif 000017
【図１４】
2014182638.tif 000018
【図１５】
2014182638.tif 000019