(57)【要約】【課題】２本の指の動作により一義的に決まったつまみ操作を実行する場合と比較して、表示画面に表示された物体の画像に対し多様な操作を実行できる画像表示装置、及び画像表示プログラムを提供することを目的とする。【解決手段】物体を表す画像を表示対象として表示する表示画面と、表示画面に対する接触の数と、当該接触による接触位置が移動するベクトルとに応じて、表示対象を変形させる内容を変化させる制御を行う制御部１０５と、を有する【選択図】図３
2020194449.tif 000002
【特許請求の範囲】
【請求項１】
物体を表す画像を表示対象として表示する表示画面と、
前記表示画面に対する接触の数と、当該接触による接触位置が移動するベクトルとに応じて、前記表示対象を変形させる内容を変化させる制御を行う制御部と、
を有する画像表示装置。
【請求項２】
前記制御部は、
前記表示画面に対する接触の数が２ヶ所である場合は、前記表示対象を変形させず、
前記表示画面に対する接触の数が３ヶ所以上である場合は、前記表示対象を変形させる請求項１に記載の画像表示装置。
【請求項３】
前記制御部は、
前記表示画面に対する接触の数が２ヶ所であり、接触位置同士の距離が縮まるように、又は広がるように移動した場合、表示対象を変形させ、
前記表示画面に対する接触の数が３ヶ所以上であり、接触位置同士の距離が縮まるように移動した場合は、前記表示対象を変形させ、広がるように移動した場合は、前記表示対象を変形させない請求項１に記載の画像表示装置。
【請求項４】
前記制御部は、
前記表示画面に対する接触の数が２ヶ所であり、２ヶ所の接触による接触位置同士の距離が変化した場合、前記表示対象を縮小又は拡大し、
前記表示画面に対する接触の数が３ヶ所であり、３ヶ所の接触による接触位置同士の距離が変化した場合、３ヶ所で囲まれた領域内の部分を中心に、前記表示対象を変形させる請求項１又は請求項２に記載の画像表示装置。
【請求項５】
前記制御部は、
前記表示画面に対する接触の数が３ヶ所であり、３ヶ所の接触による接触位置同士の距離が縮まるように、接触位置が移動した場合、３ヶ所で囲まれた領域内の所定の箇所に画像をよせることにより、前記表示対象を変形させる請求項４に記載の画像表示装置。
【請求項６】
前記制御部は、
前記表示画面に対する接触の数が３ヶ所であり、３ヶ所の接触による接触位置同士の距離が広がるように、接触位置が移動した場合、３ヶ所で囲まれた領域内から画像を広げることにより、前記表示対象を変形させる請求項４又は請求項５に記載の画像表示装置。
【請求項７】
前記制御部は、前記表示画面に対する接触が複数あり、複数の接触による複数の接触位置が同方向である第１の方向に移動した場合、前記第１の方向の先に存在する前記表示対象の端部に向かって、前記複数の接触位置に囲まれた領域がスライドするように、前記表示対象を変形させる請求項１から請求項６の何れか１項に記載の画像表示装置。
【請求項８】
前記表示対象が表す物体の物性に関する情報を取得する物性取得部をさらに有し、
前記制御部は、物体の前記物性に応じて、前記表示対象の変形のさせ方を変化させる請求項１から請求項７の何れか１項に記載の画像表示装置。
【請求項９】
前記制御部は、前記物性に応じて、前記表示対象の変形量を変化させる請求項８に記載の画像表示装置。
【請求項１０】
前記制御部は、前記物性に応じて、前記表示対象を変形させる際の変形速度を変化させる請求項８又は請求項９に記載の画像表示装置。
【請求項１１】
前記制御部は、前記物性に応じて、異なる形に前記表示対象を変化させる請求項８から請求項１０の何れか１項に記載の画像表示装置。
【請求項１２】
前記物性の一つは、弾性であり、
前記制御部は、前記表示対象の弾性が高い程、前記表示対象を変形させた後に、元の形状に戻る速度を速くする請求項８から請求項１１のいずれか一項に記載の画像表示装置。
【請求項１３】
前記物性の一つは、光沢であり、
前記制御部は、前記表示対象の光沢度が高い程、前記表示対象が変化した際の光の反射度合を大きくする請求項８から請求項１２の何れか１項に記載の画像表示装置。
【請求項１４】
前記制御部は、前記表示対象の変形に応じて、光の反射度合を変化させる請求項１３に記載の画像表示装置。
【請求項１５】
前記表示対象の物性の一つである、前記表示対象の表面の質感に関する情報を取得する質感取得部を更に有し、
前記制御部は、前記質感に応じて、前記表示対象を変形させる際の挙動を変化させる
請求項１から請求項１４の何れか１項に記載の画像表示装置。
【請求項１６】
物体を表す表示対象として表示する表示画面と、
前記表示画面に対する接触の数が２ヶ所である場合は、接触位置が移動するベクトルに応じて、前記表示対象を変形させず前記表示対象を縮小又は拡大し、
前記表示画面に対する接触の数が３ヶ所以上である場合は、接触位置で囲まれた領域内の部分を中心に、接触位置が移動するベクトルに応じて前記表示対象を変形させる画像表示装置。
【請求項１７】
物体を表す画像を表示対象として表示する表示ステップと、
物体を表す画像を表示対象として表示する表示画面に対する接触の数と、当該接触による接触位置が移動するベクトルとに応じて、前記表示対象を変形させる内容を変化させる制御を行う制御ステップと、
をコンピュータに実行させる画像表示プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像表示装置、及び画像表示プログラムに関する。
【背景技術】
【０００２】
特許文献１には、ユーザのつまみ操作を検出する検出部と、前記検出されたつまみ操作によるつまみ位置が、立体視オブジェクトのユーザによる知覚位置に対応する場合、前記立体視オブジェクトを選択対象に決定する制御部と、を備える、情報処理装置が開示されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１２−２５６１１０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
上記技術では、２本の指の動作がつまみ操作に対応するのみであり、一義的に決まったつまみ操作を実行することしかできない。
【０００５】
本発明は、２本の指の動作により一義的に決まったつまみ操作を実行する場合と比較して、表示画面に表示された物体の画像（表示対象）に対し多様な操作を実行できる画像表示装置、及び画像表示プログラムを提供することを目的とする。
【課題を解決するための手段】
【０００６】
第１の態様の画像表示装置は、物体を表す画像を表示対象として表示する表示画面と、表示画面に対する接触の数と、当該接触による接触位置が移動するベクトルとに応じて、表示対象を変形させる内容を変化させる制御を行う制御部と、を有する。
【０００７】
第２の態様の画像表示装置において、制御部は、表示画面に対する接触の数が２ヶ所である場合は、表示対象を変形させず、表示画面に対する接触の数が３ヶ所以上である場合は、表示対象を変形させる。
【０００８】
第３の態様の画像表示装置において、制御部は、表示画面に対する接触の数が２ヶ所であり、接触位置同士の距離が縮まるよう、又は広がるように移動した場合、表示対象を変形させ、表示画面に対する接触の数が３ヶ所以上であり、接触位置同士の距離が縮まるように移動した場合は、表示対象を変形させ、広がるように移動した場合は、表示対象を変形させない。
【０００９】
第４の態様の画像表示装置において、制御部は、表示画面に対する接触の数が２ヶ所であり、２ヶ所の接触による接触位置同士の距離が変化した場合、前記表示対象を縮小又は拡大し、表示画面に対する接触の数が３ヶ所であり、３ヶ所の接触による接触位置同士の距離が変化した場合、３ヶ所で囲まれた領域内の部分を中心に、前記表示対象を変形させる。
【００１０】
第５の態様の画像表示装置において、制御部は、表示画面に対する接触の数が３ヶ所であり、３ヶ所の接触による接触位置同士の距離が縮まるように、接触位置が移動した場合、３ヶ所で囲まれた領域内の所定の箇所に画像をよせることにより、表示対象を変形させる。
【００１１】
第６の態様の画像表示装置において、制御部は、表示画面に対する接触の数が３ヶ所であり、３ヶ所の接触による接触位置同士の距離が広がるように、接触位置が移動した場合、３ヶ所で囲まれた領域内から画像を広げることにより、表示対象を変形させる。
【００１２】
第７の態様の画像表示装置において、制御部は、表示画面に対する接触が複数あり、複数の接触による複数の接触位置が同方向である第１の方向に移動した場合、第１の方向の先に存在する表示対象の端部に向かって、複数の接触位置に囲まれた領域がスライドするように、表示対象を変形させる。
【００１３】
第８の態様の画像表示装置は、表示対象が表す物体の物性に関する情報を取得する物性取得部をさらに有し、制御部は、物体の物性に応じて、表示対象の変形のさせ方を変化させる。
【００１４】
第９の態様の画像表示装置において、制御部は、物性に応じて、表示対象の変形量を変化させる。
【００１５】
第１０の態様の画像表示装置において、制御部は、物性に応じて、表示対象を変形させる際の変形速度を変化させる。
【００１６】
第１１の態様の画像表示装置において、制御部は、物性に応じて、異なる形に表示対象を変化させる。
【００１７】
第１２の態様の画像表示装置において、物性の一つは、弾性であり、制御部は、表示対象の弾性が高い程、表示対象を変形させた後に、元の形状に戻る速度を速くする。
【００１８】
第１３の態様の画像表示装置において、物性の一つは、光沢であり、制御部は、表示対象の光沢度が高い程、表示対象が変化した際の光の反射度合を大きくする。
【００１９】
第１４の態様の画像表示装置において、制御部は、表示対象の変形に応じて、光の反射度合を変化させる。
【００２０】
第１５の態様の画像表示装置は、表示対象の物性の一つである、表示対象の表面の質感に関する情報を取得する質感取得部を更に有し、制御部は、質感に応じて、を変形させる際の挙動を変化させる。
【００２１】
第１６の態様の画像表示装置は、物体を表す表示対象として表示する表示画面と、表示画面に対する接触の数が２ヶ所である場合は、接触位置が移動するベクトルに応じて、表示対象を変形させず表示対象を縮小又は拡大し、表示画面に対する接触の数が３ヶ所以上である場合は、最初に接触位置で囲まれた領域内の部分を中心に、接触位置が移動するベクトルに応じて表示対象を変形させる。
【００２２】
第１７の態様の画像表示プログラムは、物体を表す画像を表示対象として表示する表示ステップと、物体を表す画像を表示対象として表示する表示画面に対する接触の数と、当該接触による接触位置が移動するベクトルとに応じて、表示対象を変形させる内容を変化させる制御を行う制御ステップと、をコンピュータに実行させる。
【発明の効果】
【００２３】
第１の態様の画像表示装置及び第１７の態様の画像表示プログラムによれば、表示画面に表示された物体の画像に対し多様な操作を実行できる。
【００２４】
第２の態様の画像表示装置によれば、接触位置の数に応じて、表示対象の変形を制御することができる。
【００２５】
第３の態様の画像表示装置によれば、接触位置の数に応じた表示対象の変形をより詳細に制御することができる。
【００２６】
第４の態様の画像表示装置によれば、接触の数に応じて、異なる操作を実行できる。
【００２７】
第５の態様の画像表示装置によれば、３ヶ所で囲まれた領域に画像をよせる操作を実行できる。
【００２８】
第６の態様の画像表示装置によれば、３ヶ所で囲まれた領域から画像を広げる操作を実行できる。
【００２９】
第７の態様の画像表示装置によれば、表示対象の端部に向かって、画像を変形させる操作を実行できる。
【００３０】
第８の態様の画像表示装置によれば、物性に応じて、表示対象の変形のさせ方を変化させることができる。
【００３１】
第９の態様の画像表示装置によれば、物性に応じて、表示対象の変形量を変化させることができる。
【００３２】
第１０の態様の画像表示装置によれば、物性に応じて、表示対象を変形させる際の変形の速度を変化させることができる。
【００３３】
第１１の態様の画像表示装置によれば、物性に応じて、表示対象の変形する形を変化させることができる。
【００３４】
第１２の態様の画像表示装置によれば、表示対象の弾性が高い程、元の形状に戻る際の速さを速くすることができる。
【００３５】
第１３の態様の画像表示装置によれば、表示対象の光沢度が高い程、表示対象が変化した際の光の反射度合が大きくすることができる。
【００３６】
第１４の態様の画像表示装置によれば、表示対象の変形に応じて、光の反射度合を変化させることができる。
【００３７】
第１５の態様の画像表示装置によれば、表示対象の物性の一つである、表示対象の表面の質感に応じて、表示対象が変形する際の挙動を変化させることができる。
【００３８】
第１６の態様の画像表示装置によれば、接触位置の数に応じて、表示対象の変形を制御することができる。
【図面の簡単な説明】
【００３９】
【図１】各実施形態に係る画像表示装置の一例を模式的に示す模式図である。
【図２】各実施形態に係る画像表示装置のハードウェア構成の一例を示すブロック図である。
【図３】各実施形態に係る画像表示装置の機能的な構成の一例を示すブロック図である。
【図４】各実施形態に係る表示対象が折れ曲げるように変形する説明に供する画像表示処理の一例を示す概略図である。
【図５】各実施形態に係る表示対象が触れられた状態に変形をする説明に供する画像表示処理の一例を示す概略図である。
【図６】各実施形態に係る表示対象を摘まみ上げる状態に変形する説明に供する画像表示処理の一例を示す概略図である。
【図７】各実施形態に係る表示対象が接触位置の移動方向に応じて、異なる変形する説明に供する画像表示処理の一例を示す概略図である。
【図８】第１実施形態に係る画像表示処理の一例を示すフローチャートである。
【図９】第１実施形態に係る座屈モデルによる変形表示処理の一例を示すフローチャートである。
【図１０】第１実施形態に係るバネモデルによる変形表示処理の一例を示すフローチャートである。
【図１１】第２実施形態に係る画像表示処理の一例を示すフローチャートである。
【図１２】第３実施形態に係る画像表示処理の一例を示すフローチャートである。
【発明を実施するための形態】
【００４０】
［第１実施形態］
以下、図面を参照して、本開示の技術を実施するための形態例を詳細に説明する。なお、本実施形態に係る画像表示装置は、画像を表示する画面にタッチセンサが搭載されているタッチパネルを有しており、タッチパネルは、画面に接触した位置（以下「接触位置」という。）の座標を検出する。また、画像表示装置は、検出した座標を用いて、接触した位置の移動する速度及び方向（以下「接触ベクトル」という。）を導出する。本実施形態では、画像表示装置が、画面に接触して入力された接触に応じて、画像を変形させる形態について説明する。しかし、これに限定されない。画像表示装置は、キーボード及びマウスの少なくとも一方から入力された情報に応じて、画像を変形させる形態としてよい。
【００４１】
図１は、本実施形態に係る画像表示装置１０の一例を模式的に示す模式図である。画像表示装置１０は、物体の画像（以下「表示対象」という。）１１の表示、及び接触位置１２の検出を行うタッチパネル１３を備える。
【００４２】
本実施形態に係る画像表示装置１０は、タッチパネル１３に接触した接触位置１２の座標、接触ベクトル、及び各々の接触位置同士の間の距離（以下、「接触距離」という。）に応じて、表示対象１１を変形させて、タッチパネル１３に表示する。一例として、図１に示すように、タッチパネル１３に表示された表示対象１１をつまむように、接触距離が縮まった場合、画像表示装置１０は、表示対象１１を折り曲げた形状に変形させてタッチパネル１３に表示する。
【００４３】
なお、本実施形態に係る画像表示装置１０は、タッチパネル１３を備えた形態について説明する。しかし、これに限定されない。タッチパネル１３に対する入力を離れた場所に設置されている画像表示装置１０に送信し、処理を行う形態としてもよい。
【００４４】
図２は、本実施形態に係る画像表示装置１０のハードウェア構成の一例を示すブロック図である。図２に示すように、本実施形態に係る画像表示装置１０は、タッチパネル１３、ＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）２１、ＲＯＭ（Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）２２、ＲＡＭ（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）２３、ストレージ２４、通信インターフェース（通信Ｉ／Ｆ）２５、及び振動モータ２６を含んで構成されている。タッチパネル１３、ＣＰＵ２１、ＲＯＭ２２、ＲＡＭ２３、ストレージ２４、通信Ｉ／Ｆ２５、及び振動モータ２６の各々はバス２７により相互に接続されている。また、画像表示装置１０は、ＣＰＵ２１から受信したコマンドに応じて、画像処理に関する処理（域空間変換処理及び画像圧縮処理等）をＣＰＵ２１と非同期に行う図示しないＧＰＵ（Ｇｒａｐｈｉｃｓ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）を有する。
【００４５】
タッチパネル１３は、画面に接触した位置の検出及び画像の表示を行う。なお、タッチパネル１３は、接触した位置の検出及び画像を表示できる限り、いかなる装置であってもよい。例えば、静電容量型タッチパネルであってもよいし、抵抗膜方式タッチパネルであってもよい。
【００４６】
ＣＰＵ２１は、画像表示装置１０の全体を統括し、制御する。ＲＯＭ２２は、本実施形態で用いる画像表示プログラムを含む各種プログラム及びデータ等を記憶している。ＲＡＭ２３は、各種プログラムの実行時のワークエリアとして用いられるメモリである。ＣＰＵ２１は、ＲＯＭ２２に記憶されたプログラムをＲＡＭ２３に展開して実行することにより、表示対象１１を変形させて、表示を行う。ストレージ２４は、一例としてＨＤＤ（Ｈａｒｄ  Ｄｉｓｋ  Ｄｒｉｖｅ）、ＳＳＤ（Ｓｏｌｉｄ  Ｓｔａｔｅ  Ｄｒｉｖｅ）、又はフラッシュメモリ等である。なお、ストレージ２４には、画像表示プログラム等を記憶してもよい。通信Ｉ／Ｆ２５は、データの送受信を行う。振動モータ２６は、作動することで画像表示装置１０を振動させる。
【００４７】
次に、画像表示装置１０の機能構成について説明する。図３は、本実施形態に係る画像表示装置１０の機能的な構成の一例を示すブロック図である。
【００４８】
図３に示すように、画像表示装置１０は、取得部１０１、表示部１０２、物性取得部１０３、質感取得部１０４、制御部１０５、及び振動部１０６を有する。ＣＰＵ２１が画像表示プログラムを実行することで、取得部１０１、表示部１０２、物性取得部１０３、質感取得部１０４、制御部１０５、及び振動部１０６として機能する。
【００４９】
取得部１０１は、タッチパネル１３に接触した接触位置１２の座標、接触位置１２の数、接触ベクトル、及び接触距離等（以下、「接触情報」という。）を取得する。表示部１０２は、タッチパネル１３に表示対象１１を表示する。
【００５０】
物性取得部１０３は、表示対象１１が表す物体の物性に関する情報を取得する。本実施形態では、一例として、物性は、弾性及び光沢である形態について説明する。しかし、これに限定されない。例えば、物性は、重さ、密度、及び比重等の物質特性、引張特性、曲げ特性、せん断特性、圧縮特性の少なくとも１つである形態としてもよいし、剛性率、ヤング率、誘電率等の物性量である形態でもよい。
【００５１】
質感取得部１０４は、物性の一つである表示対象１１の表面の質感に関する情報（以下、「質感情報」という。）を取得する。質感情報は、例えば、表示対象１１の表面の凹凸と段差とに対応した座標、光の反射度合を示す光沢、及び物体の柔らかさを示す弾性等である。本実施形態では、質感情報として弾性を取得する形態について説明する。
【００５２】
制御部１０５は、表示画面に対する接触の数と、当該接触による接触位置が移動するベクトルとに応じて、表示対象１１を変形させる内容を変化させる制御を行う。制御部１０５は、例えば、以下のような態様により制御を行う。
【００５３】
制御部１０５は、表示画面に対する接触の数が２ヶ所以上であり、２ヶ所以上の接触による接触位置同士の距離が縮まる又は広がるように、接触位置が移動した場合、２ヶ所以上で囲まれた領域内の部分を中心に、表示対象１１を変形させる。また、制御部１０５は、２ヶ所以上の接触による接触位置同士の距離が縮まるように、接触位置が移動した場合、２ヶ所以上で囲まれた領域で表示対象１１がつままれたように、当該領域内の所定の箇所に画像をよせることにより、表示対象１１を変形させる。また、制御部１０５は、２ヶ所以上の接触による接触位置同士の距離が広がるように、接触位置が移動した場合、２ヶ所以上で囲まれた領域で前記表示対象が押し広げられるように、当該領域内から画像を広げることにより、前記表示対象を変形させる。
【００５４】
また、制御部１０５は、複数の接触による複数の接触位置が同方向である第１の方向に移動した場合、第１の方向の先に存在する表示対象１１の端部に向かって、複数の接触位置に囲まれた領域がスライドするように、表示対象１１を変形させる。
【００５５】
また、制御部１０５は、物体の物性に応じて、表示対象１１の変形のさせ方を変化させる。また、制御部１０５は、物性に応じて、表示対象１１の変形量を変化させる。また、制御部１０５は、物性に応じて、表示対象を変形させる際の変形速度を変化させる。また、制御部１０５は、物性に応じて、異なる形に前記表示対象を変化させる。
【００５６】
また、制御部１０５は、表示対象１１の弾性が高い程、表示対象１１を変形させた後に、元の形状に戻る速度を速くする。また、制御部１０５は、表示対象１１の光沢度が高い程、表示対象が変化した際の光の反射度合の変化量を多くする。また、制御部１０５は、表示対象１１を変形させた後に、反射度合を変化させる。また、制御部１０５は、質感に応じて、表示対象１１を変形させる際の挙動を変化させる。
【００５７】
振動部１０６は、摘まんだりした場合に、凹凸が大きい場合には、振動モータ２６を起動する。
【００５８】
次に、画像表示装置１０の作用について説明する前に、図４、５、６、７を参照して、画像表示装置１０が行う画像を変形させるための手法について説明する。本実施形態では、表示対象１１毎に予め定められた弾性の値（以下、「弾性値」という。）に応じて、表示対象１１の変形のさせ方を変化させる形態について説明する。なお、本実施形態に係る変形とは、表示対象１１の形状が変わることである。変形とは、例えば、表示対象１１がたわむ、折れ曲がる、折り畳まれる、摘まみ上げられる、掴まれたようにしわが寄る、及び押し広げられるようにしわが広がる等のことを指す。また、一例として、弾性値は、フックの法則に用いられるバネ定数、及び物体に掛かる曲げ応力と、ひずみとの関係を示すヤング率である形態について説明する。
【００５９】
まず、図４を参照して、対象物が折れ曲がるように変形する場合について説明する。図４は、本実施形態に係る表示対象が折れ曲がるよう変形する説明に供する画像表示処理の一例を示す概略図である。特に、図４では、表示対象１１に対して、両側から中央に向かって力が働き、表示対象１１が中央を通る線に沿って折れ曲がるように変形する例を示している。
【００６０】
制御部１０５は、弾性値から表示対象１１の座屈荷重を算出し、表示対象１１の座屈荷重が、予め定められた座屈荷重の閾値（以下、「荷重閾値」という。）より大きい場合、画像表示装置１０は、表示対象１１が折れ曲がるように変形をさせ、表示する。なお、本実施形態に係る座屈荷重とは、座屈現象（例えば、棒が折れる等の大きな変形）を引き起こす際に物体に掛かる荷重（力）であり、座屈荷重は、物体の長さ、断面積、及び材料等によって決まる。
【００６１】
図４の左図は、表示対象１１が紙のように柔らかい物、図４の中央図は、金蘭生地のようにある程度の固さ（紙と板との中間の弾性）を有する物、図４右図は、薄い板のように弾力性のある固さを有する物を、表示対象１１として表現している。
【００６２】
画像表示装置１０は、表示対象１１に設定された弾性値から算出した座屈荷重によって、図４に示すように表示対象１１を変形させる。例えば、座屈荷重が、第１の荷重閾値以上、第１の荷重閾値よりも大きな第２の荷重閾値未満の場合、紙のように変形（図４左図）させ、第２の荷重閾値より大きく、第２の荷重閾値よりも大きな第３の荷重閾値未満の場合、金蘭生地のように変形（図４中央図）させる。座屈荷重が、第３の荷重閾値より大きい場合、薄い板のように変形（図４右図）させる。
【００６３】
また、画像表示装置１０は、接触情報に含まれる接触ベクトルに応じて、表示対象１１の変形のさせ方を変える。
【００６４】
例えば、接触距離が小さくなった場合、画像表示装置１０は、表示対象１１を左右から寄せるように（表示対象１１の中央を通る縦の線に寄るように）画像を変化させて、表示する。これは、画像を寄せるように変化させた一例である。具体的には、図４右図から図４中央図を経て図４左図になるように、表示対象１１の中央を通る縦の線に寄るように、周囲の画像を寄っていくように変化させている。また、接触距離が大きくなった場合、画像表示装置１０は、表示対象１１を左右に広げるように画像を変化させて表示する。これは、画像を広げるように変化させた一例である。具体的には、表示対象１１の中央を通る縦の線から外側に広がるように画像を変化させて、表示する。また、画像表示装置１０は、接触位置１２の距離の変化の速さに応じて、表示対象１１の拡大及び縮小の変化の速さを変えて表示する。
【００６５】
また、タッチパネル１３に対する接触が全てなくなった場合、すなわち、接触位置１２が検知されなくなった場合、画像表示装置１０は、変形した表示対象１１を初期状態に戻る変化をさせて表示する。また、弾性値に応じて、画像表示装置１０は、表示対象１１が初期状態に戻る変化の速さを変える。
【００６６】
次に、図５を参照して、触れた状態に変形する場合について説明する。図５は、本実施形態に係る表示対象が触れられた状態に変形をする説明に供する画像表示処理の一例を示す概略図である。
【００６７】
図５の左図は、こしの強い布に触れた状態、図５の中央図はこしの強さが中程度の布に触れた状態、図５の右図は、こしの弱い布に触れた状態を表現している。なお、本実施形態に係るこしの強さは、弾性値から算出した座屈荷重である。図５に示すように、画像表示装置１０は、座屈荷重によって、表示対象１１を変形させる。
【００６８】
例えば、座屈荷重が第１の荷重閾値未満、かつ表示対象１１の座屈荷重が第１の荷重閾値より小さい第４の荷重閾値以上の場合、画像表示装置１０は、表示対象１１をこしの強い布に触れた状態に変形（図５左図）させ、表示する。また、表示対象１１の座屈荷重が第４の荷重閾値未満、かつ第４の荷重閾値より小さい座屈荷重が第５の荷重閾値以上の場合、画像表示装置１０は、表示対象１１をこしの強さが中程度の布に触れた状態に変形（図５中央図）させ、表示する。また、表示対象１１の座屈荷重が第５の荷重閾値未満の場合、画像表示装置１０は、表示対象１１をこしの弱い布に触れた状態に変形（図５右図）させ、表示する。
【００６９】
つまり、図５に示すように、接触位置１２の移動した距離が同程度であった場合、座屈荷重が大きい表示対象１１は、変形の度合いが小さく、荷重が小さい表示対象１１は、変形の度合いが大きくなる。
【００７０】
また、バネ及び座屈現象等をモデルに導入し、シミュレーションを行うことで、表示対象１１が変形する形状及び変化量を導出することができる。例えば、触れられた状態を表現する場合、画面横方向、縦方向、及び斜め方向にバネを取り入れた線バネをモデルにしてシミュレーションを行うことで、表示対象１１を触れられた状態に変形させる際の形状及び変化量を導出することができる。また、摘まみ上げられた状態を表現する場合、接触位置１２をバネの中心部として円周方向に力が働く蝶番バネをモデルにしてシミュレーションを行い、表示対象１１の形状及び変化量を導出することができる。また、折り曲げられた状態を表現する場合、座屈現象をモデルにしてシミュレーションを行い、表示対象１１の形状及び変化量を導出することができる。また、バネ及び座屈現象をモデルにしてシミュレーションした場合、バネ及び座屈現象と共に抵抗力をシミュレーションに導入してもよい。
【００７１】
本実施形態では、一例として、フックの法則を用いたバネ及び荷重を加えた際にたわみが生じる座屈現象をモデルにしたシミュレーションを行い、表示対象１１が変形する形状を求める形態について説明する。具体的には、一次元におけるバネモデルは、以下の数式によって表すことができる。
【００７２】
【数１】
2020194449.tif 000003
【００７３】
【数２】
2020194449.tif 000004
【００７４】
【数３】
2020194449.tif 000005
【００７５】
ここで、式（１）のＦは、質点（接触位置）に掛かっている力であり、ｍｎは、質点の質量であり、ａは、質点の加速度である。また、式（２）のｋは、バネ係数であり、Ｌｋは、バネの自然長である。Ｌは、式（３）で表される質点からバネの他端（表示対象１１の変化の中心部）までの距離である。式（３）のＸｎは、バネの他端のｘ座標であり、ｘｎは、質点のｘ座標である。
【００７６】
式（２）を式（３）に適用すると、以下の数式によって表される。
【００７７】
【数４】
2020194449.tif 000006
【００７８】
また、質点の移動速度Ｖｎ＋１は、以下の数式によって表される。
【００７９】
【数５】
2020194449.tif 000007
【００８０】
Ｖｎは、直前の質点の速度であり、Δｔは質点の座標が変化するのに掛かった微小時間である。さらに、質点の位置Ｘｎは、以下の数式によって表される。
【００８１】
【数６】
2020194449.tif 000008
【００８２】
Ｘｎは、直前の質点の位置である。式（５）に式（４）を適用して導出した質点の移動速度Ｖｎ＋１を式（６）に適用することで、質点の位置Ｘｎを導出することができる。
【００８３】
上述したバネモデルを各々の接触位置に適用することで、表示対象１１の変化の中心位置及び表示対象１１の任意の位置の変化量を導出することができる。なお、バネ係数ｋ及び質量ｍｎは、任意の値を設定してもよいし、表示対象ごとに予め定められた値を設置してもよい。
【００８４】
また、本実施形態では、バネを表示対象１１に導入する形態について説明した。しかし、これに限定されない。接触位置の移動する速度に比例した抵抗力を導入してもよい。例えば、抵抗力は、以下の数式によって表すことができる。
【００８５】
【数７】
2020194449.tif 000009
ここで、Ｆｒは、抵抗力であり、ｄは、抵抗（ダンピング）係数である。抵抗力を導入することで、表示対象１１の硬さを表現することができる。例えば、接触位置の移動する速度が同一であっても、ダンピング係数ｄが小さい場合、抵抗力は小さくなり表示対象１１の変形する速さ早くなる。また、ダンピング係数が大きい場合、抵抗力は大きくなり、表示対象１１の変形する速さは遅くなる。また、表示対象１１が初期状態に戻る変化をする場合も同様である。
【００８６】
次に、座屈モデルについて説明する。紙をめくるように、表示対象の一端は床に接し、もう一方の他端は持ち上げられるような状態である片端を固定した片端固定モデルを考えると、座屈モデルは、以下の数式によって表すことができる。なお、本実施形態では、表示対象が接している床と平行である方向をｘ方向、床と垂直である方向をｙ方向とする２次元平面に座屈モデルを適用した場合を説明する。また、ｘは表示対象１１における任意の位置のｘ座標であり、ｙは表示対象１１がたわんだ際の任意の位置のｙ座標であるとする。
【００８７】
【数８】
2020194449.tif 000010
【００８８】
【数９】
2020194449.tif 000011
【００８９】
【数１０】
2020194449.tif 000012
【００９０】
ここで、Ｐは座屈荷重（軸力）であり、Ｅはヤング率であり、Ｉは断面二次元モーメント（変形のしにくさ）であり、δは表示対象１１がたわんだ際の高さである。また、Ｃ１及びＣ２は、積分定数であり、モデル毎に与えられる境界条件によって決まる任意の値である。
【００９１】
片端が固定されている座屈モデルであることを考慮すると、境界条件は、ｘ＝０の場合、ｙ＝０、ｄｙ／ｄｘ＝０、となり、式（９）に代入すると積分定数は、それぞれＣ１＝０、Ｃ２＝−δとなる。また、表示対象に荷重Ｐを加えられた時の固定されていない他端（自由点）の高さがδであるとすると、ｘ＝Ｌの場合、ｙ＝δとなり、式（９）に代入するとcosαＬ＝０が求まり、αＬ＝（２ｎ−１）πとなる。この結果を式（１０）に代入すると、座屈荷重Ｐは次の式のよって表すことができる。なお、Ｌは、ｘ方向の表示対象の長さであり、ｎは任意の自然数である。
【００９２】
【数１１】
2020194449.tif 000013
【００９３】
座屈荷重Ｐの最小値を考えると、ｎ＝１を式（１１）に代入することができる。よって、座屈荷重Ｐの最小値は、次の式によって表すことができる。
【００９４】
【数１２】
2020194449.tif 000014
また、座屈荷重ＰはＰ＝σＡであることを考慮すると、曲げ応力σは、次の式によって表すことができる。なお、Ａは表示対象１１をｘ方向に直交する面で切断した際の断面積である。
【００９５】
【数１３】
2020194449.tif 000015
【００９６】
【数１４】
2020194449.tif 000016
【００９７】
ここで、λは表示対象１１の細長さを表す細長比である。
【００９８】
また、表示対象１１の両端が床に接しており、表示対象１１の中央でたわんだ状態である、両端を固定した両端固定モデルを考えると、座屈モデルは、以下の数式によって表すことができる。
【００９９】
【数１５】
2020194449.tif 000017
【０１００】
【数１６】
2020194449.tif 000018
【０１０１】
ここで、Ｍは、表示対象のたわみに抵抗する力である曲げモーメントである。両端が固定されている座屈モデルで１１あることを考慮すると、境界条件は、ｘ＝０の場合、ｙ＝０、ｄｙ／ｄｘ＝０、となり、式（９）に代入すると積分定数は、それぞれＣ１＝０、Ｃ２＝−Ｍ／Ｐとなる。また、ｘ＝Ｌの場合、ｙ＝０となり、式（１６）に代入するとcosαＬ＝１が求まり、αＬ＝２ｎπとなる。この結果を式（１０）に代入すると、座屈荷重Ｐは次の式のよって表すことができる。
【０１０２】
【数１７】
2020194449.tif 000019
【０１０３】
座屈荷重Ｐの最小値を考えると、ｎ＝１を式（１１）に代入することができる。よって、座屈荷重Ｐの最小値は、次の式によって表すことができる。
【０１０４】
【数１８】
2020194449.tif 000020
【０１０５】
また、座屈荷重ＰはＰ＝σＡであることを考慮すると、曲げ応力σは、次の式によって表すことができる。
【０１０６】
【数１９】
2020194449.tif 000021
【０１０７】
上述した座屈モデルを表示対象１１に適用することによって、表示対象１１の形状及び任意の位置の変化量を導出することができる。なお、本実施形態では、片端を固定した座屈モデル及び両端を固定した座屈モデルについて説明した。しかし、これに限定されない。両端が固定されていない座屈モデルを適用してもよい。また、本実施形態に係る座屈モデルは、表示対象に対してｘ方向に加えられた荷重Ｐ及び曲げモーメントＭを考慮したモデルについて説明した。しかし、これに限定されない。表示対象１１に対して鉛直軸方向に働く力であるせん断力を適用してもよい。せん断力を適用した場合、表示対象１１の任意の位置ｙ座標は、以下の式によって表すことができる。
【０１０８】
【数２０】
2020194449.tif 000022
【０１０９】
ここで、Ｃ３及びＣ４は、積分定数であり、モデル毎に与えられる境界条件によって決まる任意の値である。
【０１１０】
なお、本実施形態に係るバネモデル及び座屈モデルの適用については、弾性値を用いて、表示対象１１の座屈荷重を算出し、座屈荷重が第１の閾値未満の場合、バネモデルを適用し、座屈荷重が第１の荷重閾値以上の場合、座屈モデルを適用する。しかし、これに限定されない。表示対象１１に応じて、バネモデル及び座屈モデルを適用してもよい。例えば、表示対象１１が紙及び板等の弾力がある物体の場合、ヤング係数を参照して座屈モデルを適用し、表示対象１１が柔らかい布等の弾力がない物体の場合、バネ係数を参照して馬援モデルを適用してもよい。
【０１１１】
次に、図６を参照して、表示対象１１が摘ままれるように変形する場合について説明する。図４、５では、表示対象１１の弾性値から算出した座屈荷重及びシミュレーションによって、表示対象１１が変形する例について説明したのに対して、図６、７では、接触距離及び接触位置の移動方向に応じて、表示対象１１が変形する一例について説明する。図６は、本実施形態に係る表示対象を摘まみ上げる状態に変形する説明に供する画像表示処理の一例を示す概略図である。
【０１１２】
座屈荷重が第１の荷重閾値未満、かつ接触距離が閾値未満の場合、画像表示装置１０は、表示対象１１の中央が上昇するように変形をさせ、表示する。図６の左図は、床に置かれた布に触れた状態、図６の中央図は、床に置かれた布を摘まんだ状態、図６の右図は、床に置かれた布を掴み上げた状態を表現している。
【０１１３】
図６に示すように、画像表示装置１０は、接触ベクトル、及び接触距離に応じて、表示対象１１を変形させる。
【０１１４】
例えば、座屈荷重が第１の荷重閾値未満、かつ接触距離が変化した場合、画像表示装置１０は、表示対象１１を表示対象に触れた状態に変形（図６左図）させて、表示する。また、座屈荷重が第１の荷重閾値未満、かつ接触距離が、予め定められた接触距離の閾値（以下、「距離閾値」という。）未満の場合、画像表示装置１０は、表示対象１１を摘まんだ状態に変形（図６中央図）させ、表示する。また、座屈荷重が第１の荷重閾値未満、かつ接触距離が距離閾値未満、かつ接触位置１２が同一方向に移動した場合、画像表示装置１０は、表示対象１１を摘まみ上げた状態に変形（図６右図）させ、表示する。例えば、座屈荷重が第一の荷重閾値未満、かつ接触距離が接触閾値未満、かつ接触位置１２がタッチパネル１３の上方に移動した場合、画像表示装置１０は、図６右図に示すように表示対象１１を摘まみ上げた状態に変形させ、表示する。
【０１１５】
次に、図７を参照して、対象物が折り畳まれるように変形する場合について説明する。図７は、本実施形態に係る表示対象が接触位置の移動方向に応じて、異なる変形する説明に供する画像表示処理の一例を示す概略図である。
【０１１６】
図７の左図は、接触位置が移動する前の状態、図７の中央図は、接触位置が表示対象の中央付近まで移動した状態の状態、図７の右図は、接触位置が表示対象の固定されている一端まで移動した状態を表現している。
【０１１７】
例えば、画像表示装置１０は、座屈荷重が第１の荷重閾値以上、かつ接触位置が同一の方向に移動した場合、移動方向の延長線上にある表示対象１１の端部を固定（以下「固定位置」という。）する。また、画像表示装置１０は、座屈荷重が第１の荷重閾値以上、かつ接触位置が同一の方向に移動した場合、固定位置に向かって、表示対象１１を（カーテンのように）折り曲げて（図７右図）表示する。また、画像表示装置１０は、表示対象１１の端部が固定された状態、かつ全ての接触位置が固定位置から離れる方向であって、かつ同一方向に移動した場合、表示対象１１を拡げて（図７左図）表示する。
【０１１８】
なお、本実施形態では表示対象１１毎に弾性値が予め定められており、弾性値に応じて表示対象１１を変形する形態について説明した。しかし、これに限定されない。表示対象１１毎に予め定められた光沢の値（以下、「光沢値」という。）に応じて、表示画面における仮想光源に対する相対位置が変化したように見せてもよい。言い換えれば、変化に応じて、表示対象１１の光の反射度合を変化させてもよい。表示対象１１を変化させる前はあまり光って見えないようにし、変化させた後にだけ、表示対象１１の変形に応じて、表示対象１１の光沢が目立つようにしてもよい。具体的には、仮想光源をディスプレイの画面に垂直な方向ではなく、角度をつけたようにすると、表示対象１１が変形して、立体部分となった傾斜部でより光沢が目立つようになる。
【０１１９】
つまり、本実施形態における光沢とは、入射角度に応じて変化する表示対象１１が反射する光のことともいえるものであり、光沢値とは、入射角度に応じて変化する光の反射度合である。光沢値は、表示対象１１毎に設定されるため、表示対象１１が変形しても変わらない。しかし、表示対象１１が変形することで、表示対象１１に対する光の入射角が変わり、光の反射度合は変化する。例えば、画像表示装置１０は、任意の一方向から表示対象１１に光を当てる光源を想定し、表示対象１１に光が反射した状態を表示する。画像表示装置１０は、表示対象１１毎に光沢値に応じて、光の反射度合を変化させる。また、画像表示装置１０は、表示対象１１の変形に応じて、光源から見て段差の手前側では、光沢を大きくして光の反射度合を大きくし、光源から見て段差の奥側では、光沢を小さくして光の反射度合を小さくする。
【０１２０】
また、本実施形態は弾性値から算出した座屈荷重に応じて、バネモデル及び座屈モデルの
【０１２１】
次に、図８、９、１０を参照して、本実施形態に係る画像表示プログラムの作用について説明する。まず、図８は、本実施形態に係る画像表示処理の一例を示すフローチャートである。ＣＰＵ２１がＲＯＭ２２又はストレージ２４から画像表示プログラムを読み出し、実行することによって、図８に示す画像表示処理が実行される。図８に示す画像表示処理は、例えば、ユーザが画像表示装置１０を起動した場合、画像表示プログラムの実行指示が入力され、画像表示処理が実行される。
【０１２２】
ステップＳ１０１において、ＣＰＵ２１は、表示対象１１ごとに設定されている弾性値、及び光沢値を取得する。
【０１２３】
ステップＳ１０２において、ＣＰＵ２１は、取得した弾性値、及び光沢値に応じて、初期状態の表示対象１１を画面に表示する。
【０１２４】
ステップＳ１０３において、ＣＰＵ２１は、２ヶ所以上の接触があったか否かの判定を行う。２ヶ所以上の接触があった場合（ステップＳ１０３：ＹＥＳ）、ＣＰＵ２１は、ステップＳ１０４に移行する。一方、２ヶ所以上の接触がない場合（ステップＳ１０３：ＮＯ）、ＣＰＵ２１は、２ヶ所以上の接触があるまで待機する。
【０１２５】
ステップＳ１０４において、ＣＰＵ２１は、接触位置１２の接触情報を取得する。
【０１２６】
ステップＳ１０５において、ＣＰＵ２１は、取得した弾性値を用いて、表示対象１１の座屈荷重を算出する。
【０１２７】
ステップＳ１０６において、ＣＰＵ２１は、算出した座屈荷重が第１の閾値以上か否かの判定を行う。座屈荷重が第１の閾値以上の場合（ステップＳ１０６：ＹＥＳ）、ＣＰＵ２１は、ステップＳ１０７に移行する。一方、座屈荷重が閾値未満の場合（ステップＳ１０６：ＮＯ）、ＣＰＵ２１は、ステップＳ１０８に移行する。
【０１２８】
ステップＳ１０７において、ＣＰＵ２１は、座屈モデルを適用して、表示対象１１を変形させる。ステップＳ１０７における座屈モデルによる変形表示処理の詳細については、図９を参照して後述する。
【０１２９】
ステップＳ１０８において、ＣＰＵ２１は、バネモデルを適用して、表示対象１１変形させる。ステップＳ１０８におけるバネモデルによる変形表示処理の詳細については、図１０を参照して後述する。
【０１３０】
ステップＳ１０９において、ＣＰＵ２１は、接触位置１２がタッチパネル１３から離れたか否かの判定を行う。タッチパネル１３から離れた場合（ステップＳ１０９：ＹＥＳ）、ＣＰＵ２１は、ステップＳ１１０に移行する。一方、タッチパネル１３から離れていない場合（ステップＳ１０９：ＮＯ）、ＣＰＵ２１は、ステップＳ１０３に移行する。
【０１３１】
ステップＳ１１０において、ＣＰＵ２１は、接触位置１２がタッチパネル１３から離れた位置の座標を取得し、取得した座標を終点位置として接触情報に登録する。
【０１３２】
ステップＳ１１１において、ＣＰＵ２１は、全ての接触位置１２の接触情報に終点位置が設定されているか否かの判定を行う。全ての接触位置の接触情報に終点位置が設定されている場合（ステップＳ１１１：ＹＥＳ）、ＣＰＵ２１は、ステップＳ１１２に移行する。終点位置が設定されていない場合（ステップＳ１１１：ＮＯ）、ＣＰＵ２１は、ステップＳ１０３に移行する。
【０１３３】
ステップＳ１１２において、ＣＰＵ２１は、表示対象１１から力が除かれた際の弾性的な変形をさせ、タッチパネル１３に表示する。なお、本実施形態に係る弾性的な変形とは、表示対象１１が元の形に戻ろうとする変形である。しかし、これに限定されない。床による摩擦、抵抗、及び弾性限界等を考慮することで、初期状態まで完全には元に戻らず、ある程度変形した状態で留まる変形をさせてもよい。
【０１３４】
また、本実施形態では接触位置が全て離れた場合、元に戻ろうとする弾性的な変形をする形態について説明した。しかし、これに限定されない。接触位置が全て離れた場合でも、弾性的な変形をせずに表示対象１１の変形を留まらせておいてもよいし、初期状態に戻すか否かの選択肢を表示し、選択に応じて、初期状態に戻してもよい。
【０１３５】
次に、図９を参照して、本実施形態に係る座屈モデルによる変形表示処理について説明する。図９は、本実施形態に係る座屈モデルによる変形表示処理の一例を示すフローチャートである。ＣＰＵ２１がＲＯＭ２２又はストレージ２４から座屈モデル変形表示プログラムを読み出し、実行することによって、図９に示す座屈モデルによる変形表示処理が実行される。
【０１３６】
ステップＳ２０１において、ＣＰＵ２１は、表示対象１１を座標に対応付けた格子点情報を作成し、表示対象１１を表示する。
【０１３７】
ステップＳ２０２において、ＣＰＵ２１は、タッチパネル１３に触れた接触情報を取得する。
【０１３８】
ステップＳ２０３において、ＣＰＵ２１は、物性情報を取得する。
【０１３９】
ステップＳ２０４において、ＣＰＵ２１は、各々の接触位置が移動した方向が同一の方向か否かの判定をする。各々の接触位置が同一の方向に移動している場合（ステップＳ２０４：ＹＥＳ）、ＣＰＵ２１は、ステップＳ２０５に移行する。一方、各々の接触位置が同一の方向に移動していない場合（ステップＳ２０４：ＮＯ）、ＣＰＵ２１は、ステップＳ２０７に移行する。
【０１４０】
ステップＳ２０５において、ＣＰＵ２１は、接触位置が移動する方向の延長線上にある表示対象１１の端部を固定位置に決定する。
【０１４１】
ステップＳ２０６において、ＣＰＵ２１は、固定位置に向かって、表示対象１１を折り畳む変形をして、表示する。なお、折り畳む変形とは、図７に示す広げられた状態（例えば、図７左図）から折り縮められた状態（例えば、図７右図）、又は折り縮められた状態（例えば、図７右図）から広げられた状態（例えば、図７左図）に変化する変形である。したがって、ＣＰＵ２１は、接触位置が移動する方向に応じて、表示対象１１の折り畳みの程度が変化するように変形して、表示する。
【０１４２】
ステップＳ２０７において、ＣＰＵ２１は、接触距離が拡大したか否かの判定をする。接触距離が拡大した場合（ステップＳ２０７：ＹＥＳ）、ＣＰＵ２１は、ステップＳ２０８に移行する。一方、接触距離が縮小した場合（ステップＳ２０７：ＮＯ）、ＣＰＵ２１は、ステップＳ２０９に移行する。
【０１４３】
ステップＳ２０８において、ＣＰＵ２１は、接触位置で囲まれた領域の外側に向けて、表示対象１１を押し広げる変形をして、表示する。なお、押し広げる変形とは、図４に示す折り曲げられた状態（例えば、図４左図）から元の表示状態に戻す状態（例えば、図４右図）に変化する変形である。したがって、ＣＰＵ２１は、表示対象１１の折り曲がりの程度が小さくなるように変形して、表示する。
【０１４４】
ステップＳ２０９において、ＣＰＵ２１は、接触位置で囲まれた領域の内側に向けて、表示対象１１を縮める変形をして、表示する。なお、縮める変形とは、図４に示すように表示対象１１のたわみが小さい状態（例えば、図４右図）からたわみが大きい状態（例えば、図４左図）に変化する変形である。したがって、ＣＰＵ２１は、表示対象１１の折り曲がりの程度が大きくなるように変形して、表示する。
【０１４５】
ステップＳ２１０において、ＣＰＵ２１は、光沢値に応じて、表示対象１１の光の反射度合を変化させて、表示する。
【０１４６】
次に、図１０を参照して、本実施形態に係るバネモデルによる変形表示処理について説明する。図１０は、本実施形態に係るバネモデルによる変形表示処理の一例を示すフローチャートである。ＣＰＵ２１がＲＯＭ２２又はストレージ２４からバネモデル変形表示プログラムを読み出し、実行することによって、図１０に示すバネモデルによる変形表示処理が実行される。
【０１４７】
ステップＳ３０１において、ＣＰＵ２１は、表示対象１１を座標に対応付けた格子点情報を作成し、表示対象１１を表示する。
【０１４８】
ステップＳ３０２において、ＣＰＵ２１は、接触位置１２の接触情報を取得する。
【０１４９】
ステップＳ３０３において、ＣＰＵ２１は、弾性値及び光沢値を取得する。
【０１５０】
ステップＳ３０４において、ＣＰＵ２１は、接触距離が距離閾値未満か否かの判定をする。接触距離が距離閾値未満である場合（ステップＳ３０４：ＹＥＳ）、ＣＰＵ２１は、ステップＳ３０５に移行する。一方、接触距離が距離閾値以上である場合（ステップＳ３０４：ＮＯ）、ＣＰＵ２１は、ステップＳ３０８に移行する。
【０１５１】
ステップＳ３０５において、ＣＰＵ２１は、接触位置が上方に移動したか否かの判定をする。接触位置が上方に移動した場合（ステップＳ３０５：ＹＥＳ）、ＣＰＵ２１は、ステップＳ３０６に移行する。一方、接触位置が上方に移動していない場合（ステップＳ３０５：ＮＯ）、ＣＰＵ２１は、ステップＳ３０７に移行する。
【０１５２】
ステップＳ３０６において、ＣＰＵ２１は、接触位置１２で囲まれた領域に向けて、表示対象１１を縮め、上方に持ち上げる変形、すなわち、接触位置で囲まれた領域内の中央等の定められた箇所に向けて摘まみ上げた状態（例えば、図６右図）に変形をして、表示する。摘まみ上げられた状態は、蝶番バネモデルを適用することで、表現することができる。
【０１５３】
ステップＳ３０７において、ＣＰＵ２１は、接触位置１２で囲まれた領域に向けて、表示対象１１を縮める変形、すなわち、接触位置で囲まれた領域内の中央等の定められた箇所に向けて摘まんだ状態（例えば、図６中央図）に変形をして、表示する。摘まんだ状態は、蝶番バネモデルを適用することで、表現することができる。
【０１５４】
ステップＳ３０８において、ＣＰＵ２１は、接触距離が拡大したか否かの判定をする。接触距離が拡大している場合（ステップＳ３０８：ＹＥＳ）、ステップＳ３０９に移行する。一方、接触距離が拡大していない場合（ステップＳ３０８：ＮＯ）、ＣＰＵ２１は、ステップＳ３１０に移行する。
【０１５５】
ステップＳ３０９において、ＣＰＵ２１は、接触位置で囲まれた領域の外側に向けて、表示対象１１を押し広げる変形をして、表示する。なお、ここでいう押し広げる変形とは、図５に示す触れた状態（例えば、図５右図）から元の表示状態に戻す状態（例えば、図５左図）に変化する変形である。したがって、ＣＰＵ２１は、表示対象１１の触れた程度が小さくなるように変形して、表示する。
【０１５６】
ステップＳ３１０において、ＣＰＵ２１は、接触位置で囲まれた領域の内側に向けて、表示対象１１を縮める変形をして、表示する。なお、ここでいう縮める変形とは、図５に示すように表示対象１１が触れられていない状態（図５左図）から触れた状態（図５右図）に変化する変形である。したがって、ＣＰＵ２１は、表示対象１１の触れた程度が大きくなるように変形して、表示する。
【０１５７】
ステップＳ３１１において、ＣＰＵ２１は、表示対象１１の変形に応じて、表示対象１１の光の反射度合を変化させて、表示する。
【０１５８】
なお、本実施形態では、接触距離に応じて、表示対象１１の変形のさせ方が変化する形態について説明した。しかし、これに限定されない。複数の接触位置１２に囲まれた面積に応じて、表示対象１１を変形させてもよい。また、本実施形態では座屈荷重が第１荷重閾値以上の場合、座屈モデルを適用する形態について説明した。しかし、これに限定されない。接触位置の移動に応じて、座屈モデルを適用してもよい。例えば、接触位置が２箇所の場合において、両方の接触位置が当初の接触位置から移動した場合、両端固定モデルを適用し、一方の接触位置が当初の接触位置から移動し、もう一方の接触位置が当初の接触位置から移動しない場合、片端固定モデルを適用してもよい。
【０１５９】
また、本実施形態では接触距離が拡大した場合、触れた状態から元の表示に戻る変形をする形態について説明した。しかし、これに限定されない。接触距離が拡大した場合、接触位置に囲まれた領域から外側に向かって表示対象１１を伸ばす変形をしてもよい。
【０１６０】
以上説明したように、本実施形態によれば、弾性値から算出した座屈荷重と、当該接触による接触位置が移動するベクトルとに応じて、表示対象を変形させる内容を変化させる制御を行う。従って、表示画面に表示された物体の画像に対し多様な操作を実行できる。
【０１６１】
［第２実施形態］
第１実施形態では、接触位置１２の数が一定であり、接触位置１２の移動ベクトルに応じて、表示対象１１の変形のさせ方を変化させる形態について説明した。本第２実施形態では、接触位置１２の数に応じて、表示対象１１の変形のさせ方（変形させる内容）を変化させる形態について説明する。なお、本実施形態に係る画像表示装置１０の構成（図１参照）、画像表示装置１０のハードウェアの構成（図２参照）、及び画像表示装置１０の機能的な構成（図３参照）は、第１実施形態と同様であるため、説明を省略する。また、本実施形態に係る画像表示処理の説明に供する概略図（図４、５、６、７）、座屈モデルによる変形表示処理のフロー図（図９参照）、及びバネモデルによる変形表示処理のフロー図（図１０参照）は、第１実施形態と同様であるため、説明を省略する。
【０１６２】
まず、図３を参照して、画像表示装置１０の機能構成について説明する。第２実施形態においては、制御部１０５の機能が、第１実施形態と異なる。従って、制御部１０５についてのみ説明する。
【０１６３】
制御部１０５は、表示画面に対する接触の数と、当該接触による接触位置が移動するベクトルとに応じて、表示対象１１を変形させる内容を変化させる制御を行う。制御部１０５は、例えば、以下のような態様により制御を行う。
【０１６４】
制御部１０５は、表示画面に対する接触の数が２ヶ所であり、２ヶ所の接触による接触位置同士の距離が縮まる又は広がるように、接触位置が移動した場合、表示対象１１を変形させない処理を行う。具体的には、表示対象１１を変形させずに、表示を縮小又は拡大する。
【０１６５】
一方、制御部１０５は、表示画面に対する接触の数が３ヶ所であり、３ヶ所の接触による接触位置同士の距離が縮まる又は広がるように、接触位置が移動した場合、表示対象１１を変形させる処理を行う。具体的には、３ヶ所で囲まれた領域内の部分を中心に、表示対象１１を変形させる。また、制御部１０５は、３ヶ所の接触による接触位置同士の距離が縮まるように、接触位置が移動した場合、３ヶ所で囲まれた領域で表示対象１１がつままれたように、当該領域内の所定の箇所に画像をよせることにより、表示対象１１を変形させる。また、制御部１０５は、３ヶ所の接触による接触位置同士の距離が広がるように、接触位置が移動した場合、３ヶ所で囲まれた領域で前記表示対象が押し広げられるように、当該領域内から画像を広げることにより、前記表示対象を変形させる。
【０１６６】
また、制御部１０５は、複数の接触による複数の接触位置が同方向である第１の方向に移動した場合、第１の方向の先に存在する表示対象１１の端部に向かって、複数の接触位置に囲まれた領域がスライドするように、表示対象１１を変形させる。
【０１６７】
また、制御部１０５は、物体の物性に応じて、表示対象１１の変形のさせ方を変化させる。また、制御部１０５は、物性に応じて、表示対象１１の変形量を変化させる。また、制御部１０５は、物性に応じて、表示対象を変形させる際の変形速度を変化させる。また、制御部１０５は、物性に応じて、異なる形に前記表示対象を変化させる。
【０１６８】
また、制御部１０５は、表示対象１１の弾性が高い程、表示対象１１を変形させた後に、元の形状に戻る速度を速くする。また、制御部１０５は、表示対象１１の光沢度が高い程、表示対象１１が変改した際の光の反射度合の変化量を多くする。また、制御部１０５は、表示対象１１を変形させた後に、反射度合を変化させる。また、制御部１０５は、質感に応じて、表示対象１１の表示を変化させる。制御部１０５は、質感に応じて、表示対象１１を変形させる際の挙動を変化させる。なお、実施形態では、弾性が高い程、元の形状に戻る速度を早くする形態について説明する。しかし、これに限定されない。表示対象１１に応じて、参照する物性を切り替えてもよい。例えば、表示対象１１が紙等の弾力がある物体の場合、ヤング係数を参照し、表示対象１１が柔らかい布等の弾力がない物体の場合、バネ係数を参照してもよい。
【０１６９】
次に、図１１を参照して、本実施形態に係る画像表示プログラムの作用について説明する。まず、図１１は、本実施形態に係る画像表示処理の一例を示すフローチャートである。ＣＰＵ２１がＲＯＭ２２又はストレージ２４から画像表示プログラムを読み出し、実行することによって、図１１に示す画像表示処理が実行される。図１１に示す画像表示処理は、例えば、ユーザが画像表示装置１０を起動した場合、画像表示プログラムの実行指示が入力され、画像表示処理が実行される。なお、図１１における図８に示す画像表示装置１０の機能と同一の構成要素については、図８と同一の符号を付して、その説明を省略する。
【０１７０】
ステップＳ１２１において、ＣＰＵ２１は、接触位置１２が３ヶ所以上あったか否かの判定を行う。接触位置１２が３ヶ所以上であった場合（ステップＳ１２１：ＹＥＳ）、ＣＰＵ２１は、ステップＳ１０５に移行する。一方、接触位置１２が２ヶ所であった場合（ステップＳ１２１：ＮＯ）、ＣＰＵ２１は、ステップＳ１２２に移行する。
【０１７１】
ステップＳ１２２において、ＣＰＵ２１は、２ヶ所の接触距離が拡大したか否かの判定を行う。接触距離が拡大した場合（ステップＳ１２２：ＹＥＳ）、ＣＰＵ２１は、ステップＳ１２３に移行する。一方、接触距離が縮小した場合（ステップＳ１２２：ＮＯ）、ＣＰＵ２１は、ステップＳ１２４に移行する。
【０１７２】
ステップＳ１２３において、ＣＰＵ２１は、表示対象１１を変形させず、表示対象１１を拡大して表示する。
【０１７３】
ステップＳ１２４において、ＣＰＵ２１は、表示対象１１を変形させず、表示対象１１を縮小して表示する。
【０１７４】
なお、本実施形態では、接触位置の数が２ヶ所の場合、表示対象１１を変形させず、表示対象１１を拡大縮小し、接触位置の数が３ヶ所の場合、表示対象１１を変形させる形態について説明した。しかし、これに限定されない。接触位置の数に応じて、表示対象１１の変形を制限してもよい。制御部１０５は、例えば、以下のような態様により制御を行う。
【０１７５】
制御部１０５は、表示画面に対する接触の数が２ヶ所であり、接触位置同士の距離が縮まるように、又は広がるように移動した場合、表示対象１１を変形させる。具体的には、制御部１０５は、接触位置同士の距離が縮まるように移動した場合、摘ままれたり、接触位置の中央に寄ったりするように表示対象１１を変形させ、距離が離れるように移動した場合、押し広げるように表示対象１１を変形させる。一方、制御部１０５は、表示画面に対する接触位置の数が３ヶ所以上である場合、表示対象１１の変形を制限する。具体的には、制御部１０５は、接触位置同士の距離が縮まるように移動した場合は、表示対象１１を変形させ、広がるように移動した場合は、表示対象１１を変形させない。つまり、接触位置の数が３ヶ所の場合であって、接触位置同士の距離が広がるように移動した場合には、表示対象１１の変形が制限される。なお、上記は、接触位置の数による表示対象１１の変形の制限の一例である。いかなる制限をしてもよい。例えば、接触位置同士の距離が縮まるように移動した場合には、表示対象１１の変形が制限されてもよい。また、例えば、接触位置の数が２ヶ所の場合は制限なく、接触位置の数が４ヶ所の場合は、接触位置同士の距離が広がる場合のみ制限があってもよい。
【０１７６】
また、本実施形態では、接触位置が２ヶ所の場合、表示対象１１を縮小又は拡大し、接触位置が３ヶ所の場合、表示対象１１を変形させる形態について説明した、しかし、これに限定されない。接触位置が２ヶ所の場合、表示対象１１を変形させ、接触位置が２ヶ所の場合、表示対象１１を縮小又は拡大させる等、接触位置の数に応じて、変形及び拡大縮小を切り替えてもよい。
【０１７７】
以上説明したように、本実施形態によれば、第１実施形態と同様の効果を奏することができる。
［第３実施形態］
第２実施形態では、接触位置の数に応じて、表示対象１１の変形のさせ方を変化させる形態について説明した。本実施形態では、接触位置１２の座標に応じて、表示対象１１の変形のさせる際の挙動を変化させる形態について説明する。なお、本実施形態に係る画像表示装置１０の構成（図１参照）、画像表示装置１０のハードウェアの構成（図２参照）、及び画像表示装置１０の機能的な構成（図３参照）は、第１実施形態と同様であるため、説明を省略する。また、本実施形態に係る画像表示処理の説明に供する概略図（図４、５、６、７）、座屈モデルによる変形表示処理のフロー図（図９参照）、及びバネモデルによる変形表示処理のフロー図（図１０参照）は、第１実施形態と同様であるため、説明を省略する。
【０１７８】
図１２を参照して、本実施形態に係る画像表示プログラムの作用について説明する。まず、図１２は、第２実施形態に係る画像表示処理の一例を示すフローチャートである。ＣＰＵ２１がＲＯＭ２２又はストレージ２４から画像表示プログラムを読み出し、実行することによって、図１２に示す画像表示処理が実行される。図１２に示す画像表示処理は、例えば、ユーザが画像表示装置１０を起動した場合、画像表示プログラムの実行指示が入力され、画像表示処理が実行される。なお、図１２における図８に示す画像表示装置１０の機能と同一の構成要素については、図８と同一の符号を付して、その説明を省略する。
【０１７９】
ステップＳ１３１において、ＣＰＵ２１は、表示対象１１ごとに設定されている弾性値、光沢値、及び質感情報を取得する。
【０１８０】
ステップＳ１３２において、ＣＰＵ２１は、質感情報に含まれる弾性値の大小を判定をする。質感情報に含まれる弾性値が閾値以上の場合（ステップＳ１３２：ＹＥＳ）、ＣＰＵ２１は、ステップＳ１３３に移行する。一方、質感情報に含まれる弾性値が閾値より小さい場合（ステップＳ１３２：ＮＯ）、ＣＰＵ２１は、ステップＳ１０９に移行する。
【０１８１】
ステップＳ１３３において、ＣＰＵ２１は、振動部１０６を起動して振動させる。ＣＰＵ２１は、例えば、接触位置１２が変化する際にユーザの指に伝わる弾力及び振動を、振動部１０６により再現する。
【０１８２】
以上説明したように、本実施形態によれば、第１実施形態及び第２実施形態と同様の効果に加え、弾性値が閾値以上の場合には、摘まむ動作の際に振動させて弾力を感じせせる質感を再現できる。
【０１８３】
その他、上記実施形態で説明した画像表示装置の構成は、一例であり、主旨を逸脱しない範囲内において状況に応じて変更してもよい。
【０１８４】
また、上記実施形態で説明したプログラムの処理の流れも、一例であり、主旨を逸脱しない範囲内において不要なステップを削除したり、新たなステップを追加したり、処理順序を入れ替えたりしてもよい。
【０１８５】
なお、上記実施形態でＣＰＵがソフトウェア（プログラム）を読み込んで実行した画像表示処理を、ＣＰＵ以外の各種のプロセッサが実行してもよい。この場合のプロセッサとしては、ＦＰＧＡ（Ｆｉｅｌｄ  Ｐｒｏｇｒａｍｍａｂｌｅ  Ｇａｔｅ  Ａｒｒａｙ）等の製造後に回路構成を変更可能なＰＬＤ（Ｐｒｏｇｒａｍｍａｂｌｅ  Ｌｏｇｉｃ  Ｄｅｖｉｃｅ）、及びＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ  Ｓｐｅｃｉｆｉｃ  Ｉｎｔｅｇｒａｔｅｄ  Ｃｉｒｃｕｉｔ）等の特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路等が例示される。また、これらの各種のプロセッサのうちの１つで実行してもよいし、同種又は異種の２つ以上のプロセッサの組み合わせ（例えば、ＧＰＵで構成されている例、複数のＦＰＧＡ、及びＣＰＵとＦＰＧＡとの組み合わせ等）で実行してもよい。また、これらの各種のプロセッサのハードウェア的な構造は、より具体的には、半導体素子等の回路素子を組み合わせた電気回路である。
【０１８６】
また、上記各実施形態では、画像表示処理のプログラムがストレージ２４に予め記憶（インストール）されている態様を説明したが、これに限定されない。プログラムは、ＣＤ−ＲＯＭ（Ｃｏｍｐａｃｔ  Ｄｉｓｋ  Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）、ＤＶＤ−ＲＯＭ（Ｄｉｇｉｔａｌ  Ｖｅｒｓａｔｉｌｅ  Ｄｉｓｋ  Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）、及びＵＳＢ（Ｕｎｉｖｅｒｓａｌ  Ｓｅｒｉａｌ  Ｂｕｓ）メモリ等の記録媒体に記録された形態で提供されてもよい。また、プログラムは、ネットワークを介して外部装置からダウンロードされる形態としてもよい。
【符号の説明】
【０１８７】
１０ 画像表示装置
１１ 表示対象
１２ 接触位置
１３ タッチパネル
２１ ＣＰＵ
２２ ＲＯＭ
２３ ＲＡＭ
２４ ストレージ
２５ 通信Ｉ／Ｆ
２６ 振動モータ
２７ バス
３６ 振動部
１０１ 取得部
１０２ 表示部
１０３ 物性取得部
１０４ 質感取得部
１０５ 制御部
１０６ 振動部
【図１】
2020194449.tif 000023
【図２】
2020194449.tif 000024
【図３】
2020194449.tif 000025
【図４】
2020194449.tif 000026
【図５】
2020194449.tif 000027
【図６】
2020194449.tif 000028
【図７】
2020194449.tif 000029
【図８】
2020194449.tif 000030
【図９】
2020194449.tif 000031
【図１０】
2020194449.tif 000032
【図１１】
2020194449.tif 000033
【図１２】
2020194449.tif 000034