(57)【要約】【課題】意図する点を容易に指定できるシミュレーションシステムを提供する。【解決手段】シミュレーションシステムは、表示座標系での物品の形状と座標を表す物品データを格納するデータ格納部と、利用者が手に持ちながら移動させて表示部に表示されるポインタの位置を操作する操作端末機と、操作端末機の位置及び姿勢を検出する第１検出部と、検出される位置及び姿勢に基づき表示座標系でのポインタの第１座標を検出する第２検出部と、第１座標の周りに第１所定範囲の第１領域を設定する領域設定部と、物品データと第１領域を表すデータとに基づき第１領域に物品の第１所定部位が含まれるかどうかを判定する判定部と、第１領域に第１所定部位が含まれると判定されると第１座標を第１所定部位の座標に移動させる座標制御部と、物品データに基づいて物品の画像を表示し、座標制御部によって移動された第１座標にポインタを表示する表示制御部とを含む。【選択図】図１
2017107388.tif 000002
【特許請求の範囲】
【請求項１】
画像を表示する表示部と、
前記表示部が前記画像を表示する表示座標系における物品の形状と座標を表す物品データを格納するデータ格納部と、
利用者が手に持ちながら移動させることによって前記表示部に表示されるポインタの位置を操作する操作端末機と、
前記操作端末機の位置及び姿勢を検出する第１検出部と、
前記第１検出部によって検出される前記位置及び姿勢に基づき、前記表示座標系における前記ポインタの第１座標を検出する第２検出部と、
前記第１座標の周りに第１所定範囲の第１領域を設定する領域設定部と、
前記物品データと前記第１領域を表すデータとに基づいて、前記第１領域に前記物品の第１所定部位が含まれるかどうかを判定する判定部と、
前記判定部によって前記第１領域に前記第１所定部位が含まれると判定されると、前記第１座標を前記第１所定部位の座標に移動させる座標制御部と、
前記表示部に表示する画像を制御する表示制御部であって、前記物品データに基づいて前記物品の画像を表示するとともに、前記座標制御部によって移動された第１座標に前記ポインタを表示する表示制御部と
を含む、シミュレーションシステム。
【請求項２】
前記表示制御部は、前記ポインタの位置の校正に用いる校正点を前記表示部に表示し、
前記領域設定部は、利用者が前記校正点に前記ポインタを合わせようとして前記操作端末機を操作する際における、前記校正点の前記表示座標系における位置と、前記ポインタの位置との差に応じて、前記第１領域の前記第１所定範囲を設定する、請求項１記載のシミュレーションシステム。
【請求項３】
前記領域設定部は、利用者が前記校正点に前記ポインタを合わせようとして前記操作端末機を操作する際に、前記校正点の前記表示座標系における位置と、前記ポインタの位置との差を複数回にわたって取得し、前記複数回にわたって取得した差に基づく標準偏差に応じて、前記第１領域の前記第１所定範囲を設定する、請求項２記載のシミュレーションシステム。
【請求項４】
前記領域設定部は、
前記表示制御部が前記物品の画像を表示するとともに、前記第２検出部によって検出された第１座標に前記ポインタを表示した状態で、前記物品の第２所定部位の周りに第２所定範囲の校正用の第２領域を設定し、
利用者が前記第２所定部位に前記ポインタを合わせようとして前記操作端末機を操作する際における、前記第２所定部位の前記表示座標系における位置と、前記ポインタの位置との前記第２所定範囲内における差に応じて、前記第１領域の前記第１所定範囲を設定する、請求項１記載のシミュレーションシステム。
【請求項５】
前記領域設定部は、利用者が前記第２所定部位に前記ポインタを合わせようとして前記操作端末機を操作する際に、前記差を複数回にわたって取得し、前記複数回にわたって取得した差に基づく標準偏差に応じて、前記第１領域の前記第１所定範囲を設定する、請求項４記載のシミュレーションシステム。
【請求項６】
前記座標制御部によって前記第１所定部位の座標に移動された前記第１座標における前記第１領域に含まれる前記物品の第３所定部位を抽出する抽出部をさらに含み、
前記表示制御部は、前記第３所定部位を前記表示部に表示し、
前記座標制御部は、利用者によって選択される前記第３所定部位の座標に、前記第１座標を移動させる、請求項１乃至５のいずれか一項記載のシミュレーションシステム。
【請求項７】
駆動制御部をさらに含み、
前記操作端末機は、前記駆動制御部によって駆動される可動素子をさらに有し、
前記駆動制御部は、前記判定部によって前記第１領域に前記第１所定部位が含まれると判定されると、前記可動素子を駆動する、請求項１乃至６のいずれか一項記載のシミュレーションシステム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、シミュレーションシステムに関する。
【背景技術】
【０００２】
従来より、表示面に映像を表示する表示手段と、磁性体を有する操作子の、前記表示面に対する位置を検出する検出手段とを具備することを特徴とする表示装置がある。表示装置は、さらに、前記検出手段により検出された前記操作子の位置および前記表示手段により表示された前記映像の内容に応じて前記表示面が面する空間に磁場を発生させることにより、前記磁性体を介して前記操作子に外力を付与する外力付与手段を具備することを特徴とする（例えば、特許文献１参照）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１２−０２２６３９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
ところで、従来の表示装置において、操作子を一定の位置に保持することは、意外と難しい。これは、従来の表示装置の操作子に限らず、手に持った物を空中で一定の位置に保持することは簡単ではないからである。
【０００５】
例えば、操作子を持った手がふらつくことが有り得る。また、操作子の位置を微妙に動かす場合に手が震えることが有り得る。
【０００６】
このような場合には、利用者は、意図する点を容易に指定することができないという課題が生じる。
【０００７】
そこで、意図する点を容易に指定できるシミュレーションシステムを提供することを目的とする。
【課題を解決するための手段】
【０００８】
本発明の実施の形態のシミュレーションシステムは、画像を表示する表示部と、前記表示部が前記画像を表示する表示座標系における物品の形状と座標を表す物品データを格納するデータ格納部と、利用者が手に持ちながら移動させることによって前記表示部に表示されるポインタの位置を操作する操作端末機と、前記操作端末機の位置及び姿勢を検出する第１検出部と、前記第１検出部によって検出される前記位置及び姿勢に基づき、前記表示座標系における前記ポインタの第１座標を検出する第２検出部と、前記第１座標の周りに第１所定範囲の第１領域を設定する領域設定部と、前記物品データと前記第１領域を表すデータとに基づいて、前記第１領域に前記物品の第１所定部位が含まれるかどうかを判定する判定部と、前記判定部によって前記第１領域に前記第１所定部位が含まれると判定されると、前記第１座標を前記第１所定部位の座標に移動させる座標制御部と、前記表示部に表示する画像を制御する表示制御部であって、前記物品データに基づいて前記物品の画像を表示するとともに、前記座標制御部によって移動された第１座標に前記ポインタを表示する表示制御部とを含む。
【発明の効果】
【０００９】
意図する点を容易に指定できるシミュレーションシステムを提供することができる。
【図面の簡単な説明】
【００１０】
【図１】実施の形態１のシミュレーションシステムを示す図である。
【図２】図１に示す処理装置１２０の内部構成を示す図である。
【図３】実施の形態１の処理装置が適用されるコンピュータシステムの斜視図である。
【図４】コンピュータシステムの本体部内の要部の構成を説明するブロック図である。
【図５】操作端末機を示す斜視図である。
【図６】振動モータを示す図である。
【図７】操作端末機の電気系の構成を示す図である。
【図８】振動データを示す図である。
【図９】物品データを示す図である。
【図１０】物品の画像の一例を示す図である。
【図１１】スクリーンに投影される画像の中におけるポインタの座標の時間変化の一例を示すデータである。
【図１２】利用者が手に操作端末機１３０を持ってポインタ１３０Ａを操作するときの軌跡の一例を示す図である。
【図１３】ポインタ１３０Ａの位置の時間的変化を示す図である。
【図１４】シミュレーションシステム１００がポインタ１３０Ａの周りに設定する検出範囲１３０Ａ１を示す図である。
【図１５】シミュレーションシステム１００がポインタ１３０Ａを所定の部位まで移動させる際のポインタ１３０Ａの動きを示す図である。
【図１６】シミュレーションシステム１００がポインタ１３０Ａを所定の部位まで移動させる際のポインタ１３０Ａの動きを示す図である。
【図１７】シミュレーションシステム１００が角１１１Ａ以外の候補点を表示する状態を示す図である。
【図１８】利用者によって選択された候補点にポインタ１３０Ａを移動させた状態を示す図である。
【図１９】実施の形態１の処理装置が実行する処理を示すフローチャートである。
【図２０】ポインタで触れる物品の部位と、振動パターンとの関係を表す図である。
【図２１】ポインタで触れる物品の部位と、振動パターンとの関係を表す図である。
【図２２】ポインタで触れる物品の材質と、振動パターンとの関係を表す図である。
【図２３】ポインタで触れる物品の材質と、振動パターンとの関係を表す図である。
【図２４】実施の形態２のシミュレーションシステム２００を示す図である。
【図２５】図２４に示す処理装置２２０の内部構成を示す図である。
【図２６】シミュレーションシステム２００が物品１１１の角の周りに設定する検出範囲を示す図である。
【図２７】シミュレーションシステム２００における検出範囲２１１Ａ１〜２１１Ｈとポインタ１３０Ａの例示的な位置関係を示す図である。
【図２８】シミュレーションシステム２００における検出範囲２１１Ａ１〜２１１Ｈとポインタ１３０Ａの例示的な位置関係を示す図である。
【図２９】ポインタ１３０Ａの位置の時間的変化を示す図である。
【図３０】実施の形態２の処理装置２２０が実行する処理を示すフローチャートである。
【発明を実施するための形態】
【００１１】
以下、本発明のシミュレーションシステムを適用した実施の形態について説明する。
【００１２】
＜実施の形態１＞
図１は、実施の形態１のシミュレーションシステム１００を示す図である。図２は、図１に示す処理装置１２０の内部構成を示す図である。
【００１３】
シミュレーションシステム１００は、スクリーン１１０Ａ、投影装置１１０Ｂ、３Ｄ(3 Dimension)眼鏡１１０Ｃ、処理装置１２０、操作端末機１３０、及び位置計測装置１４０を含む。
【００１４】
実施の形態１シミュレーションシステム１００は、例えば、組み立て作業性を仮想空間において把握するため組立支援システムに適用することができる。組立支援システムでは、例えば、ＣＰＵ(Central Processing Unit：中央演算処理装置)モジュール、メモリモジュール、通信モジュール、又はコネクタ等の電子部品をマザーボード等に組み付ける作業を仮想空間で模擬的に行うことができる。
【００１５】
しかしながら、実施の形態１シミュレーションシステム１００は、組立支援システムに限らず、三次元空間での作業性を確認する様々なシステムに適用することができる。
【００１６】
スクリーン１１０Ａは、例えば、プロジェクタ用スクリーンを用いることができる。スクリーン１１０Ａのサイズは、用途に応じて適宜設定すればよい。スクリーン１１０Ａには、投影装置１１０Ｂによって投影される画像が表示される。ここでは、物品１１１及び１１２の画像がスクリーン１１０Ａに表示されていることとする。
【００１７】
投影装置１１０Ｂは、スクリーン１１０Ａに画像を投影できる装置であればよく、例えば、プロジェクタを用いることができる。投影装置１１０Ｂは、ケーブル１１０Ｂ１によって処理装置１２０に接続されており、処理装置１２０から入力される画像をスクリーン１１０Ａに投影する。ここでは、投影装置１１０Ｂは、３Ｄ画像（立体視の画像）をスクリーン１１０Ａに投影できるタイプのものである。
【００１８】
なお、スクリーン１１０Ａと投影装置１１０Ｂは、表示部の一例である。
【００１９】
３Ｄ眼鏡１１０Ｃは、シミュレーションシステム１００を利用する利用者が装着する。３Ｄ眼鏡１１０Ｃは、投影装置１１０Ｂによってスクリーン１１０Ａに投影される画像を３Ｄ画像に変換できる眼鏡であればよく、例えば、入射光を偏光する偏光眼鏡、又は、液晶シャッターを有する液晶シャッター眼鏡を用いることができる。
【００２０】
なお、スクリーン１１０Ａ及び投影装置１１０Ｂの代わりに、例えば、液晶ディスプレイパネルを用いてもよい。また、３Ｄ眼鏡１１０Ｃが不要な場合は、３Ｄ眼鏡１１０Ｃを用いなくてもよい。また、スクリーン１１０Ａ及び投影装置１１０Ｂの代わりに、ヘッドマウントディスプレイを用いてもよい。
【００２１】
処理装置１２０は、位置検出部１２１、領域設定部１２２、判定部１２３、座標制御部１２４、抽出部１２５、映像出力部１２６、データ保持部１２７、駆動制御部１２８、及び通信部１２９を有する。処理装置１２０は、例えば、メモリを有するコンピュータによって実現される。
【００２２】
位置検出部１２１は、位置計測装置１４０から入力される画像データに対してパターンマッチング等の画像処理を行い、操作端末機１３０の位置と姿勢を検出する。操作端末機１３０の位置は、３次元座標における座標値で表され、姿勢は、３次元座標の３軸方向に対する角度で表される。
【００２３】
位置検出部１２１は、操作端末機１３０の３次元座標における座標値をスクリーン１１０Ａに投影される画像の中の座標に変換し、ポインタ１３０Ａの位置を表す座標として出力する。位置検出部１２１は、第２検出部の一例である。
【００２４】
なお、操作端末機１３０の位置と姿勢の検出は、位置計測装置１４０で行ってもよい。
【００２５】
領域設定部１２２は、位置検出部１２１によって設定されるポインタ１３０Ａの位置を中心とした検出範囲を設定する。領域設定部１２２は、ポインタ１３０Ａの周りに、所定の半径の検出範囲を設ける。
【００２６】
また、領域設定部１２２は、検出範囲を設定する前に、検出範囲の半径を算出するために、後述する校正点を用いて、ポインタ１３０Ａの座標の標準偏差を求める処理等を行う。
【００２７】
ポインタ１３０Ａの位置（座標）は、第１座標の一例であり、ポインタ１３０Ａの位置を中心とした所定の半径の検出範囲は、第１領域の一例であり、ポインタ１３０Ａの位置を中心とした所定の半径で表される範囲は、第１所定範囲の一例である。ポインタ１３０Ａの位置を中心とした所定の半径で表される範囲は、検出範囲の範囲を表す。なお、検出範囲の詳細については後述する。
【００２８】
判定部１２３は、領域設定部１２２によって設定される検出範囲の内部に、物品１１１又は１１２の角、辺、又は面等の所定の部位があるかどうかを判定する。
【００２９】
判定部１２３は、スクリーン１１０Ａに投影される物品１１１又は１１２の形状及び位置を表すデータと、ポインタ１３０Ａの位置を表すデータと、領域設定部１２２によって設定される検出範囲を表すデータとを用いて、検出範囲内に物品１１１又は１１２の所定の部位があるかどうかを判定する。
【００３０】
判定部１２３は、判定部の一例である。判定部１２３が検出範囲の内部にあるかどうかを判定する所定の部位は、第１所定部位の一例である。
【００３１】
座標制御部１２４は、検出範囲内に物品１１１又は１１２の所定の部位があると判定部１２３によって判定されると、ポインタ１３０Ａの位置を物品１１１又は１１２の所定の部位の位置に移動させる。
【００３２】
このようなポインタ１３０Ａの移動は、ポインタ１３０Ａの座標を物品１１１又は１１２の所定の部位の座標に置き換えることによって行われる。物品１１１又は１１２の所定の部位の座標は、データ保持部１２７によって保持される物品１１１及び１１２の座標と形状を表す物品データを読み出すことによって得ることができる。
【００３３】
抽出部１２５は、座標制御部１２４によってポインタ１３０Ａが物品１１１及び１１２の所定の部位に移動した状態で、検出範囲内に存在する物品１１１及び１１２の所定の部位を抽出する。抽出部１２５が抽出する物品１１１及び１１２の所定の部位は、第３所定部位の一例である。
【００３４】
映像出力部１２６の出力端子は、ケーブル１１０Ｂ１によって投影装置１１０Ｂに接続されている。映像出力部１２６は、データ保持部１２７に保持される物品１１１及び１１２の物品データによって特定される画像を投影装置１１０Ｂに出力し、スクリーン１１０Ａに表示させる。
【００３５】
また、映像出力部１２６は、投影装置１１０Ｂにポインタ１３０Ａを表示させる。スクリーン１１０Ａに表示される画像内におけるポインタ１３０Ａの位置は、位置検出部１２１で検出される操作端末機１３０の位置と姿勢によって決まる。映像出力部１２６は、表示制御部の一例である。
【００３６】
データ保持部１２７は、物品１１１及び１１２の座標と形状を表す物品データ、物品１１１及び１１２の触感に応じた振動パターンを表す振動データ、及びポインタ１３０Ａの画像データ等のデータを保持する。データ保持部１２７は、メモリによって実現され、データ格納部の一例である。
【００３７】
駆動制御部１２８は、座標制御部１２４によってポインタ１３０Ａが物品１１１及び１１２の所定の部位に移動されると、物品１１１及び１１２の所定の部位の触感に応じた振動パターンの駆動信号を出力する。この駆動信号は、操作端末機１３０の振動素子を駆動する信号である。
【００３８】
通信部１２９は、操作端末機１３０と無線通信を行う通信部であり、例えば、Bluetooth(登録商標)又はWiFi(Wireless Fidelity)等の規格で無線通信を行うことができる。通信部１２９は、駆動制御部１２８によって生成される駆動信号を操作端末機１３０に送信する。なお、通信部１２９は、操作端末機１３０と有線通信を行う通信部であってもよい。
【００３９】
操作端末機１３０は、シミュレーションシステム１００を利用する利用者が手に保持し、スクリーン１１０Ａに表示されるポインタ１３０Ａの位置をコントロールする端末機である。操作端末機１３０は、マーカ１３２と振動素子１３３とを有する。
【００４０】
マーカ１３２は、複数の球体を有し、位置計測装置１４０から照射される赤外線を様々な方向に反射させる。マーカ１３２は、位置計測装置１４０による操作端末機１３０の位置検出に用いられる。
【００４１】
振動素子１３３は、操作端末機１３０に振動を発生させるために設けられている。また、振動素子１３３は、駆動制御部１２８によって生成される駆動信号によって駆動される。振動素子１３３は、可動素子の一例である。
【００４２】
なお、操作端末機１３０の詳細については後述する。
【００４３】
位置計測装置１４０は、赤外線カメラ１４０Ａ及び１４０Ｂを有し、それぞれ、ケーブル１４１Ａ及び１４１Ｂによって位置検出部１２１に接続されている。赤外線カメラ１４０Ａ及び１４０Ｂは、赤外線を操作端末機１３０に照射し、マーカ１３２で反射された反射光を撮影する。位置計測装置１４０は、赤外線カメラ１４０Ａ及び１４０Ｂが出力する画像データを位置検出部１２１に転送する。位置計測装置１４０は、第１検出部の一例である。
【００４４】
図３は、実施の形態１の処理装置１２０が適用されるコンピュータシステムの斜視図である。図３に示すコンピュータシステム１０は、本体部１１、ディスプレイ１２、キーボード１３、マウス１４、及びモデム１５を含む。
【００４５】
本体部１１は、ＣＰＵ（Central Processing Unit：中央演算装置）、ＨＤＤ（Hard Disk Drive：ハードディスクドライブ）、及びディスクドライブ等を内蔵する。ディスプレイ１２は、本体部１１からの指示により画面１２Ａ上に解析結果等を表示する。ディスプレイ１２は、例えば、液晶モニタであればよい。キーボード１３は、コンピュータシステム１０に種々の情報を入力するための入力部である。マウス１４は、ディスプレイ１２の画面１２Ａ上の任意の位置を指定する入力部である。モデム１５は、外部のデータベース等にアクセスして他のコンピュータシステムに記憶されているプログラム等をダウンロードする。
【００４６】
コンピュータシステム１０に処理装置１２０としての機能を持たせるプログラムは、ディスク１７等の可搬型記録媒体に格納されるか、モデム１５等の通信装置を使って他のコンピュータシステムの記録媒体１６からダウンロードされ、コンピュータシステム１０に入力されてコンパイルされる。
【００４７】
コンピュータシステム１０に処理装置１２０としての機能を持たせるプログラムは、コンピュータシステム１０を処理装置１２０として動作させる。このプログラムは、例えばディスク１７等のコンピュータ読み取り可能な記録媒体に格納されていてもよい。コンピュータ読み取り可能な記録媒体は、ディスク１７、ＩＣカードメモリ、フロッピー（登録商標）ディスク等の磁気ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＵＳＢ(Universal Serial Bus)メモリ等の可搬型記録媒体に限定されるものではない。コンピュータ読み取り可能な記録媒体は、モデム１５又はＬＡＮ等の通信装置を介して接続されるコンピュータシステムでアクセス可能な各種記録媒体を含む。
【００４８】
図４は、コンピュータシステム１０の本体部１１内の要部の構成を説明するブロック図である。本体部１１は、バス２０によって接続されたＣＰＵ２１、ＲＡＭ又はＲＯＭ等を含むメモリ部２２、ディスク１７用のディスクドライブ２３、及びハードディスクドライブ（ＨＤＤ）２４を含む。実施の形態１では、ディスプレイ１２、キーボード１３、及びマウス１４は、バス２０を介してＣＰＵ２１に接続されているが、これらはＣＰＵ２１に直接的に接続されていてもよい。また、ディスプレイ１２は、入出力画像データの処理を行う周知のグラフィックインタフェース（図示せず）を介してＣＰＵ２１に接続されていてもよい。
【００４９】
コンピュータシステム１０において、キーボード１３及びマウス１４は、処理装置１２０の入力部である。ディスプレイ１２は、処理装置１２０に対する入力内容等を画面１２Ａ上に表示する表示部である。
【００５０】
なお、コンピュータシステム１０は、図３及び図４に示す構成のものに限定されず、各種周知の要素を付加してもよく、又は代替的に用いてもよい。
【００５１】
図５は、操作端末機１３０を示す斜視図である。
【００５２】
操作端末機１３０は、筐体１３１、マーカ１３２、振動素子１３３、ボタン１３４Ａ、１３４Ｂ、及びガイドバー１３５を有する。
【００５３】
操作端末機１３０は、ポインタ１３０Ａの位置の指標となるガイドバー１３５をスクリーン１１０Ａに向けて利用者が手で持ち、操作端末機１３０の位置を前後、左右、上下に移動させることにより、スクリーン１１０Ａに表示されるポインタ１３０Ａを前後、左右、上下に移動させることができる端末機である。
【００５４】
また、以下では、左右を表す場合には、ガイドバー１３５をスクリーン１１０Ａに向けて操作端末機１３０を保持し、スクリーン１１０Ａを向く利用者を基準に左右の位置関係を表すこととする。
【００５５】
また、以下では、前後を表す場合には、ガイドバー１３５をスクリーン１１０Ａに向けて操作端末機１３０を保持し、スクリーン１１０Ａを向く利用者を基準に前後の位置関係を表すこととする。
【００５６】
また、筐体１３１の振動素子１３３が設けられる面を上面と称し、ガイドバー１３５が取り付けられる側を前側と称す。
【００５７】
筐体１３１は、例えば、樹脂製であり、利用者が手に持つのにちょうど良いサイズを有する。筐体１３１の上面には、振動素子１３３が配設されている。
【００５８】
マーカ１３２は、複数の球体１３２Ａとワイヤ１３２Ｂとを有する。複数の球体１３２Ａは、ワイヤ１３２Ｂによって筐体１３１に取り付けられている。
【００５９】
マーカ１３２は、位置計測装置１４０による操作端末機１３０の位置と姿勢の検出に用いられるため、位置計測装置１４０から照射される赤外線を様々な方向に反射させる。マーカ１３２が反射する赤外線は、赤外線カメラ１４０Ａ及び１４０Ｂによって撮像され、位置検出部１２１が画像処理を行うことによってマーカ１３２の位置と姿勢が検出される。マーカ１３２の位置と姿勢は、操作端末機１３０の位置と姿勢を表す。
【００６０】
マーカ１３２は、規則性がない様々な方向に赤外線を反射できれば、球体の個数は幾つであってもよく、球体の位置についても特に限定はない。また、球体ではなくてもよいし、マーカ１３２の検出は、赤外線を用いる手法に限られない。操作端末機１３０の位置検出を行うことができるのであれば、マーカ１３２はどのようなものであってもよい。
【００６１】
振動素子１３３は、筐体１３１の上面に設けられている。振動素子１３３は、駆動制御部１２８によって生成される駆動信号によって駆動される。
【００６２】
振動素子１３３は、例えば、ピエゾ素子又はＬＲＡ(Linear Resonant Actuator)のような振動を発生する素子であればよい。振動素子１３３を駆動すると振動が発生する。
【００６３】
ボタン１３４Ａ、１３４Ｂは、操作端末機１３０の様々な機能を実行する際に操作する押しボタンスイッチである。機能としては、例えば、処理装置１２０との無線通信のオン／オフを切り替える機能、ポインタ１３０Ａの表示の明るさを調整する機能等の様々な機能である。
【００６４】
また、ボタン１３４Ｂは、上述の場合に加えて、ポインタ１３０Ａの位置を後述する候補点に移動させる際にも利用するボタンである。ボタン１３４Ｂを押すと、候補点を選択することができる。
【００６５】
ガイドバー１３５は、筐体１３１の前側に取り付けられている。ガイドバー１３５は、ポインタ１３０Ａの位置の指標となる部材であり、スクリーン１１０Ａにポインタ１３０Ａが表示される位置を認識しやすくするために設けられている。ガイドバー１３５は、ここでは、一例として、細長い三角形状の板状部材である。
【００６６】
ガイドバー１３５は、操作端末機１３０を手に持つ利用者が、スクリーン１１０Ａに表示されるポインタ１３０Ａの位置を移動させる際の指標又は基準点になるのであれば、どのような形状のものであってもよい。
【００６７】
なお、ガイドバー１３５がなくても、利用者がポインタ１３０Ａの位置を把握しやすいような場合には、操作端末機１３０は、ガイドバー１３５を含まなくてもよい。
【００６８】
図６は、振動モータ１３３Ａを示す図である。振動モータ１３３Ａは、ベース１３３Ａ１と、回転部１３３Ａ２とを有する。ベース１３３Ａ１の内部には、巻線コイルが設けられている。回転部１３３Ａ２は、偏心構造を有し、回転するとベース１３３Ａ１に振動が伝達する。このような振動モータ１３３Ａを図５に示す振動素子１３３の代わりに用いてもよい。
【００６９】
図７は、操作端末機１３０の電気系の構成を示す図である。ここでは、筐体１３１とガイドバー１３５を簡略化して示し、マーカ１３２、振動素子１３３を省略する。
【００７０】
操作端末機１３０は、振動素子１３３、ボタン１３４Ａ、１３４Ｂ、通信部１３６、ボタン判定部１３７、及び信号生成部１３８を有する。なお、ボタン判定部１３７と信号生成部１３８は、例えば、マイクロコンピュータのような演算処理装置によって実現される。
【００７１】
通信部１３６には、ボタン判定部１３７及び信号生成部１３８が接続されている。通信部１３６は、処理装置１２０の通信部１２９と無線通信を行う通信部であり、例えば、Bluetooth, WiFi, Xbee, zigbee等の規格で無線通信を行う。
【００７２】
通信部１３６は、ボタン判定部１３７から入力される信号を処理装置１２０に送信する。また、通信部１３６は、処理装置１２０の駆動制御部１２８によって生成される駆動信号を受信し、信号生成部１３８に出力する。
【００７３】
ボタン判定部１３７は、ボタン１３４Ａの操作の有無と、ボタン１３４Ｂの操作の有無とを判定する判定部であり、例えば、処理装置１２０との無線通信のオン／オフ、ポインタ１３０Ａの表示の明るさを調整、候補点の選択等の操作内容を判定する。ボタン判定部１３７は、操作内容を表す信号を通信部１３６に出力する。
【００７４】
信号生成部１３８は、通信部１３６が受信する駆動信号を増幅して振動素子１３３を駆動する。なお、信号生成部１３８を駆動制御部として捉えてもよい。
【００７５】
図８は、振動データを示す図である。
【００７６】
振動データは、スクリーン１１０Ａに表示する物品の触感に応じた振動パターンを表すデータである。振動データは、一例として、物品ＩＤ、物品名称、材質、部位名称、振動強度、及び振動時間を有する。
【００７７】
物品ＩＤは、物品毎に割り当てられる識別子である。すべての物品は、互いに異なる物品ＩＤを有する。図８には、例示的な物品ＩＤとして、001,002,003,・・・を示す。
【００７８】
物品名称は、物品の名称である。図８には、例示的な物品名称として、Plate, Connector, Cable,・・・を示す。
【００７９】
材質は、物品の表面の材質を表す。図８には、例示的な材質として、Steel(鉄), PBT(Polybutylene terephthalate:ポリブチレンテレフタレート),PVC(polyvinyl chloride:ポリ塩化ビニル)を示す。
【００８０】
部位名称は、物品の部位を表す。図８には、例示的な部位として、Corner(角)、Edge(辺)、Surface(面)を示す。Corner(角)とは、例えば、直方体の８つの頂点に位置する角である。また、Edge(辺)とは、直方体の１２本の辺である。また、Surface(面)とは、直方体の６つの面である。また、球体の場合には、Corner(角)とEdge(辺)の名称は存在せず、Surface(面)のみが存在することになる。なお、部位名称は、直方体及び球体以外の様々な形状の物品に対応して割り当てられている。
【００８１】
振動強度は、振動素子１３３を駆動する駆動信号の振幅(Vpp)を表す。振幅は、ピーク・トゥ・ピークの電圧値で示してある。振動強度は、一例として、Corner(角)が最も強く、Edge(辺)は中間的な強度であり、Surface(面)は最も弱い値に設定されている。
【００８２】
Corner(角)、Edge(辺)、及びSurface(面)の中では、Corner(角)を触った場合の感触が最も強く、Surface(面)を触った場合の感触が最も弱く、Edge(辺)を触った場合の感触は、Corner(角)とSurface(面)の中間だからである。なお、この傾向は、一例として、すべての材質において同様に設定されている。
【００８３】
振動時間は、振動素子１３３を駆動する時間(ms)を表す。振動時間は、一例として、Steel(鉄), PBT(ポリブチレンテレフタレート),PVC(ポリ塩化ビニル)で異なるように設定されている。Steel(鉄)の振動時間が最も短く、PVC(polyvinyl chloride:ポリ塩化ビニル)の振動時間が最も長く、PBT(ポリブチレンテレフタレート)の振動時間は、Steel(鉄)とPVC(polyvinyl chloride:ポリ塩化ビニル)の中間である。
【００８４】
Steel(鉄)は、これら３つの材質の中では最もヤング率が大きく、振動が短い時間で収束するからである。また、PVC(ポリ塩化ビニル)は、これら３つの材質の中では最もヤング率が小さく、振動が収束するまでに最も時間がかかるからである。PBT(ポリブチレンテレフタレート)のヤング率は、これら３つの材質の中では中間的な値だからである。
【００８５】
以上のような振動データは、現実世界で物品の表面を手で触った場合の触感を振動素子１３３の振動によって再現するために、部位に応じて振動強度と振動時間が設定されている。
【００８６】
なお、振動データは、処理装置１２０のデータ保持部１２７に格納されている。
【００８７】
図９は、物品データを示す図である。
【００８８】
物品データは、スクリーン１１０Ａに表示する物品の座標と形状を表すデータである。物品データは、物品ＩＤ、形状タイプ、基準座標、サイズ、及び回転角度を有する。
【００８９】
形状タイプは、物品の外形を表す。図９では、一例として、形状タイプがCuboid(直方体)とCylinder(円柱体)を示す。
【００９０】
基準座標は、物品の全体を表す座標の基準になる点の座標値を示す。座標値の単位はメートル（ｍ）である。なお、座標系としては、ＸＹＺ座標系を用いる。このＸＹＺ座標系は、スクリーン１１０Ａに表示される画像の位置を表す仮想空間における座標系である。
【００９１】
サイズは、物品のＸ軸方向の長さ、Ｙ軸方向の長さ、Ｚ軸方向の長さを表す。単位はメートル（ｍ）である。一例として、Ｘ軸方向の長さは縦の長さを表し、Ｙ軸方向の長さは高さを表し、Ｚ軸方向の長さは奥行き（横方向の長さ）を表す。
【００９２】
回転角度は、Ｘ軸方向、Ｙ軸方向、Ｚ軸方向に対する回転角度θｘ、θｙ、θｚで表される。単位は度(deg.)である。回転角度θｘは、Ｘ軸を回転軸として物品を回転させる角度である。同様に、回転角度θｙ及びθｚは、それぞれ、Ｙ軸及びＺ軸を回転軸として物品を回転させる角度である。回転角度θｘ、θｙ、θｚの正方向は、予め決めておけばよい。
【００９３】
このような物品データを用いれば、ＣＡＤデータによって表示される物品の画像と同様に、物品データによって特定される画像を表すことができる。
【００９４】
なお、物品データは、処理装置１２０のデータ保持部１２７に格納されている。
【００９５】
図１０は、物品の画像の一例を示す図である。
【００９６】
図１０には、図９の物品データによって表される３つの物品を示す。
【００９７】
物品ＩＤが001の物品は、形状タイプがCuboid(直方体)で、基準座標（Ｘ，Ｙ，Ｚ）が（０．０，０．０，０．０）であり、サイズが（０．８，０．２，０．４）であり、回転角度θｘ、θｙ、θｚが（０．０，０．０，０．０）である。
【００９８】
基準座標（Ｘ，Ｙ，Ｚ）が（０．０，０．０，０．０）であるため、物品ＩＤが001の物品の１つの頂点は、ＸＹＺ座標系の原点Ｏと一致している。
【００９９】
物品ＩＤが002の物品は、形状タイプがCuboid(直方体)で、基準座標（Ｘ，Ｙ，Ｚ）が（０．６，０．２，０．０）であり、サイズが（０．２，０．２，０．１）であり、回転角度θｘ、θｙ、θｚが（０．０，０．０，０．０）である。
【０１００】
このため、物品ＩＤが002の物品は、物品ＩＤが001の物品の上に配置されている。
【０１０１】
物品ＩＤが003の物品は、形状タイプがCylinder(円柱体)で、基準座標（Ｘ，Ｙ，Ｚ）が（０．８，０．３，０．１）であり、サイズが（０．２，１．０，０．３）であり、回転角度θｘ、θｙ、θｚが（０．０，０．０，９０．０）である。
【０１０２】
このため、物品ＩＤが003の物品は、Ｚ軸を回転軸として９０度回転させた状態で、物品ＩＤが002の物品のＸ軸正方向側に接続されている。
【０１０３】
なお、上述のように、実施の形態１では、図９に示す物品ＩＤ、形状タイプ、基準座標、サイズ、及び回転角度を有する物品データを用いて、スクリーン１１０Ａに投影される画像の中における物品の座標と形状を規定する。
【０１０４】
例えば、形状タイプがCuboid(直方体)の場合に、８つの頂点の座標は、基準座標に対して、サイズで表される物品のＸ軸方向の長さ、Ｙ軸方向の長さ、Ｚ軸方向の長さを加算又は減算することによって求めることができる。８つの頂点の座標は、形状タイプがCuboid(直方体)の物品のCorner(角)の座標を表す。
【０１０５】
８つの頂点の座標を求めれば、１２本の辺を表す式を求めることができる。１２本の辺を表す式は、形状タイプがCuboid(直方体)の物品のEdge(辺)の座標を表す式である。
【０１０６】
また、８つの頂点の座標、及び／又は、１２本の辺を表す式を求めれば、形状タイプがCuboid(直方体)の物品の６つの表面を表す式が求まり、Surface(面)の座標を求めることができる。
【０１０７】
また、形状タイプがCylinder(円柱体)の場合には、サイズで表される物品のＸ軸方向の長さ、Ｙ軸方向の長さ、Ｚ軸方向の長さに基づいて、円柱の両端にある円（又は楕円）を表す式を求めることができる。また、両端の円（又は楕円）を表す式と基準座標とを用いれば、両端の円（又は楕円）の座標を表す式を求めることができる。円柱体の側面の座標は、両端の円（又は楕円）の座標を表す式を用いることよって求めることができる。
【０１０８】
ここでは、形状タイプがCuboid(直方体)とCylinder(円柱体)の物品について説明したが、球体、三角錐、凹部を有する直方体等の様々な形状の物品についても、同様にスクリーン１１０Ａに投影される画像の中における座標と形状を求めることができる。
【０１０９】
図１１は、スクリーン１１０Ａに投影される画像の中におけるポインタ１３０Ａの座標の時間変化の一例を示すデータである。
【０１１０】
シミュレーションシステム１００の利用を開始する際に、操作端末機１３０の位置のキャリブレーションを行う。キャリブレーションは、位置検出部１２１で検出する操作端末機１３０の初期の位置と、スクリーン１１０Ａに表示される画像（仮想空間）の中におけるポインタ１３０Ａの位置とを関連付ける処理である。ポインタ１３０Ａの位置は、物品の物品データを表すＸＹＺ座標系で表される。
【０１１１】
このように、シミュレーションシステム１００の利用を開始する際に、操作端末機１３０の位置のキャリブレーションを行うことにより、スクリーン１１０Ａに表示される画像の中におけるポインタ１３０Ａの初期の位置が決まる。なお、このキャリブレーションは、後述する校正点を用いて検出範囲の半径を求める処理とは異なり、初期設定の一部としての処理である。
【０１１２】
図１１には、ポインタＩＤ、Index、時間、Ｘ、Ｙ、Ｚ座標、回転角度θｘ、θｙ、θｚを示す。各パラメータの単位は、図１１に示す通りである。
【０１１３】
ポインタＩＤは、操作端末機１３０毎に割り当てられる識別子である。Indexは、ポインタＩＤで特定される操作端末機１３０の座標データの取得回数を表す。Indexは、ポインタＩＤ毎に数値が割り当てられる。時間は、測定開始からの経過時間を表す。なお、操作端末機１３０の座標データは、ポインタ１３０Ａの座標を表すデータである。
【０１１４】
処理装置１２０は、単位時間が経過する度に、操作端末機１３０の座標を検出し、検出した操作端末機１３０の座標を図１１に示すポインタ１３０Ａの座標に変換して、ポインタ１３０Ａの座標の時間変化を表すデータを作成する。
【０１１５】
ところで、操作端末機１３０を持った利用者の手がふらつくことが有り得る。また、利用者が操作端末機１３０の位置を微妙に動かす場合に手が震えることが有り得る。
【０１１６】
このような場合には、利用者が意図する点を容易に指定できるようにするために、シミュレーションシステム１００は、以下で説明する処理を行う。
【０１１７】
図１２は、利用者が手に操作端末機１３０を持ってポインタ１３０Ａを操作するときの軌跡の一例を示す図である。
【０１１８】
シミュレーションシステム１００は、スクリーン１１０Ａに校正点１３０Ｘを表示する。そして、利用者に対して、ポインタ１３０Ａを校正点１３０Ｘに合わせるように、操作端末機１３０の操作を促す。
【０１１９】
このとき、ポインタ１３０Ａの軌跡が破線で示す通りであったとする。利用者は、ポインタ１３０Ａを校正点１３０Ｘに合わせるように操作端末機１３０を操作するが、操作端末機１３０はテーブルのような固定物の上に置いてあるわけではなく、操作端末機１３０を手に持っているため、ポインタ１３０Ａの位置は一定せず、小刻みに移動する場合がある。
【０１２０】
図１３は、ポインタ１３０Ａの位置の時間的変化を示す図である。
【０１２１】
シミュレーションシステム１００は、利用者がポインタ１３０Ａを校正点１３０Ｘに合わせるように操作端末機１３０を操作しているときに、定期的にポインタ１３０Ａの座標を記録する。例えば、図１３に示すように、複数の校正時刻Ｔｋにおけるポインタ１３０Ａの座標（Ｘｋ、Ｙｋ、Ｚｋ）が取得される。
【０１２２】
校正点１３０Ｘは、操作端末機１３０を操作する利用者にとって、ポインタ１３０Ａの位置の目標になる点であり、ポインタ１３０Ａと利用者の目標点とのずれを測定するために用いられる。
【０１２３】
校正時刻Ｔｋは、校正点１３０Ｘを目標点として利用者が操作端末機１３０を操作する際に、ポインタ１３０Ａの座標を取得する時刻を表す。校正時刻Ｔｋは、所定の時間間隔毎に設けられており、図１３には、一例として、Ｔ１、Ｔ２、Ｔ３、Ｔ４，Ｔ５、・・・、Ｔｉを示す。図１３には、校正時刻Ｔ１、Ｔ２、Ｔ３、Ｔ４，Ｔ５、・・・、Ｔｉにおいて、ポインタ１３０Ａの座標（Ｘ１、Ｘ２、Ｘ３、Ｘ４，Ｘ５、・・・、Ｘｉ、Ｙ１、Ｙ２、Ｙ３、Ｙ４，Ｙ５、・・・、Ｙｉ、Ｚ１、Ｚ２、Ｚ３、Ｚ４，Ｚ５、・・・、Ｚｉ）が得られた場合を示す。
【０１２４】
なお、校正点１３０Ｘの座標は、予め決めておけばよい。例えば、スクリーン１１０Ａの中央に校正点１３０Ｘが表示されるように、スクリーン１１０Ａに表示される画像の座標系における座標値を決めておけばよい。ここで、校正点１３０Ｘの座標を（Ｘｃ，Ｙｃ，Ｚｃ）とする。校正点１３０Ｘの画像データと校正点１３０Ｘの座標（Ｘｃ，Ｙｃ，Ｚｃ）を表すデータは、データ保持部１２７に保持させておけばよい。
【０１２５】
また、ポインタ１３０Ａの座標の取得を開始してから、ポインタ１３０Ａの座標の取得を終了するまでの期間（校正期間）についても予め決めておけばよい。校正期間を表すデータは、データ保持部１２７に保持させておけばよい。
【０１２６】
図１４は、シミュレーションシステム１００がポインタ１３０Ａの周りに設定する検出範囲１３０Ａ１を示す図である。
【０１２７】
シミュレーションシステム１００は、ポインタ１３０Ａの周りに、半径がＲａの検出範囲１３０Ａ１を設け、物品１１１及び１１２の角、辺、又は面等の所定の部位が検出範囲１３０Ａ１の内部にあるかどうかを判定する。
【０１２８】
検出範囲１３０Ａ１は、ポインタ１３０Ａを中心とし、半径がＲａの球状の領域である。シミュレーションシステム１００は、複数の校正時刻Ｔｋにおいて取得したポインタ１３０ＡのＸ、Ｙ、Ｚ座標の標準偏差ＸＳＤ、ＹＳＤ、ＺＳＤを求め、Ｘ、Ｙ、Ｚ座標の標準偏差ＸＳＤ、ＹＳＤ、ＺＳＤの平均値を検出範囲１３０Ａ１の半径Ｒａとして設定する。
【０１２９】
Ｘ、Ｙ、Ｚ座標の標準偏差ＸＳＤ、ＹＳＤ、ＺＳＤは、それぞれ、次式（１）、（２）、（３）で求めることができる。
【０１３０】
式（１）、（２）、（３）において、Ｘｆは、複数の校正時刻Ｔｋにおいて取得したポインタ１３０ＡのすべてのＸ座標（Ｘ１〜Ｘｉ）と校正点１３０ＸのＸ座標（Ｘｃ）との差の平均値である。
【０１３１】
Ｙｆは、複数の校正時刻Ｔｋにおいて取得したポインタ１３０ＡのすべてのＹ座標（Ｙ１〜Ｙｉ）と校正点１３０ＸのＹ座標（Ｙｃ）との差の平均値である。Ｚｆは、複数の校正時刻Ｔｋにおいて取得したポインタ１３０ＡのすべてのＺ座標（Ｚ１〜Ｚｉ）と校正点１３０ＸのＺ座標（Ｚｃ）との差の平均値である。
【０１３２】
【数１】
2017107388.tif 000003
【０１３３】
【数２】
2017107388.tif 000004
【０１３４】
【数３】
2017107388.tif 000005
また、半径Ｒａは次式（４）で求めることができる。
【０１３５】
【数４】
2017107388.tif 000006
【０１３６】
シミュレーションシステム１００は、利用者が意図する点を容易に指定できるようにするために、半径Ｒａの検出範囲１３０Ａ１をポインタ１３０Ａの周りに設定する。
【０１３７】
そして、シミュレーションシステム１００は、検出範囲１３０Ａ１の内部に物品１１１又は１１２の所定の部位が入ると、ポインタ１３０Ａを所定の部位まで移動させる。これは、手のふらつき等によるポインタ１３０Ａの位置ずれを考慮し、利用者が意図する点を容易に指定できるようにするためである。
【０１３８】
図１５及び図１６は、シミュレーションシステム１００がポインタ１３０Ａを所定の部位まで移動させる際のポインタ１３０Ａの動きを示す図である。図１５及び図１６には、物品１１１を示す。
【０１３９】
以下の説明では、物品１１１の８つの角のうち、角１１１Ａ及び１１１Ｂを用いる。また、物品１１１の角１１１Ａから三方に伸延する辺１１１Ｅ１、１１１Ｅ２、１１１Ｅ３と面１１１Ｓ１及び１１１Ｓ２を用いる。
【０１４０】
図１５及び図１６では、一例として、物品１１１の一辺の長さは９０ｍｍであり、検出範囲１３０Ａ１の半径Ｒａは３０ｍｍである。
【０１４１】
例えば、図１５に示すように、ポインタ１３０Ａが角１１１Ａの近くにあり、検出範囲１３０Ａ１に角１１１Ａが含まれるとする。シミュレーションシステム１００は、このような場合に、図１６に示すように、ポインタ１３０Ａを角１１１Ａに移動させる。
【０１４２】
また、シミュレーションシステム１００は、ポインタ１３０Ａを角１１１Ａに移動させると、物品１１１の角１１１Ａに応じた触感を提供するために、振動データを用いて振動素子１３３を駆動する。これにより、利用者に角１１１Ａに応じた触感が提供され、利用者は、ポインタ１３０Ａが角１１１Ａに触れたことを視覚及び触感の両方で検知することができる。また、利用者は、ポインタ１３０Ａが触れた所定の部位が角１１１Ａであることを触感で検知することができる。
【０１４３】
また、シミュレーションシステム１００は、ポインタ１３０Ａを角１１１Ａまで移動した後に次のような処理を行う。図１７及び図１８を用いて説明する。
【０１４４】
図１７は、シミュレーションシステム１００が角１１１Ａ以外の候補点を表示する状態を示す図である。図１８は、利用者によって選択された候補点にポインタ１３０Ａを移動させた状態を示す図である。
【０１４５】
シミュレーションシステム１００は、ポインタ１３０Ａを角１１１Ａまで移動した後に、ポインタ１３０Ａを角１１１Ａに位置させた状態で、図１７に示すように、検出範囲１３０Ａ１に含まれる物品１１１の所定の部位を表す候補点Ｃ１、Ｃ２、Ｃ３、Ｃ４、Ｃ５、Ｃ６を生成し、候補点Ｃ１〜Ｃ６のうちの１つを利用者が選択可能な状態にする。
【０１４６】
ここで、候補点Ｃ１は物品１１１の角であるため、候補点Ｃ１の座標は、物品データ（図９参照）から求めることができる。また、候補点Ｃ２、Ｃ４、Ｃ６は、それぞれ、物品１１１の辺１１１Ｅ１、１１１Ｅ２、１１１Ｅ３の上に位置し、角１１１Ａから距離Ｌに位置する点である。距離Ｌは、半径Ｒａ未満の所定の値であり、ここでは、Ｒａ／２に設定される。このように、物品１１１の辺１１１Ｅ１、１１１Ｅ２、１１１Ｅ３の上に位置し、角１１１Ａから距離Ｌに位置する候補点Ｃ２、Ｃ４、Ｃ６の座標は、物品データと距離Ｌを用いて求めることができる。
【０１４７】
候補点Ｃ３は、候補点Ｃ２とＣ４の中点であり、面１１１Ｓ１上に位置する。候補点Ｃ３の座標は、候補点Ｃ２の座標と候補点Ｃ４の座標の中点として求めることができる。候補点Ｃ５は、候補点Ｃ４とＣ６の中点であり、面１１１Ｓ２上に位置する。候補点Ｃ５の座標は、候補点Ｃ４の座標と候補点Ｃ６の座標の中点として求めることができる。
【０１４８】
候補点Ｃ１〜Ｃ６は、ボタン１３４Ｂを押すことで選択することができる。候補点Ｃ１〜Ｃ６がスクリーン１１０Ａに表示された状態で、ボタン１３４Ｂを１回押すと、候補点Ｃ１を選択することができる。さらにボタン１３４Ｂを押すと、候補点Ｃ２〜Ｃ６を順次選択することができる。そして、候補点Ｃ１〜Ｃ６のうちのいずれか１つに確定する際には、ボタン１３４Ａを押せばよい。
【０１４９】
シミュレーションシステム１００は、例えば、利用者が候補点Ｃ６を選択した場合には、図１８に示すように、ポインタ１３０Ａを候補点Ｃ６に移動させる。このとき、検出範囲１３０Ａ１は、削除されている。
【０１５０】
また、シミュレーションシステム１００は、ポインタ１３０Ａを辺１１１Ｅ１、１１１Ｅ２、１１１Ｅ３の上に位置する候補点Ｃ２、Ｃ４、Ｃ６のいずれかに移動させると、物品１１１の辺に応じた触感を提供するために、振動データを用いて振動素子１３３を駆動する。これにより、利用者に辺に応じた触感が提供され、利用者は、ポインタ１３０Ａが辺に触れたことを視覚及び触感の両方で検知することができる。また、利用者は、ポインタ１３０Ａが触れた所定の部位が辺であることを触感で検知することができる。
【０１５１】
また、シミュレーションシステム１００は、ポインタ１３０Ａを面１１１Ｓ１、１１１Ｓ２の上の候補点Ｃ３、Ｃ５のいずれかに移動させると、物品１１１の面に応じた触感を提供するために、振動データを用いて振動素子１３３を駆動する。これにより、利用者に面に応じた触感が提供され、利用者は、ポインタ１３０Ａが面に触れたことを視覚及び触感の両方で検知することができる。また、利用者は、ポインタ１３０Ａが触れた所定の部位が面であることを触感で検知することができる。
【０１５２】
なお、ボタン１３４Ｂの代わりに、上下、左右、前後の方向を指定できる複数のボタンを用いてもよい。このような複数のボタンのうちのいずれか１つを押すと、ボタンで指定された方向にある候補点（Ｃ１〜Ｃ６のうちのいずれか１つ）にポインタ１３０Ａを移動できるようにしてもよい。例えば、図１７に示すようにポインタ１３０Ａが角１１１Ａに位置しているときに、下方向に移動させるボタンを押すことにより、ポインタ１３０Ａを候補点Ｃ６に移動させてもよい。
【０１５３】
図１９は、実施の形態１の処理装置１２０が実行する処理を示すフローチャートである。ここでは、一例として、スクリーン１１０Ａ（図１参照）に物品１１１の画像を表示させる場合について説明する。
【０１５４】
処理装置１２０は、電源投入後に処理を開始する（ＳＴＡＲＴ）。
【０１５５】
処理装置１２０は、操作端末機１３０の位置のキャリブレーションを行う（ステップＳ１）。キャリブレーションは、位置検出部１２１で検出する操作端末機１３０の初期の位置と、スクリーン１１０Ａに表示される画像（仮想空間）の中におけるポインタ１３０Ａの位置とを関連付ける処理である。位置検出部１２１は、キャリブレーションを行う機能を有する。このため、ステップＳ１の処理は、位置検出部１２１によって行われる。
【０１５６】
処理装置１２０は、校正点１３０Ｘの座標と校正期間Ｔｃとを表すデータを取得するとともに、ポインタ１３０Ａの座標を取得する（ステップＳ２）。より具体的には、処理装置１２０は、校正点１３０Ｘの座標と校正期間Ｔｃとを表すデータをデータ保持部１２７から読み出す。また、処理装置１２０は、操作端末機１３０の３次元座標における座標値をスクリーン１１０Ａに投影される画像の中の座標に変換することによってポインタ１３０Ａの座標を得る。
【０１５７】
校正点１３０Ｘの座標と校正期間Ｔｃとを表すデータの取得は、領域設定部１２２によって行われる。ポインタ１３０Ａの座標は、位置検出部１２１によって取得される。
【０１５８】
処理装置１２０は、校正点１３０Ｘとポインタ１３０Ａをスクリーン１１０Ａに表示する（ステップＳ３）。これにより、図１２に示すように、スクリーン１１０Ａの中央に校正点１３０Ｘが表示されるとともに、操作端末機１３０の位置と姿勢に応じて決まる位置にポインタ１３０Ａが表示される。校正点１３０Ｘの表示は、映像出力部１２６によって行われる。ポインタ１３０Ａの位置は、位置検出部１２１によって検出され、ポインタ１３０Ａの表示は、映像出力部１２６によって行われる。
【０１５９】
処理装置１２０は、校正時刻Ｔｋをゼロ（Ｔｋ＝０）に設定する（ステップＳ４）。構成期間Ｔｃにわたってポインタ１３０Ａの座標を取得する準備として、校正時刻Ｔｋをゼロに設定する。ステップＳ４の処理は、領域設定部１２２によって行われる。
【０１６０】
処理装置１２０は、ポインタ１３０Ａの座標を取得する（ステップＳ５）。ポインタ１３０Ａの座標は、位置検出部１２１が、操作端末機１３０の３次元座標における座標値をスクリーン１１０Ａに投影される画像の中の座標に変換することによって得られる。なお、ポインタ１３０Ａの座標は、位置検出部１２１によって取得される。
【０１６１】
処理装置１２０は、校正を開始してから校正期間Ｔｃが経過したかどうかを判定する（ステップＳ６）。校正期間Ｔｃにわたってポインタ１３０Ａの座標を取得するためである。なお、校正を開始するタイミングは、ステップＳ４で校正時刻Ｔｋをゼロにリセットしたタイミングである。ステップＳ６の処理は、領域設定部１２２によって行われる。
【０１６２】
処理装置１２０は、校正期間Ｔｃが経過していない（Ｓ６：ＮＯ）と判定すると、校正時刻Ｔｋをインクリメント（Ｔｋ＝Ｔｋ＋１）する（ステップＳ７）。ステップＳ７の処理は、領域設定部１２２によって行われる。
【０１６３】
処理装置１２０は、ステップＳ７の処理を終えると、フローをステップＳ５にリターンし、ポインタ１３０Ａの座標を取得する。ステップＳ６において、校正期間Ｔｃが経過した（Ｓ６：ＹＥＳ）と判定するまで、ステップＳ５、Ｓ６、及びＳ７の処理が繰り返され、ポインタ１３０Ａの座標が取得され、校正時刻がインクリメントされ、図１３に示すような複数の校正時刻Ｔｋにおけるポインタ１３０Ａの座標（Ｘｋ、Ｙｋ、Ｚｋ）が取得されることになる。
【０１６４】
処理装置１２０は、校正期間Ｔｃが経過した（Ｓ６：ＹＥＳ）と判定すると、フローをステップＳ８に進行し、式（４）に基づいて検出範囲１３０Ａ１の半径Ｒａを求める（ステップＳ８）。なお、式（４）に基づいて検出範囲１３０Ａ１の半径Ｒａを求める前提として、処理装置１２０は、式（１）、（２）、（３）に基づいて、Ｘ、Ｙ、Ｚ座標の標準偏差ＸＳＤ、ＹＳＤ、ＺＳＤを求める。ステップＳ８の処理は、領域設定部１２２によって行われる。
【０１６５】
処理装置１２０は、利用者によって選択された物品１１１をスクリーン１１０Ａに表示する（ステップＳ９）。処理装置１２０は、物品データ（図９参照）から物品１１１のデータを読み出してスクリーン１１０Ａに表示する。物品１１１の表示は、映像出力部１２６によって行われる。
【０１６６】
処理装置１２０は、ポインタ１３０Ａの座標を取得し、取得した位置にポインタ１３０Ａを表示する（ステップＳ１０）。ポインタ１３０Ａの座標は、位置検出部１２１が、操作端末機１３０の３次元座標における座標値をスクリーン１１０Ａに投影される画像の中の座標に変換することによって得られる。
【０１６７】
ステップＳ１０の処理により、現在の操作端末機１３０の位置と姿勢に応じて決まる位置にポインタ１３０Ａが表示される。ポインタ１３０Ａの位置は、位置検出部１２１によって検出される。
【０１６８】
処理装置１２０は、ポインタ１３０Ａの周囲に検出範囲１３０Ａ１を設定する（ステップＳ１１）。検出範囲１３０Ａ１は、ポインタ１３０Ａを中心とする、半径Ｒａの球状の領域である。
【０１６９】
ここで、検出範囲１３０Ａ１は、スクリーン１１０Ａには表示されないが、例えば、図１５に示すように、スクリーン１１０Ａには物品１１１とポインタ１３０Ａとが表示され、ポインタ１３０Ａの周りに検出範囲１３０Ａ１が設定された状態になる。ステップＳ１１の処理は、領域設定部１２２によって行われる。
【０１７０】
処理装置１２０は、物品１１１のｎ番目の角を指定する数ｎを１（ｎ＝１）に設定する（ステップＳ１２）。
【０１７１】
ステップＳ１２の処理は、判定部１２３によって行われる。なお、物品１１１の角をどのような順番で取得するかは、予め設定しておけばよい。例えば、スクリーン１１０Ａに表示される画像の座標系における原点に最も近い角から最も遠い角まで順番に選択するようにすればよい。
【０１７２】
処理装置１２０は、物品１１１のｎ番目の角の座標を取得する（ステップＳ１３）。処理装置１２０は、現在のｎの値によって決まるｎ番目の角の座標を物品データ（図９参照）から取得する。ステップＳ１３の処理は、判定部１２３によって行われる。
【０１７３】
処理装置１２０は、検出範囲１３０Ａ１の内部にｎ番目の角があるかどうかを判定する（ステップＳ１４）。検出範囲１３０Ａ１の内部にｎ番目の角があるかどうかは、次式（５）を用いて判定すればよい。
【０１７４】
ここで、ｎ番目の角の座標を（Ｘｎ、Ｙｎ、Ｚｎ）とし、ポインタ１３０Ａの座標を（Ｘａ、Ｙａ、Ｚａ）とする。
【０１７５】
【数５】
2017107388.tif 000007
【０１７６】
式（５）が成立すれば、ｎ番目の角は検出範囲１３０Ａ１の内部に存在し、式（５）が成立しなければ、ｎ番目の角は検出範囲１３０Ａ１の内部に存在しないことになる。ステップＳ１４の処理は、判定部１２３によって行われる。
【０１７７】
処理装置１２０は、検出範囲１３０Ａ１の内部にｎ番目の角がない（Ｓ１４：ＮＯ）と判定すると、ｎの値をインクリメント（ｎ＝ｎ＋１）する（ステップＳ１５）。次の角について判定を行うためである。ステップＳ１５の処理は、判定部１２３によって行われる。
【０１７８】
処理装置１２０は、ステップＳ１５の処理を終えると、フローをステップＳ１３にリターンする。すなわち、ステップＳ１４で検出範囲１３０Ａ１の内部にｎ番目の角がない（Ｓ１４：ＹＥＳ）と判定されるまで、ステップＳ１３、Ｓ１４、及びＳ１５の処理が繰り返し実行されることになる。
【０１７９】
処理装置１２０は、検出範囲１３０Ａ１の内部にｎ番目の角がある（Ｓ１４：ＹＥＳ）と判定すると、ステップＳ１４で検出範囲１３０Ａ１の内部にあると判定したｎ番目の角にポインタ１３０Ａを移動する（ステップＳ１６）。
【０１８０】
より具体的には、処理装置１２０は、ポインタ１３０Ａの座標をステップＳ１４で検出範囲１３０Ａ１の内部にあると判定したｎ番目の角の座標に置き換える。これにより、ポインタ１３０ＡがステップＳ１４で検出範囲１３０Ａ１の内部にあると判定されたｎ番目の角に移動される。ステップＳ１６の処理は、座標制御部１２４によって行われる。
【０１８１】
処理装置１２０は、ポインタ１３０Ａの位置と操作端末機１３０の位置及び姿勢との同期を停止する（ステップＳ１７）。より具体的には、処理装置１２０は、位置検出部１２１によって検出される操作端末機１３０の位置及び姿勢に対応するポインタ１３０Ａの座標に、ポインタ１３０Ａを表示せずに、ポインタ１３０Ａをｎ番目の角に表示した状態に保持する。ステップＳ１７の処理は、座標制御部１２４によって行われる。
【０１８２】
処理装置１２０は、振動データから角に対応する振動強度と振動時間を読み出し、操作端末機１３０の振動素子１３３を駆動する駆動信号を生成し、通信部１２９を介して、操作端末機１３０に送信する（ステップＳ１８）。この結果、操作端末機１３０の振動素子１３３が駆動される。なお、ステップＳ１８の処理は、駆動制御部１２８が行う。
【０１８３】
処理装置１２０は、検出範囲１３０Ａ１の内部にある物品１１１の所定の部位を抽出する（ステップＳ１９）。より具体的には、処理装置１２０は、検出範囲１３０Ａ１の内部にある物品１１１の所定の部位として、検出範囲１３０Ａ１の内部にある物品１１１の角を抽出する。ステップＳ１９の処理は、抽出部１２５によって行われる。
【０１８４】
処理装置１２０は、ステップＳ１９で抽出した角に候補点を生成する（ステップＳ２０）。例えば、図１７に示すように、ポインタ１３０Ａを角１１１Ａに配置した場合に、検出範囲１３０Ａ１内に角１１１Ｂがある場合は、角１１１Ｂを候補点Ｃ１に設定する。なお、検出範囲１３０Ａ１内に角１１１Ｂがない場合は、候補点Ｃ１を設定せずに、フローをステップＳ２１に進行させる。ステップＳ２０の処理は、抽出部１２５によって行われる。
【０１８５】
処理装置１２０は、距離Ｌを算出する（ステップＳ２１）。ここでは、距離ＬはＲａ／２に設定される。ステップＳ２１の処理は、抽出部１２５によって行われる。
【０１８６】
処理装置１２０は、ポインタ１３０Ａの位置から距離Ｌで、物品１１１の辺上にある候補点を生成するとともに、辺上の候補点同士の中点に候補点を生成する（ステップＳ２２）。
【０１８７】
例えば、図１７に示すように、ポインタ１３０Ａを角１１１Ａに配置した場合には、辺１１１Ｅ１、１１１Ｅ２、１１１Ｅ３の上で、ポインタ１３０Ａが存在する角１１１Ａから距離Ｌの点に、候補点Ｃ２、Ｃ４、Ｃ６が生成される。
【０１８８】
また、候補点Ｃ２とＣ４の中点に候補点Ｃ３が生成され、候補点Ｃ４とＣ６の中点に候補点Ｃ５が生成される。ステップＳ２２の処理は、抽出部１２５によって行われる。
【０１８９】
処理装置１２０は、ボタン１３４Ｂが押されたかどうかを判定する（ステップＳ２３）。ボタン１３４Ｂを押すことにより、候補点を選択することができる。
【０１９０】
例えば、図１７に示すように、候補点Ｃ１〜Ｃ６がある場合には、ボタン１３４Ｂを１回押すと、候補点Ｃ１を選択することができる。さらにボタン１３４Ｂを押すと、候補点Ｃ２〜Ｃ６を順次選択することができる。ステップＳ２３の処理は、抽出部１２５によって行われる。
【０１９１】
なお、処理装置１２０は、ボタン１３４Ｂが押されていない（Ｓ２３：ＮＯ）と判定すると、ステップＳ２３を繰り返し実行する。
【０１９２】
処理装置１２０は、ボタン１３４Ｂが押された（Ｓ２３：ＹＥＳ）と判定すると、ボタン１３４Ａが押されて候補点が確定されたかどうかを判定する（ステップＳ２４）。ステップＳ２４の処理は、抽出部１２５によって行われる。
【０１９３】
処理装置１２０は、ボタン１３４Ａが押されて候補点が確定された（Ｓ２４：ＹＥＳ）と判定すると、ポインタ１３０ＡをステップＳ２４で確定された候補点に移動する（ステップＳ２５）。
【０１９４】
例えば、図１７に示すように、ポインタ１３０Ａが角１１１Ａに配置されている場合に、候補点Ｃ６の選択が確定されるとポインタ１３０Ａが候補点Ｃ６に移動される。ステップＳ２５の処理は、座標制御部１２４によって行われる。
【０１９５】
処理装置１２０は、振動データからステップＳ２４で確定された候補点に対応する振動強度と振動時間を読み出し、操作端末機１３０の振動素子１３３を駆動する駆動信号を生成し、通信部１２９を介して、操作端末機１３０に送信する（ステップＳ２６）。
【０１９６】
ステップＳ２４で確定された候補点が辺上の点である場合は、辺を表す振動強度と振動時間が読み出されて、辺の触感を表す駆動信号が生成される。また、ステップＳ２４で確定された候補点が面上の点である場合は、面を表す振動強度と振動時間が読み出されて、面の触感を表す駆動信号が生成される。
【０１９７】
この結果、操作端末機１３０の振動素子１３３が、ステップＳ２４で確定された候補点に応じた駆動パターンで駆動される。なお、ステップＳ２６の処理は、駆動制御部１２８が行う。
【０１９８】
処理装置１２０は、ボタン１３４Ｂの操作によって、ポインタ１３０Ａの位置と操作端末機１３０の位置及び姿勢との同期を復帰させる操作が行われたかどうかを判定する（ステップＳ２７）。ステップＳ２７の処理は、座標制御部１２４によって行われる。
【０１９９】
処理装置１２０は、同期を復帰させる操作が行われた（Ｓ２７：ＹＥＳ）と判定すると、ポインタ１３０Ａの位置と操作端末機１３０の位置及び姿勢とを同期させる（ステップＳ２８）。より具体的には、処理装置１２０は、位置検出部１２１によって検出される操作端末機１３０の位置及び姿勢に対応するポインタ１３０Ａの座標に、ポインタ１３０Ａを表示する。ステップＳ２８の処理は、座標制御部１２４によって行われる。
【０２００】
以上で一連の処理が終了する（ＥＮＤ）。
【０２０１】
なお、処理装置１２０は、同期を復帰させる操作が行われていない（Ｓ２７：ＮＯ）と判定すると、フローをステップＳ２３にリターンする。
【０２０２】
図２０及び図２１は、ポインタ１３０Ａで触れる物品１１１の部位と、振動パターンとの関係を表す図である。
【０２０３】
図２０に示す物品１１１の角１１１Ａ、辺１１１Ｅ１、及び面１１１Ｓ１は、それぞれ、振動パターンのCorner(角)、Edge(辺)、及びSurface(面)に相当する。
【０２０４】
ポインタ１３０Ａが角１１１Ａに触れると、振動強度（振幅）を強く（大きく）する。ポインタ１３０Ａが辺１１１Ｅ１に触れると、振動強度（振幅）を中くらいにする。また、ポインタ１３０Ａが面１１１Ｓ１に触れると、振動強度（振幅）を弱く（小さく）する。なお、ここでは、振動を発生させる時間は、振動強度によらず一定である。
【０２０５】
このように、ポインタ１３０Ａが物品１１１の角１１１Ａ、辺１１１Ｅ１、面１１１Ｓ１のうちのどの部位に触れるかによって振動強度を変える。また、角１１１Ａは、触れる部分の面積が小さく、実際に手で触れると尖った触感を受けるので、振動強度を最も強くしてある。これとは逆に、面１１１Ｓ１は、触れる部分の面積が大きく、実際に手で触れると滑らかな触感を受けるので、振動強度を最も弱くしてある。そして、辺１１１Ｅ１は、触れる部分の面積が角１１１Ａと面１１１Ｓ１の間くらい（中くらい）であるため、振動強度を中くらいにしてある。
【０２０６】
このように、例えば、触れる部位に応じて駆動信号の振動強度を変化させることにより、操作端末機１３０でポインタ１３０Ａを操作する利用者の手に、ポインタ１３０Ａで触れる物品１１１の部位に応じた触感を提供することができる。
【０２０７】
なお、ポインタ１３０Ａが角１１１Ａ以外の角に触れたときの振動パターンは、ポインタ１３０Ａが角１１１Ａに触れたときの振動パターンと同じである。また、ポインタ１３０Ａが辺１１１Ｅ１以外の辺に触れたときの振動パターンは、ポインタ１３０Ａが辺１１１Ｅ１に触れたときの振動パターンと同じである。また、ポインタ１３０Ａが面１１１Ｓ１以外の面に触れたときの振動パターンは、ポインタ１３０Ａが面１１１Ｓ１に触れたときの振動パターンと同じである。
【０２０８】
図２１では、振動強度の代わりに振動を発生させる時間を変化させる。
【０２０９】
ポインタ１３０Ａが角１１１Ａに触れると、振動時間を短くする。ポインタ１３０Ａが辺１１１Ｅ１に触れると、振動時間を中くらいにする。また、ポインタ１３０Ａが面１１１Ｓ１に触れると、振動時間を長くする。なお、ここでは、振動強度は、振動時間によらず一定である。
【０２１０】
このように、ポインタ１３０Ａが物品１１１の角１１１Ａ、辺１１１Ｅ１、面１１１Ｓ１のうちのどの部位に触れるかによって振動時間を変える。また、角１１１Ａは、触れる部分の面積が小さく、実際に手で触れると尖った触感を受けるので、振動時間を最も短くしてある。これとは逆に、面１１１Ｓ１は、触れる部分の面積が大きく、実際に手で触れると滑らかな触感を受けるので、振動時間を最も長くしてある。そして、辺１１１Ｅ１は、触れる部分の面積が角１１１Ａと面１１１Ｓ１の間くらい（中くらい）であるため、振動時間を中くらいにしてある。
【０２１１】
このように、例えば、触れる部位に応じて駆動信号の振動時間を変化させることにより、操作端末機１３０でポインタ１３０Ａを操作する利用者の手に、ポインタ１３０Ａで触れる物品１１１の部位に応じた触感を提供することができる。
【０２１２】
図２２及び図２３は、ポインタ１３０Ａで触れる物品１１１の材質と、振動パターンとの関係を表す図である。
【０２１３】
図２２では、物品１１１及び１１２等のような物品の材質に応じて、振動強度を変化させる。
【０２１４】
物品のヤング率に応じて、硬い材質、柔らかい材質、中くらいの材質に予め分けて振動データを作成しておく。例えば、ヤング率が１０ＧＰａ以上の材質を硬い材質、１ＧＰａ〜１０ＧＰａの材質を中程度の硬さの材質、１ＧＰａ以下の材質を柔らかい材質として定義しておくとする。
【０２１５】
ポインタ１３０Ａが触れる物品の材質が硬い場合は、振動強度（振幅）を強く（大きく）する。ポインタ１３０Ａが触れる物品の材質が中くらいの硬さである場合は、振動強度（振幅）を中くらいにする。また、ポインタ１３０Ａが触れる物品の材質が柔らかい場合は、振動強度（振幅）を弱く（小さく）する。なお、ここでは、振動を発生させる時間は、振動強度によらず一定である。
【０２１６】
このように、ポインタ１３０Ａが触れる物品の材質によって振動強度を変えれば、操作端末機１３０でポインタ１３０Ａを操作する利用者の手に、ポインタ１３０Ａで触れる物品の材質に応じた触感を提供することができる。
【０２１７】
図２３では、物品１１１及び１１２等のような物品の材質に応じて、振動時間を変化させる。
【０２１８】
図２２で説明したように、物品のヤング率に応じて、硬い材質、柔らかい材質、中くらいの材質に予め分けて振動データを作成しておく。例えば、ヤング率が１０ＧＰａ以上の材質を硬い材質、１ＧＰａ〜１０ＧＰａの材質を中程度の硬さの材質、１ＧＰａ以下の材質を柔らかい材質として定義しておくとする。
【０２１９】
ポインタ１３０Ａが触れる物品の材質が硬い場合は、振動時間を短くする。ポインタ１３０Ａが触れる物品の材質が中くらいの硬さである場合は、振動時間を中くらいにする。また、ポインタ１３０Ａが触れる物品の材質が柔らかい場合は、振動時間を長くする。なお、ここでは、振動強度は、振動時間によらず一定である。
【０２２０】
このように、ポインタ１３０Ａが触れる物品の材質によって振動時間を変えれば、操作端末機１３０でポインタ１３０Ａを操作する利用者の手に、ポインタ１３０Ａで触れる物品の材質に応じた触感を提供することができる。
【０２２１】
なお、図２０で説明したように部位に応じて振動強度を変化させることと、図２３で説明したように材質に応じて振動時間を変化させることとを組み合わせてもよい。このようにすれば、物品の部位と材質とに応じて、振動パターンを変化させることができる。
【０２２２】
また、図２１で説明したように部位に応じて振動時間を変化させることと、図２２で説明したように材質に応じて振動強度を変化させることとを組み合わせてもよい。このようにすれば、物品の部位と材質とに応じて、振動パターンを変化させることができる。
【０２２３】
以上のように、実施の形態１のシミュレーションシステム１００によれば、利用者が操作端末機１３０を操作する際に手の震え等によって生じうるポインタ１３０Ａの位置の変動を考慮して、校正点１３０Ｘの座標に対する、ポインタ１３０ＡのＸ座標、Ｙ座標、及びＺ座標の標準偏差ＸＳＤ、ＹＳＤ、ＺＳＤを求める。
【０２２４】
そして、３つの標準偏差の平均値（Ｒａ）を半径とする検出範囲１３０Ａ１をポインタ１３０Ａの周りに設けて、利用者がポインタ１３０Ａを移動させたときに、検出範囲１３０Ａ１の内部に物品１１１又は１１２の角が存在すると、ポインタ１３０Ａを角に移動する。検出範囲１３０Ａ１は、ポインタ１３０Ａを中心とする半径Ｒａの球状の領域である。
【０２２５】
このため、利用者は、自身で意図した点に容易にポインタ１３０Ａを移動させることができる。このため、意図する点を容易に指定できるシミュレーションシステム１００を提供することができる。
【０２２６】
また、ポインタ１３０Ａを角に移動した場合に、移動した部位の種類又は材質に応じて振動素子１３３を振動させる振動パターンを変える。
【０２２７】
このため、物品の部位又は材質に応じた触感を利用者に提供することができる。利用者は、触感だけで部位又は材質の違いを認識することができる。なお、この場合に、利用者が手で振動素子１３３に触れていることが望ましいが、振動素子１３３に触れていなくても、筐体１３１が部位又は材質に応じた振動パターンで振動するため、触感だけで部位又は材質の違いを認識することができる。
【０２２８】
以上のように、実施の形態１のシミュレーションシステム１００によれば、物品の部位又は材質に応じた触感を利用者に提供することができるとともに、物品に触れた方向に応じた触感を利用者に提供することができる。このような触感は、現実空間において手で物品を触っている触感を模擬的に表しており、リアリティに富んでいる。
【０２２９】
従って、実施の形態１によれば、リアリティのある触感を提供できるシミュレーションシステム１００を提供することができる。
【０２３０】
なお、以上では、マーカ１３２と位置計測装置１４０（赤外線カメラ１４０Ａ及び１４０Ｂ）とを用いて操作端末機１３０の位置と姿勢を検出する形態について説明した。しかしながら、
マーカ１３２が不要な赤外線深度センサ、磁気センサ、ステレオカメラ、加速度センサ、又は、角速度センサのうち、少なくとも１つ以上を用いて操作端末機１３０の位置と姿勢を検出してもよい。
【０２３１】
また、超音波帯の固有振動を発生させる駆動制御信号を用いて、振動素子１３３を駆動してもよい。この場合には、筐体１３１の外表面に超音波帯の固有振動が発生する。
【０２３２】
超音波帯とは、例えば、約２０ｋＨｚ以上の周波数帯であり、人間が聴き取ることのできる可聴域よりも高い周波数をいう。筐体１３１の外表面に超音波帯の固有振動が発生させると、スクイーズ効果によって凹凸感等のある触感を提供することができる。
【０２３３】
また、以上では、ポインタ１３０ＡのＸ、Ｙ、Ｚ座標と校正点１３０Ｘの座標の標準偏差ＸＳＤ、ＹＳＤ、ＺＳＤの平均値を検出範囲１３０Ａ１の半径Ｒａとして求める形態について説明したが、半径Ｒａの求め方は、このような手法には限られない。半径Ｒａは、複数の校正時刻において求められたポインタ１３０ＡのＸ、Ｙ、Ｚ座標と、校正点１３０Ｘの座標との差に基づいて求めればよく、例えば、複数の校正時刻において求められたポインタ１３０ＡのＸ、Ｙ、Ｚ座標と、校正点１３０Ｘの座標との平均値であってもよい。
【０２３４】
また、以上では、所定部位が角であり、検出範囲１３０Ａ１に物品１１１又は１１２の角が入った場合に、ポインタ１３０Ａを角に移動させる形態について説明したが、所定部位は、物品１１１の辺上の点又は面上の点であってもよい。
【０２３５】
例えば、辺上の点は、物品データに含まれる２つの角の間の点として算出することができる。また、面上の点は、物品データに含まれる４つの角の間に位置する点として算出することができる。このため、物品データに含まれる角の座標を用いれば、所望の辺上の点又は面上の点を求めることができる。
【０２３６】
従って、検出範囲１３０Ａ１に物品１１１又は１１２の所定の辺上の点又は所定の面上の点が入った場合に、ポインタ１３０Ａを辺上の点又は面上の点に移動させて、辺又は面の触感を表す駆動信号で、振動素子１３４を駆動してもよい。
【０２３７】
また、以上では、検出範囲１３０Ａ１がポインタ１３０Ａを中心とする球状の領域である形態について説明したが、検出範囲１３０Ａ１は、ポインタ１３０Ａを中心とする球状の領域に限られるものではない。
【０２３８】
検出範囲１３０Ａ１は、ポインタ１３０Ａを含む三次元的な領域であって、数式等で表せる範囲であれば、どのような形状の領域であってもよい。例えば、操作端末機１３０の重心の位置等に応じて、ポインタ１３０Ａに対して非対称に広がる領域であってもよい。
【０２３９】
＜実施の形態２＞
図２４は、実施の形態２のシミュレーションシステム２００を示す図である。図２５は、図２４に示す処理装置２２０の内部構成を示す図である。
【０２４０】
シミュレーションシステム２００は、実施の形態１のシミュレーションシステム１００の処理装置１２０を処理装置２２０に置き換えたものである。このため、以下では相違点を中心に説明する。
【０２４１】
処理装置２２０は、位置検出部１２１、領域設定部２２２、判定部１２３、座標制御部１２４、抽出部１２５、映像出力部１２６、データ保持部１２７、駆動制御部１２８、及び通信部１２９を有する。処理装置２２０は、例えば、メモリを有するコンピュータによって実現される。処理装置２２０は、実施の形態１の処理装置１２０の領域設定部１２２を領域設定部２２２に置き換えたものである。以下では、実施の形態１の処理装置１２０との相違点を中心に説明する。
【０２４２】
領域設定部２２２は、検出範囲１３０Ａ１を設定するために半径Ｒａを算出する手法が実施の形態１の領域設定部１２２と異なる。領域設定部２２２は、実施の形態１とは異なる手法で半径Ｒａを算出し、検出範囲１３０Ａ１を設定する。
【０２４３】
実施の形態２の処理装置２２０は、検出範囲１３０Ａ１を設定するために半径Ｒａを算出する手法が実施の形態２の処理装置２２０と異なるが、検出範囲１３０Ａ１を設定した後の処理は、実施の形態１と同様である。
【０２４４】
図２６は、シミュレーションシステム２００が物品１１１の角の周りに設定する検出範囲を示す図である。
【０２４５】
シミュレーションシステム１００は、初期設定の一部として行うキャリブレーションを終えると、検出範囲１３０Ａ１の半径Ｒａを算出するために、スクリーン１１０Ａに物品１１１を表示し、物品１１１の角１１１Ａ〜１１１Ｈの周りにそれぞれ検出範囲２１１Ａ１〜２１１Ｈを設定する。検出範囲２１１Ａ１〜２１１Ｈは、それぞれ、角１１１Ａ〜１１１Ｈを中心とする半径Ｒ２の球状の領域である。
【０２４６】
検出範囲２１１Ａ１〜２１１Ｈは、第２領域の一例である。角１１１Ａ〜１１１Ｈを中心とした所定の半径で表される範囲は、第２所定範囲の一例である。角１１１Ａ〜１１１Ｈを中心とした所定の半径で表される範囲は、検出範囲２１１Ａ１〜２１１Ｈの範囲を表す。
【０２４７】
検出範囲２１１Ａ１〜２１１Ｈは、領域設定部２２２によって設定される。なお、半径Ｒ２は既定値であり、半径Ｒ２を表すデータはデータ保持部１２７に保持させておけばよい。
【０２４８】
図２７及び図２８は、シミュレーションシステム２００における検出範囲２１１Ａ１〜２１１Ｈとポインタ１３０Ａの例示的な位置関係を示す図である。
【０２４９】
検出範囲２１１Ａ１〜２１１Ｈが表示された状態において、利用者に操作端末機１３０の操作を促し、ポインタ１３０Ａを角１１１Ａ〜１１１Ｈのうちのいずれかに誘導させる。利用者は、操作端末機１３０を移動させて、ポインタ１３０Ａを角１１１Ａ〜１１１Ｈのうちのいずれか１つに移動させるように試みる。
【０２５０】
図２８では、ポインタ１３０Ａは角１１１Ａに到達する。ポインタ１３０Ａは、角１１１Ａに到達するまでには、破線で示すように検出範囲２１１Ａに接近し、検出範囲２１１Ａ内では実線で示すように検出範囲２１１Ａに接近する。
【０２５１】
領域設定部２２２は、検出範囲２１１Ａ内では実線で示すように移動するポインタ１３０Ａの座標を所定の時間間隔おきに取得し、複数の座標の標準偏差を求めることによって検出範囲１３０Ａ１の半径Ｒａを算出する。
【０２５２】
図２９は、ポインタ１３０Ａの位置の時間的変化を示す図である。
【０２５３】
シミュレーションシステム２００は、利用者がポインタ１３０Ａを角１１１Ａ〜１１１Ｈのうちのいずれか１つに合わせるように操作端末機１３０を操作しているときに、ポインタ１３０Ａが検出範囲２１１Ａ１〜２１１Ｈの内部に入ると、ポインタ１３０Ａの座標の記録を開始する。ポインタ１３０Ａの座標の記録は、ポインタ１３０Ａが角１１１Ａ〜１１１Ｈのうちのいずれか１つに到達するまで、所定の時間間隔毎に行われる。
【０２５４】
例えば、図２９に示すように、複数の校正時刻Ｔｋにおけるポインタ１３０Ａの座標（Ｘｋ、Ｙｋ、Ｚｋ）が取得される。
【０２５５】
校正時刻Ｔｋは、所定の時間間隔毎に設けられており、図２９には、一例として、Ｔ２１、Ｔ２２、Ｔ２３、Ｔ２４、Ｔ２５を示す。校正時刻Ｔ２１は、ポインタ１３０Ａが検出範囲２１１Ａ１〜２１１Ｈの内部に入って、ポインタ１３０Ａの座標の記録が開始された時刻を表す。校正時刻Ｔ２５は、ポインタ１３０Ａが角１１１Ａ〜１１１Ｈのうちのいずれか１つに到達した時刻を表す。
【０２５６】
図２９には、校正時刻Ｔ２１、Ｔ２２、Ｔ２３、Ｔ２４、Ｔ２５において、ポインタ１３０Ａの座標（Ｘ２１、Ｘ２２、Ｘ２３、Ｘ２４、Ｘ２５、Ｙ２１、Ｙ２２、Ｙ２３、Ｙ２４、Ｙ２５、Ｚ２１、Ｚ２２、Ｚ２３、Ｚ２４、Ｚ２５）が得られた場合を示す。
【０２５７】
図３０は、実施の形態２の処理装置２２０が実行する処理を示すフローチャートである。ここでは、一例として、スクリーン１１０Ａ（図１参照）に物品１１１の画像を表示させる場合について説明する。
【０２５８】
処理装置２２０は、電源投入後に処理を開始する（ＳＴＡＲＴ）。
【０２５９】
処理装置２２０は、操作端末機１３０の位置のキャリブレーションを行う（ステップＳ２０１）。キャリブレーションは、実施の形態１のステップＳ１のキャリブレーションと同様である。
【０２６０】
処理装置２２０は、物品１１１をスクリーン１１０Ａに表示する（ステップＳ２０２）。処理装置２２０は、物品データ（図９参照）から物品１１１のデータを読み出してスクリーン１１０Ａに表示する。ステップＳ２０２でスクリーン１１０Ａに表示する物品１１１は、利用者によって選択されたものであってもよいし、予め決めておいたものであってもよい。物品１１１の表示は、映像出力部１２６によって行われる。
【０２６１】
処理装置２２０は、物品１１１のすべての角の座標を取得する（ステップＳ２０３）。処理装置２２０は、物品データ（図９参照）から物品１１１のすべての角の座標を取得する。ステップＳ２０３の処理は、領域設定部２２２によって行われる。
【０２６２】
処理装置２２０は、検出範囲の半径Ｒ２を表すデータを取得する（ステップＳ２０４）。半径Ｒ２を表すデータは、データ保持部１２７に保持させておけばよい。処理装置２２０は、ステップＳ２０４の処理は、領域設定部２２２によって行われる。
【０２６３】
処理装置２２０は、物品１１１のすべての角に半径Ｒ２の検出範囲を設定する（ステップＳ２０５）。これにより、例えば、図２６に示すように、角１１１Ａ〜１１１Ｈに、それぞれ、検出範囲２１１Ａ〜２１１Ｈが設定される。なお、検出範囲２１１Ａ〜２１１Ｈは、スクリーン１１０Ａに表示されない。ステップＳ２０４の処理は、領域設定部２２２によって行われる。
【０２６４】
処理装置２２０は、物品１１１のｍ番目の角を指定する数ｍを１（ｍ＝１）に設定する（ステップＳ２０６）。
【０２６５】
ステップＳ１２の処理は、判定部１２３によって行われる。なお、物品１１１の角をどのような順番で取得するかは、予め設定しておけばよい。例えば、スクリーン１１０Ａに表示される画像の座標系における原点に最も近い角から最も遠い角まで順番に選択するようにすればよい。
【０２６６】
処理装置２２０は、ポインタ１３０Ａの座標を取得する（ステップＳ２０７）。ポインタ１３０Ａの座標は、位置検出部１２１が、操作端末機１３０の３次元座標における座標値をスクリーン１１０Ａに投影される画像の中の座標に変換することによって得られる。なお、ポインタ１３０Ａの座標は、位置検出部１２１によって取得される。
【０２６７】
処理装置２２０は、物品１１１のｍ番目の角の座標を取得する（ステップＳ２０８）。処理装置２２０は、現在のｍの値によって決まるｍ番目の角の座標を物品データ（図９参照）から取得する。ステップＳ２０８の処理は、判定部１２３によって行われる。
【０２６８】
処理装置２２０は、ｍ番目の角に対応する検出範囲の内部にポインタ１３０Ａがあるかどうかを判定する（ステップＳ２０９）。ｍ番目の角とは、角１１１Ａ〜１１１Ｈのうちのｍ番目の角であり、ｍ番目の角に対応する検出範囲とは、検出範囲２１１Ａ〜２１１Ｈのうちのｍ番目の角に対応するいずれか１つである。
【０２６９】
ｍ番目の角に対応する検出範囲の内部にポインタ１３０Ａがあるかどうかは、次式（６）を用いて判定すればよい。ここで、ｍ番目の角の座標を（Ｘｍ、Ｙｍ、Ｚｍ）とし、ポインタ１３０Ａの座標を（Ｘａ、Ｙａ、Ｚａ）とする。
【０２７０】
【数６】
2017107388.tif 000008
【０２７１】
式（６）が成立すれば、ｍ番目の角に対応する検出範囲の内部にポインタ１３０Ａが存在し、式（６）が成立しなければ、ｍ番目の角に対応する検出範囲の内部にポインタ１３０Ａは存在しないことになる。ステップＳ２０９の処理は、判定部１２３によって行われる。
【０２７２】
処理装置２２０は、ｍ番目の角に対応する検出範囲の内部にポインタ１３０Ａがない（Ｓ２０９：ＮＯ）と判定すると、ｍの値をインクリメント（ｍ＝ｍ＋１）する（ステップＳ２１０）。次の角について判定を行うためである。ステップＳ２１０の処理は、判定部１２３によって行われる。
【０２７３】
処理装置２２０は、ステップＳ２１０の処理を終えると、フローをステップＳ２０７にリターンする。すなわち、ステップＳ２０９でｍ番目の角に対応する検出範囲の内部にポインタ１３０Ａがある（Ｓ２０９：ＹＥＳ）と判定されるまで、ステップＳ２０７、Ｓ２０８、及びＳ２０９の処理が繰り返し実行されることになる。
【０２７４】
処理装置２２０は、ｍ番目の角に対応する検出範囲の内部にポインタ１３０Ａがある（Ｓ２０９：ＹＥＳ）と判定すると、ポインタ１３０Ａの座標の記録を開始する（ステップＳ２１１）。
【０２７５】
これにより、校正時刻Ｔｋにおけるポインタ１３０Ａの座標（Ｘｋ、Ｙｋ、Ｚｋ）が取得される。ポインタ１３０Ａの座標の記録は、領域設定部２２２によって行われる。
【０２７６】
処理装置２２０は、ｍ番目の角にポインタ１３０Ａが到達したかどうかを判定する（ステップＳ２１２）。ステップＳ２１２におけるｍ番目の角とは、ステップＳ２０９において、検出範囲の内部にポインタ１３０Ａがあると判定されたｍ番目の角である。
【０２７７】
処理装置２２０は、ｍ番目の角にポインタ１３０Ａが到達していない（Ｓ２１２：ＮＯ）と判定すると、ステップＳ２１２の処理を繰り返し実行する。これにより、ｍ番目の角にポインタ１３０Ａが到達するまでステップＳ２１２の処理が繰り返し実行される。
【０２７８】
処理装置２２０は、ポインタ１３０Ａの座標の記録を終了する（ステップＳ２１３）。これにより、図２９に示すように、校正時刻Ｔ２１、Ｔ２２、Ｔ２３、Ｔ２４、Ｔ２５において、ポインタ１３０Ａの座標（Ｘ２１、Ｘ２２、Ｘ２３、Ｘ２４、Ｘ２５、Ｙ２１、Ｙ２２、Ｙ２３、Ｙ２４、Ｙ２５、Ｚ２１、Ｚ２２、Ｚ２３、Ｚ２４、Ｚ２５）が取得される。
【０２７９】
処理装置２２０は、式（４）に基づいて検出範囲１３０Ａ１の半径Ｒａを求める（ステップＳ２１４）。なお、式（４）に基づいて検出範囲１３０Ａ１の半径Ｒａを求める前提として、処理装置２２０は、式（１）、（２）、（３）に基づいて、Ｘ、Ｙ、Ｚ座標の標準偏差ＸＳＤ、ＹＳＤ、ＺＳＤを求める。ステップＳ２１４の処理は、領域設定部２２２によって行われる。
【０２８０】
実施の形態２では、ステップＳ２０７からＳ２０９の処理を繰り返し実行することによって取得したポインタ１３０Ａの座標を用いて、実施の形態１と同様に標準偏差ＸＳＤ、ＹＳＤ、ＺＳＤを求める。
【０２８１】
ステップＳ２０７からＳ２０９の処理を繰り返し実行することによって取得したポインタ１３０Ａの座標の一例は、図２９に示すポインタ１３０Ａの座標（Ｘ２１、Ｘ２２、Ｘ２３、Ｘ２４、Ｘ２５、Ｙ２１、Ｙ２２、Ｙ２３、Ｙ２４、Ｙ２５、Ｚ２１、Ｚ２２、Ｚ２３、Ｚ２４、Ｚ２５）である。
【０２８２】
処理装置２２０は、ステップＳ２０５で設定した検出範囲を削除する（ステップＳ２１５）。ステップＳ２１５の処理は、領域設定部２２２によって行われる。
【０２８３】
処理装置２２０は、ステップＳ２１４の処理を終えると、実施の形態１のステップＳ９からＳ２８と同様の処理を実行する。処理装置２２０は、ステップＳ２８の処理を終えると、一連の処理が終了する（ＥＮＤ）。
【０２８４】
以上のように、実施の形態２のシミュレーションシステム２００によれば、物品１１１の角に設定した検出範囲２１１Ａ〜２１１Ｈを用いて、利用者が操作端末機１３０を操作する際に手の震え等によって生じうるポインタ１３０Ａの位置の変動の標準偏差ＸＳＤ、ＹＳＤ、ＺＳＤを求め、３つの標準偏差の平均値（Ｒａ）を半径とする検出範囲１３０Ａ１を設ける。
【０２８５】
実施の形態２では、標準偏差ＸＳＤ、ＹＳＤ、ＺＳＤは、図２９に示すポインタ１３０Ａの座標と、ステップＳ２１２におけるｍ番目の角の座標とを用いて、実施の形態１において、ポインタ１３０Ａの座標と、校正点１３０Ｘの座標とに基づいて求めた標準偏差ＸＳＤ、ＹＳＤ、ＺＳＤと同様に求めることができる。
【０２８６】
そして、ポインタ１３０Ａの周りに検出範囲１３０Ａ１を設定して、利用者がポインタ１３０Ａを移動させたときに、検出範囲１３０Ａ１の内部に物品１１１又は１１２の角が存在すると、ポインタ１３０Ａを角に移動する。
【０２８７】
このため、利用者は、自身で意図した点に容易にポインタ１３０Ａを移動させることができる。このため、意図する点を容易に指定できるシミュレーションシステム２００を提供することができる。
【０２８８】
以上、本発明の例示的な実施の形態のシミュレーションシステムについて説明したが、本発明は、具体的に開示された実施の形態に限定されるものではなく、特許請求の範囲から逸脱することなく、種々の変形や変更が可能である。
以上の実施の形態に関し、さらに以下の付記を開示する。
（付記１）
画像を表示する表示部と、
前記表示部が前記画像を表示する表示座標系における物品の形状と座標を表す物品データを格納するデータ格納部と、
利用者が手に持ちながら移動させることによって前記表示部に表示されるポインタの位置を操作する操作端末機と、
前記操作端末機の位置及び姿勢を検出する第１検出部と、
前記第１検出部によって検出される前記位置及び姿勢に基づき、前記表示座標系における前記ポインタの第１座標を検出する第２検出部と、
前記第１座標の周りに第１所定範囲の第１領域を設定する領域設定部と、
前記物品データと前記第１領域を表すデータとに基づいて、前記第１領域に前記物品の第１所定部位が含まれるかどうかを判定する判定部と、
前記判定部によって前記第１領域に前記第１所定部位が含まれると判定されると、前記第１座標を前記第１所定部位の座標に移動させる座標制御部と、
前記表示部に表示する画像を制御する表示制御部であって、前記物品データに基づいて前記物品の画像を表示するとともに、前記座標制御部によって移動された第１座標に前記ポインタを表示する表示制御部と
を含む、シミュレーションシステム。
（付記２）
前記表示制御部は、前記ポインタの位置の校正に用いる校正点を前記表示部に表示し、
前記領域設定部は、利用者が前記校正点に前記ポインタを合わせようとして前記操作端末機を操作する際における、前記校正点の前記表示座標系における位置と、前記ポインタの位置との差に応じて、前記第１領域の前記第１所定範囲を設定する、付記１記載のシミュレーションシステム。
（付記３）
前記領域設定部は、利用者が前記校正点に前記ポインタを合わせようとして前記操作端末機を操作する際に、前記校正点の前記表示座標系における位置と、前記ポインタの位置との差を複数回にわたって取得し、前記複数回にわたって取得した差に基づく標準偏差に応じて、前記第１領域の前記第１所定範囲を設定する、付記２記載のシミュレーションシステム。
（付記４）
前記領域設定部は、
前記表示制御部が前記物品の画像を表示するとともに、前記第２検出部によって検出された第１座標に前記ポインタを表示した状態で、前記物品の第２所定部位の周りに第２所定範囲の校正用の第２領域を設定し、
利用者が前記第２所定部位に前記ポインタを合わせようとして前記操作端末機を操作する際における、前記第２所定部位の前記表示座標系における位置と、前記ポインタの位置との前記第２所定範囲内における差に応じて、前記第１領域の前記第１所定範囲を設定する、付記１記載のシミュレーションシステム。
（付記５）
前記領域設定部は、利用者が前記第２所定部位に前記ポインタを合わせようとして前記操作端末機を操作する際に、前記差を複数回にわたって取得し、前記複数回にわたって取得した差に基づく標準偏差に応じて、前記第１領域の前記第１所定範囲を設定する、付記４記載のシミュレーションシステム。
（付記６）
前記座標制御部によって前記第１所定部位の座標に移動された前記第１座標における前記第１領域に含まれる前記物品の第３所定部位を抽出する抽出部をさらに含み、
前記表示制御部は、前記第３所定部位を前記表示部に表示し、
前記座標制御部は、利用者によって選択される前記第３所定部位の座標に、前記第１座標を移動させる、付記１乃至５のいずれか一項記載のシミュレーションシステム。
（付記７）
駆動制御部をさらに含み、
前記操作端末機は、前記駆動制御部によって駆動される可動素子をさらに有し、
前記駆動制御部は、前記判定部によって前記第１領域に前記第１所定部位が含まれると判定されると、前記可動素子を駆動する、付記１乃至６のいずれか一項記載のシミュレーションシステム。
【符号の説明】
【０２８９】
１００  シミュレーションシステム
１１０Ａ  スクリーン
１１０Ｂ  投影装置
１１０Ｃ  ３Ｄ眼鏡
１１１、１１２  物品
１２０  処理装置
１２１  位置検出部
１２２  領域設定部
１２３  判定部
１２４  座標制御部
１２５  抽出部
１２６  映像出力部
１２７  データ保持部
１２８  駆動制御部
１２９  通信部
１３０  操作端末機
１３０Ａ  ポインタ
１３１  筐体
１３２  マーカ
１３３  振動素子
１３４Ａ、１３４Ｂ  ボタン
１３５  ガイドバー
１４０  位置計測装置
１４０Ａ、１４０Ｂ  赤外線カメラ
２００  シミュレーションシステム
２２０  処理装置
２２２  領域設定部
【図１】
2017107388.tif 000009
【図２】
2017107388.tif 000010
【図３】
2017107388.tif 000011
【図４】
2017107388.tif 000012
【図５】
2017107388.tif 000013
【図６】
2017107388.tif 000014
【図７】
2017107388.tif 000015
【図８】
2017107388.tif 000016
【図９】
2017107388.tif 000017
【図１０】
2017107388.tif 000018
【図１１】
2017107388.tif 000019
【図１２】
2017107388.tif 000020
【図１３】
2017107388.tif 000021
【図１４】
2017107388.tif 000022
【図１５】
2017107388.tif 000023
【図１６】
2017107388.tif 000024
【図１７】
2017107388.tif 000025
【図１８】
2017107388.tif 000026
【図１９】
2017107388.tif 000027
【図２０】
2017107388.tif 000028
【図２１】
2017107388.tif 000029
【図２２】
2017107388.tif 000030
【図２３】
2017107388.tif 000031
【図２４】
2017107388.tif 000032
【図２５】
2017107388.tif 000033
【図２６】
2017107388.tif 000034
【図２７】
2017107388.tif 000035
【図２８】
2017107388.tif 000036
【図２９】
2017107388.tif 000037
【図３０】
2017107388.tif 000038