テレビジョン学会技術報告1

視覚と触覚を用いた高次元ボリュームデータの提示手法の提案
Presentation of multiple dimensional volume data by haptic method- ３次元流れ場データの提示 - Application for 3 dimensional Fluid Dynamics -* 野間 春生
Haruo Noma** 岩田 洋夫
Hiroo Iwata

ATR 通信システム研究所

筑波大学構造工学系

ATR Communication System
Research Laboratories

Institute of Engineering Mechanics,
Univ. Tsukuba

Abstract: This paper describes a new method of representation of volume data with haptic sensation.
Recently the volume visualization is often used for analyzing a large number of data. However volume
visualized image uses color or intensity of pixel, thus it is hard to display high dimensional volumedata. We proposed to give force feedback to volume model in several way. And then we constructedpresenting tool for volume data from computational fluid dynamics research.
Key words : volume visualization, parallel manipulator, virtual reality, haptic sensation, force display,
CFD;

1 . はじめに人間には一括処理困難な大量の空間分布型数値データを計算機によって視覚化し、計算機には判断しきれない状況から人間が意味のある解釈を引き出すといった、人間と機械双方の適切な作業分業がボリュームビジュアライゼーション(Volume Visualization:以下VV)技術として実用化されてきた。[1][2] ＶＶはシミュレーションや計測によって得られた多次元空間分布データをユーザーが効率よく処理可能な情報形態に変換して提示する機能を提供する。これまでのVVに関する研究の多くは、主に、目的とする情報を数値データ集合より抽出する手法や、計算機上で効率良く幾何学的な画像情報に変換する手法について進められている。しかし、それらのシステムの多くがデータの表現手段を平面画像上での疑似３次元映像情報に依存しており、基本的には空間的な情報集合から、ある平面に投影可能な部分情報しか表示しえない。従って、一枚の画像から対象情報の空間的な分布状態を十分に認識することは難しく、また、多次元情報の同時提示能力も乏しい。このため、流速などの空間ベクトルデータや高次元のデータをVVによって視覚情報のみで表示することには困難を伴う
これまで本研究では、VVにおける情報提示の最終段階に相当する、ユーザーへの提示手法についての検討を行っている。特に、人間の感覚容量の多くを占める視覚と触覚に対して、体性感覚を反映させた能動的なボリュームデータの提示手法を提案してきた。ここでは、この提案を実現させる手法と装置についてまとめ、それらの具体的な応用例としてヘリコプターのローター回りの流れ場データの提示ツールへの適用についてまとめる。
2 . ボリュームデータ提示へのH a p t i c ssのの導入のH先に挙げたVVの情報提示能力を制約する原因は、前述したように多くのシステムの有するユーザーインタフェースが一般的なグラフィック端末とマウスによる平面に限定されたデバイスである点に帰する。VVで用いられる平面ディスプレイ上での疑似３次元映像の表現は、対象の一側面をある視点から見た投影、適当な断面での内部状態の断面図、または、適当な変換による透視図などによる。当然ながら３次元を有する構造の２次元への投影では(1)空間の１点に表示できる情報がごく低次元に限定、(2)奥行情報の喪失、(3)背面の情報が隠蔽、などの情報欠落が発生し、それらを補うために、複数の投影映像を提示せねばならない。
その映像の切り替えに相当する視点変更や断面移動などの操作入力は、画面上のボタンやスクロールバー等をマウスによって操作して実現する。ユーザーが対象の３次元のイ2テレビジョン学会技術報告
メージを認識するには、これらの時分割映像とそれを制御する間接的な指示情報を元に、ユーザー自身の内的世界での構成能力に大きく依存せねばならず、相応の習熟を要している。
ここで、現実世界での視覚による対象認識過程に目を向ける。そこでは 物を見る には、単に受動的に映像を得るだけでなく、自らが動くことによる対象の見えの変化とその能動的な動き情報の統合が不可欠であるされている。この感覚系による外部世界からの情報と体性感覚による運動系からの内的情報による２重構造の認識機構は、視覚のみならず他の感覚にも有効に働いており、また、この観点に立つ研究分野はHapticsと呼ばれる。
VVシステムにこれまで以上の情報提示能力を付加するには、この感覚統合機構を何らかの形で付加することが有望であると考えられる。それには、これまで数多く研究されてきた人工現実感（VR）の数々の空間志向型のデバイス[3][4][5]を応用し、VVの概念を一歩進めた情報の提示手段を実現することが期待できる。VRシステムの多くが、能動ディスプレイをはじめとする各種感覚チャネンルへの入力装置と空間ポインタを装備している。これらを用い、従来のVVにおいては間接的な画像表示のみであったデータに対して、体性感覚による空間知覚を交えた直接的な認識と操作が可能となり、同時に干渉の結果を視覚と異なる特性の感覚チャンネルを介して提示可能となる。
本研究では、特に図１に示すような視覚と触覚による多次元ボリュームデータの能動的提示手法(Volume Haptization:
以下VH) を提案し実験を行ってきた。これはHMDによる能動ディスプレイと、動作入力装置を兼ねたマスターマニピュレータによる手先への反力提示機構を組み合わせたVRシステム（フォースディスプレイ）によって、視覚と触覚のHapticsを実現している。情報提示手段として視覚情報に力覚情報を付加することで、力覚６次元に対する情報提示能力を得られる。これは単に情報提示次元が増えるにとどまらず、グローバルな感覚器である視覚とローカルな感覚器である力覚の質的な差が相乗効果をもたらすことが期待される。例えば、ある場の認識過程において与えられた複Voxel data Set
A(x,y,z)Force(x,y,z)
Torque(x,y,z)
Fig.1 Concept of Volume Haptization

雑な情報を、まず視覚で全体構造を把握し、しかる後、対象部分を指先の触覚によって、まさに手探りで検索するといった手法が考えられる。
3 . ボリュームデータの力覚提示手法
VVと同様に、VHの課題として適切な表示手法の割り当てに関する問題が挙げられる。力覚は６自由度を有し、３自由度が力ベクトル、もう３自由度がトルクベクトルに相当している。それぞれの自由度に対してを妥当なデータを反映させねば、視覚以上に混乱を招くことは明らかである。
設計方針として、物理量を力に変換する方法を (1)既存の物理現象に見合ったメタファーによって記述する (2)関連の強さによって提示チャンネルをまとめる、ことなど考慮する。
VVで処理されるデータの多くは、データを得るためのシミュレーションの計算方法や実データの計測の方法などの制約から、空間をあるメッシュ構造で分割し、その交点または微小な立方体などがその近傍の状態を代表する形式をとる。この微少構造をボクセルと呼び、ボクセルによるデータ格納を方式をボクセルデータ形式と呼ぶ。
ボリュームデータ集合を格子点でのデータの格納形式に従って分類すると(1)スカラ型(2)ベクトル型(3)多次元複合型に分類される。それぞれについて、可能な力覚表現について以下に提案する。
(1)スカラー型ボクセルデータ
ポテンシャルや大気中の温度といった空間内で位置に依存して一次元の量が決まるデータを力表現するには、次のような方法が提案できる。

F = −α ⋅ gradφ ( x, y, z)(1)

Fi = α ⋅ φ ( x, y, z)(2)

F = −φ ( x, y, z) ⋅ V(3)

ここで、φはボクセルデータを表わす。式(1)は電界における電子が受ける力のメタファに相当する。空間内のポテンシャルの表示などに有効であろうと思われる。式(2)は単純に物理量を任意の力またはモーメントにマッピングしただけのモデルである。式(3)でのVは作業者のポインタの動きであり、速度に比例した反力を生成し、粘性物質のなかで動かしたような操作感を得る。
(2)ベクトル型ボクセルデータ
ボクセルデータが流体力学での速度分布のような３次元ベクトルデータであるとき、次のような力覚化が考えられる。
(4)
F = α ⋅ A( x, y, z )F = α ⋅ A( z, y, z ) × V(5)

ここでAはボクセルデータである。式(4)は直接ベクトルの方向を呈示する力（またはモーメント）の方向にマッピングしたものである。式(5)でのVは利用者のポインタの動きであり、磁界におけるローレンツ力シミュレーションが考えられる。

3

テレビジョン学会技術報告

Photo 1 Force Display System(3)多次元複合型ボクセルデータ
この形式のデータは、計算機流体力学などで頻繁に使われるような、各格子点が速度、温度、密度、圧力といった複合的なデータをもつ場合である。基本的には、前述の方式の組み合わせになるが、単純に組み合わせただけでは混乱を引き起こすことは容易に予想しうる。この対策には、何らかの力学的メタファーを導入するか、データの一部を視覚や聴覚などの他の感覚に振り分ける手法が考えられる。
4 . フォースディスプレイシステム
本研究では、写真1に示すようなフォースディスプレイと呼ぶ、閉鎖型のＶＲシステムを試作した。システム構成を図2にしめす。これはスチュアートプラットフォーム型の6自由度マスターマニピュレータ（写真2）、両眼立体視機能を有するHMD、頭部位置姿勢計測を行うリンク機構を入出力インタフェースとして採用しており、任意視点からの立体CG映像、右手による仮想空間への直接指示入力、力覚情報提示の機能を有する。このシステムによって提示される仮想空間は視覚的には全周方向において実現可能であるが、直接操作可能な領域はマニピュレータの可動範囲限界により直径30cmの半球殻内にあたる。マニピュレータは３つのパラレルリンクと６個の小型DCモーターを効率よく組み合わせ、小型の機構ながら反力と捻りトルクを各軸方向に均等に出力可能である。モーター1個の最大出力が6ｗで、最大提示反力は約17N、捻りモーメントが1.5Nmとなる。使用している計算機は、I/Oを管理するPC(NEC PC9801RA)、および、モデルの管理とCGの生成を行うグラフィックワークステーション(SGI-Indigo2)である。各計算機間は RS232Cで接続されている。
このシステムを用いて生成された反力は静的に重力補償項を含んでおり、デジタル加重計測装置による静的反力計測、および擬似的に生成したバネモデルによる簡単な知覚実験によって力覚提示機能が確認されている。また、この反力に対するユーザーの知覚弁別能力は、反力で0.15N、モーメントで0.049Nmの弁別が可能であることが計測されている。
システムの詳細および基礎的な力覚情報提示実験について
は文献[8]を参考されたい。
5.

3次元流れ場データの提示

5.1

背景と提示対象データ

本稿で提案するVHによる情報提示の応用として、計算流体力学(Computational Fluid Dynamics:CFD)から得られた

Image Generator Subsystem

CCD
CameraUnit

6 D.O.F
Goniometer

HMD
Left

Right

IRIS Indigo2

RS232C

Parallel
Manipulator PWM
PC9801RA

PIO
A/D

Tactile Input and Reaction Force Generator Subsystem
Figure1. Overall configuration of the system

Fig. 2 Overall configuration of the System

Photo 2 Parallel Manipulator

4

テレビジョン学会技術報告
データを提示するシステムを実現した。近年のCFD研究分野では、風洞モデルの限界や計算機能力の進歩、場の支配法則の確立に伴い、３次元流れ場のシミュレーション実験が頻繁かつ手軽に実行可能となってきた。一般にCFDで取り扱う計算格子は典型的なボクセル格子構造をとる。格子点のデータ構造には流体の速度をはじめとする多変数が定義され、支配微分方程式に従って近似計算を作用し、シミュレーション結果を得る。結果の評価は、多くの場合実際の流れの計測結果と各変数を研究者が照合する。対象となる流れ場が２次元であればCRT上で全ての処理が可能であるが、流れ場が３次元であれば、流れの速度ベクトルや渦の生成、圧力やエネルギー分布などの現象も空間的な解析を要する。また時間軸に沿って変化する非定常流れの場合はそれらを時間的にも評価せねばならない。これらを従来のVV技術のみで実現するには、先にまとめた問題に直面し、現状では大量に算出されるデータのうちの一部の特徴的な部分のみの評価を行うことが限界となっている。
これらの背景の基、実際に研究が進められている対象についてVH技術を適用した表示システムを実装した。実装におFig.3 Visual representation of velocity & pressure

ける目標として、ユーザーの体性感覚に矛盾しないように、動作情報をもとにして注目するデータを決定し、同時に、データをユーザーの直感に訴える形式での提示を可能とる環境の実現を目指した。評価対象は、一定速で前進するヘリコプターの回転翼近傍の３次元遷音速非定常流を採用した。これは翼の回転軸付近と先端で大きく相対速度が異なり、また主翼の回転と全体の前進に伴い時間に対する非定常性が大きいデータである。計算格点のデータ構造
は、速度、圧力、エネルギー、密度を保持した約20,000点のボクセルからなり、約1.4Mbyteのデータ量となる。
5.2

情報提示手法

このデータに対する従来の評価方法は、翼面上下面の中央線上での圧力値の変化の評価、及び、計算空間のある断面への速度ベクトルの投影によってなされていた。これはシミュレーションの評価基準である物理現象として、(1)翼面での圧力の不連続変化である衝撃波面 (2)翼近傍での流速(3)翼端での渦形成 を採用しているためである。これらの方法では、提示平面への投影に伴い、投影面に垂直な奥行き方向の情報欠落や、複数のグラフからの現象把握のたFig.4 Visual representation of vorticity

Isosurfaceofpressure
Reaction force

Verocity
Vortex vecoterFig.5 Haptic representation of pressure

Fig. 6 Haptic representation of vorticity

5

テレビジョン学会技術報告
めの習熟などの諸問題が残されている。
ここでは従来の画像による提示手法を３次元に拡張して大局的な情報提示し、力覚情報により詳細で局所的な情報提示を行う手法を採用する。情報の提示手法については、流体力学研究分野からの要請を前述の各項目において考慮した上で決定した。
まず、画像によるデータの提示は、流れの全体の状態を把握することを目指して設計された。図3,図4に提示画像例を示す。図3では、中央の翼の周りに実際の風洞実験などで広く用いられるリボン形式で速度ベクトルを、リボンの色で圧力の分布をそれぞれ示している。また、図４では、翼端部分において、同じくリボン形式により、速度ベクトルから算出される渦度ベクトルを重ね合わせて表示している。
対象の流れ場への視点及び視線方向はユーザーの頭部位置姿勢に連動しており、体性感覚と両眼立体視によってユーザーの体前に臨場感を伴った仮想空間を生成できる。また、図中の球はユーザーの右手先の位置を表し、空間内の直接指示に用いている。なお、一時に提示する格子点はある情報提示断面近傍に存在する物に限定し、その情報提示断面を直接右手で把持しながら移動させ、空間全体を走査する手法を取った。今回の装置では画像更新は毎秒10枚前後を実現している。
一方、力覚情報によるデータ提示法を以下に示す。
(1)圧力変動領域：翼面上に発生する衝撃波面を力ベクトルにより提示する。これは圧力分布のスカラー値に３次元線形補間と空間微分を施し、力覚情報に変換している。これは衝撃波面の提示に壁の触感をメタファーとして導入している。（図5）(2)翼端渦：翼端部分に発生する馬蹄型渦の状態を捻りトルクによって提示する。これは近傍の速度ベクトルに回転の演算を施し、捻りトルクに反映させる。これは渦の提示に流れの中での水車の回転をメタファーとして導入している。（図6）(3)操作支援：力覚情報を空間内での作業での位置基準として活用し、指示動作などにおける操作の確認に有効である。ここでは、翼面への接触感、翼の把持感などを提示している。
また、上記以外の提示機能として、情報提示断面の方向と方式の変更機能（図7）、対象流れ場全体を把持しての姿勢変更と、部分領域の拡大縮小機能（図8）、流線による速度場の評価機能、時間変化を連続動画として表示する機能を付加し、それぞれ左手に保持するコントローラースイッチによって操作される。
5.3

評価実験と課題このシステムを用い、計算流体力学研究室の学生に９名を対象に、学生実験形式でシステムの使用法を解説しながら流れ場のデータ評価を行わせた（所要時間、約１時間）。
実験終了後にシステムに対するアンケートを求めるとともに実験中の発話情報もVTRにより記録した。システム自体の習熟レベルや流体力学の理解の差により、それぞれを定量的に評価することは難しいが、ほぼ全員から流れ場の状態を認識する機能について視覚と触覚が有効に機能しており、一部の機能改善を条件に再び利用したいとの評価を得た。
またアンケートのマイナス評価では、装着機器の重量や可動範囲制限による作業負荷に対する問題が多数を占めていた。今回のシステムは臨場感の生成を優先としたため、完全閉鎖型の仮想環境実現のためのHMDと力覚帰還のためのマニピュレータを利用している。現状ではそれらの物理的制約は避けられない。それらに対して、視覚的臨場感の面では劣るが仮想環境を液晶シャッター眼鏡を用いた開放型のVR装置の利用や、マスタースレイブシステムの研究でのより高機能のマスターハンド等の導入などが検討される。
これは、仮想空間の臨場感と実現性や作業者への負荷とのトレードオフを意味しており、最適な構成を検討していくことがこれからの課題のひとつとなる。
5.4

今後の展望

最先端の航空機設計では風洞によるモデル実験は非現実的な物になりつつある。シミュレーションではソフトウェアの設定次第でどのような状況も再現可能であり、また計測が現象に影響を全く及ぼさない理想的な実験環境を提供でChanging direction of plane
YZ(KI)

Enlargement

XY(KJ)

Dragging

Changing policy

YZ(JI)X-Y-Z

Reduction

I-J-K

Fig.7 Control of cut plane

Fig.8 Control of Volume Field

6

テレビジョン学会技術報告

modeling

Makingvoxel grid

Setting
Boundary&Initialconditions

Calculate

AnalysingFig.9 Method of CFD research
きる等の、多くの利点を有しながらも、前述のように、取り扱うべき膨大なデータ量に対して、必ずしも適切な処理手法が確立されてはいない。
CFD研究の手法をまとめると、一般的には図９に示すような手順を踏む。まず対象となる流れ場の数式モデルを決定し、次にモデル連続空間を適当な計算格子に分割し、空間の境界条件と初期条件を設定する。この後、差分による微分方程式演算を繰り返す計算過程を経て、結果の解析を行う。結果次第で先の格子分割や環境条件設定を修正しさらに計算、解析を繰り返えす作業が行われる。特に、格子構造や初期設定値がシミュレーション結果を大きく支配する傾向があり、トライ＆エラー的に各種の設定での計算を行いながら最適なパラメータを調整せねばならない。現状ではこれらの作業は全て計算機のプログラム上に数学的な記述でなされており、その代数的定義から幾何的な構造を把握する点でも困難が生じている。
今回のシステムでは、大量の計算結果の評価をVH技術を導入した仮想空間で行うことを検討してきたが、CFD研究ではさらに前準備にあたる計算格子や境界条件の設定などの過程にも、同様の機能拡張が検討できる。これらには実用化されている建築系３次元CAD技術とVHの特徴を生かした、仮想作業空間での格子形状編集システム等が期待される。
また、今回用いたデータの近似計算にはRISC-EWSで約24時間を要するが、仮に計算機の速度が1500倍に向上したとすれば、この計算は１分で終了することが見込まれる。これは現在のスパーコンピュータークラスの処理能力に等しく、最近の最近の計算機技術の進歩から考えれば必ずしも実現不可能なレベルではない。この能力を駆使すれば、CFD研究の諸段階を全てVRによる仮想風洞でインタラクティブに処理可能となる。仮想風洞内部では現象の表記は数式によるものではなく、実際の風洞で実験を行うかのごとく、CFD研究の専門家でなくともシミュレーションの実行が可能であろう。
6 . 結論本研究では高次元ボリュームデータの提示手法として、人間の能動的知覚機能、特に視覚と力覚について着目したVolumeHaptization 技術について提案し、実現のためのフォースディスプレイを試作してきた。本稿では、その試作システムを用いた3次元流れ場データ提示システムの構築について述べた。
流体研究者を対象としたシミュレーション評価の模擬実験で得たアンケート結果により、このシステムでの視覚と力覚の有効性は確認された。同時に、試作機での作業性は機器の装着感などの負担により、改良の余地が残されていることも確認された。臨場感を損なうことなしに、ユーザーの負担を軽減するシステムの開発は、今後の課題となる。
また、CFD研究の各段階を全てVHシステムによる仮想風洞内で処理する点についてもまとめた。シミュレーション研
究は、高度化するにつれ処理すべき情報量も膨大な物になり、本稿で提案したような、なんらかのインタラクティブな処理機構は不可欠な道具になるであろう。
謝辞
この研究は筑波大学在学中に岩田助教授の指導の下で行われたものであり、流れ場データは筑波大学計算流体力学研
究室の吉澤教授より提供を受けた。また発表の機会をいた
だいたATR通信システム研究所岸野室長に感謝いたします。
参考文献[1]Arie Kaufman "Volume Visualization" IEEE Computer
Society press ISBN 0-8186-9020-8,(1991)[2]Daniel Thalman "SCIENTIFIC VISUALIZATION AND
GRAPHICS SIMULATION " WILEY ISBN 0-471-92742-2
ch. 6[3]H.Iwata "Artificial Reality with Force-feedback:
Development of Desktop Visual Space with Compact MasterManipulator" ACM computer graphics, vol. 4, num. 4,
August 1990,pp 165-170[4]F.P.Brooks,Jr., "Project GROPE-Haptic Display for
Scientific Visualization" ACM computer graphics, vol. 4,
num. 4, 177/185 (1990)[5]小木、広瀬 風覚ディスプレイによるデータの提示環
境 ,第８回ヒューマンインタフェースシンポジウム論文集、413/418(1992)[6]樋渡 涓二人間情報工学 コロナ社(1979)[7]H.Noma,H.Iwata "Presentation of multiple
dimensional data by 6.D.O.F force display" IEEE/RSJ IROS
'93 vol.3 July 1993 pp.1495-1500[8]野間,岩田フォースディスプレイを用いた高次元ボ
リュームデータの力覚表現 、第９回ヒューマンインタ
フェースシンポジウム論文集、121/128(1993)[9]Noriaki ITOGA,Yoshimasa YOSHIZAWA :Numerical Calculations of Forward-Flight Rotor
Flowfierldsﾓ The 5th International Symposium on
Computational Fluid Dynamics vol.1 346/369 (1993)*ATR通信システム研究所〒619-02 京都府相楽郡精華町光台2-2**筑波大学構造工学系〒305 茨城県つくば市天王台

Tel: 07749-5-1211
Fax:07749-8-2013

Tel: 0298-53-5196
Fax:0298-53-5207