広視野電子作業空間に関する考察とシステム試作～マイノリティ・リポート型 I/F とその発展形
木村 朝子，鶴田 剛史，酒井 理生，鬼柳 牧子，柴田 史久，田村 秀行
立命館大学 情報理工学部
あらまし 近未来社会のヒューマンインタフェースとして，映画『マイノリティ・リポート』に登場する広視野ディスプレイとジェスチャ操作の組み合わせを考える．本研究ではまず，広視野電子作業空間に適した作業の想定と分類から始め，ジェスチャ・コマンドの種類と水準を考察した．ついで，スクリーン上の広視野電子作業空間を立体映像表示，実物体の導入等により，実世界指向の複合現実型作業環境へ発展させた「MR キューブ」の機能を考察した．最後に，ビデオ編集と医用画像の閲覧・管理を題材としたシステムを試作し，広視野電子作業空間とジェスチャ型インタフェースを組み合わせた MR キューブシステムの有用性と操作性について検証した．
キーワード 次世代インタフェース，ジェスチャ操作，広視野ディスプレイ，複合現実感

Design and Implementation of Wide-view Electronic Working Space－“Minority Report”-Style User Interface and Its Extensions－Asako Kimura, Takeshi Tsuruta, Toshio Sakai, Makiko Oniyanagi,
Fumihisa Shibata, and Hideyuki Tamura
College of Information Science and Engineering, Ritsumeikan University
Abstract This paper describes a design and an implementation of a wide-view display controlled with a gestureinterface system, such as appearing in the SF-movie “Minority Report.” Firstly, we categorized the tasks at
wide-view electronic working space, proposed the level, and type of gesture commands. Then, we designed “MRcube” as a mixed-reality working space oriented real world by a stereoscopic vision and use of tangible objects.
This paper proposed two prototype systems; the video editing system and the medical image management
system for. The results show the usability and operability of interface by gestures.
Keyword Future CHI，Gesture Command, Immersive Display, Mixed Reality
1. はじめに20 世紀末に急速に普及した WIMP 型ユーザインタ
フェースの全盛の中で，その限界を超える様々なユーザフレンドリーなヒューマンインタフェース(HI)の研究が活発化している．とりわけ，実世界指向インタ
フェース，タンジブル・インタフェースの研究成果[1][2]には，未来への可能性を感じさせるものが少なからず存在するが，まだ一般に広く普及する汎用的なものにはなっていない．
筆者らは，近未来社会でどのような HI が広く受け入れられるか，SF 映画の中にそのヒントが隠されていると考えた．科学的実現性が全くない荒唐無稽なものも存在するが，多くは「実現できるならば，こんなものが欲しい」という人間の自然な願望を素直に描いたものだからである．古典的名作『2001 年宇宙の旅』(1968)
や最近の『A. I.』(2001)『マイノリティ・リポート』(2002)『アイ，ロボット』(2004)などは，電子情報工学の専門家，未来学者の意見を積極的に取り入れて製作されているので，未来技術予測のある種の可視化結果となっていると考えられる．
我々は，この中から映画『マイノリティ・リポート』（20 世紀フォックス映画&ドリームワークス映画，S・スピルバーグ監督）を選び，湾曲した半透明の広視野
ディスプレイに向かって主人公が行なうジェスチャ操
作に着目した．一般観客の評判も良く，大型壁掛けディ
スプレイが普及すれば，この種の HI は一般用途で十分あり得る近未来だと思われるからである．
指さし動作を HI とする試みは，約四半世紀前に MITMedia Lab.の「Put-That-There」[3]が登場したが，本格的なジェスチャ操作には発展しなかった．最近，卓上の作業環境に対しては類した操作の実現例[4-6]が発表されているが，映画本編のイメージとはかなり異なっている．我々は，もっと映画に似た形状のアーチ型ス
クリーンを用い，この上に広視野電子作業空間を実現
し，広視野電子作業空間とジェスチャ操作を組み合わせたシステムの操作性・有効性を HI 学の視点から評価することにした．
本論文では，まずこうした広視野電子作業空間に適した作業の想定・分類から始め，ジェスチャ操作で達成すべき基本的コマンドの種類と水準を考察する．次に，映画内での描写に捕われず，3D-CG の利用，立体映像表示，複合現実型作業環境へと拡張させた発展形を考える．
そして，実際にこれを実装・実現するシステム環境に関して述べ，まずシステム試作事例として実現した 2 つの試みに関して報告する．

2. 広視野電子作業空間とジェスチャ入力に関する考察
2.1 『マイノリティ・リポート』の分析
映画『マイノリティ・リポート』には，透明な硝子状の記録メディア，投射型ホログラム状のディスプレ
イ，未来交通システム等，多彩な未来技術が登場する．
我々が注目したのは，主人公のアンダートン犯罪予防局主任（トム・クルーズ）が捜査業務で，半透明の広視野ディスプレイに対して，両手にグローブ状のデバイスを装着し，指と掌で複数の映像素材を操作する様子である．この映画に登場する機材は，かなりファッション性を重視したデザインなので，それを割り引いて機能的に分析すれば，複数のシーンで見られる上記の操作は表 1 のように整理できる．
ホワイトボードをメタファとした大型モニタにペン型入力を用いるシステムは，これまでにも数多く研究
さ れ ， 市 販 製 品 も 存 在 す る [7][8]． ス テ ィ ッ ク 状 のWAND デバイスを用いた研究例も報告されている[9]．
いずれも解像度的には，現存の PC の枠を超えていない．
一方，上記の映画では，もっと広視野のディスプレイ
で電子作業空間を構成し，身体的動作による直観的で円滑なユーザインタフェースを実現することを重視しているものと考えられる．
表 1『マイノリティ・リポート』に登場する操作
ファイル操作

選択，移動，拡大，縮小，コピー，カット，ペースト

映像の再生操作

巻戻し，早送り，コマ送り，一時停止，シーンの分割

映像内での視点移動操作

ズームイン，ズームアウト，
回転，カメラ視点の移動

その他の操作

起動，終了

2.2 広視野電子作業空間に適した作業
1970 年代のワークステーション研究に端を発するデスクトップ・メタファは，マルチウィンドウという革新的な情報提示手法を完成させた．しかし，PC で行な
いたい作業が増加するにつれ，次第に窮屈なものになって来た．コンピュータ・モニタの大型化だけでは，
この不満を解決できず，早晩もっと広い電子作業領域が求められると予想される．
利用者が没入感を感じる「イマーシブ・ディスプレ
イ」は，現在でもバーチャル・リアリティ(VR)分野で活用され，そのほとんどは 3 つ（あるいは，それ以上の）プロジェクタで映像を同時投影している．家庭用の大型 TV モニタの低価格化が進めば，この種の広視野
ディスプレイを数々の日常業務で用いることも現実味を帯びてくると思われる．
我々はそうした近未来を予想し，広視野電子作業空間が存在すれば，そこで効果的に実行できるであろう
作業内容を考えた（表 2）．図 1 は，実際の医師のアドバイスを得て想定した広視野電子作業空間での医用画像の閲覧・整理作業のイメージ図である．近未来，病院内の医師のオフィスではこのような光景が実現するものと考える．
広視野の作業領域で行ないたいという希望が出た作
業内容を整理すると，横長の大型クリップボードや大きな長机の上をメタファとした作業が多く見られ，下記のような特徴を有していた．
・ 多種・多様なデータの一覧
・ 多数のデータの整理・分類
・ 大きいデータや，複雑なデータを大きく表示
・ 沢山の補足資料を見ながらの作業
表 2 広視野電子作業空間に適した作業の例
作業／システム名内容

マルチメディア・プレ
イヤー

多様なマルチメディア・データ
を並べ，選択・再生する

データ整理システム

多数のデータを並べて，分類・整理する

地理情報システム

比較的広範囲の地図データを閲覧し，その上で各種作業する

安全監視センター

ビルや工場内に多数設置された監視カメラやセンサの情報を，
3D レイアウト図を活用しながら適宜切り替えて安全確認する

組み立て・解体・解剖の訓練システム

工場・建築・医療現場等での組立て・解体，解剖の訓練を行う

戦術シミュレーショ
ン

団体スポーツにおける戦術パターンを視認し，協議する

動画編集システム

複数の動画データベースを閲覧しながら，整理・編集する

グループスケジュー
ル管理システム

沢山のメンバーのスケジュールを一覧しながら，作業調整やプ
ロジェクトの進捗管理を行う

ファッションコー
ディネート・システム

多数の洋服を並べ，ファッショ
ンコーディネートを行う

図 1 医用画像の閲覧・整理システム作業イメージ図
2.3 ジェスチャ入力によるコマンドセットの考察
こうした広視野での作業の HI にジェスチャ操作を導入しようというのは，極めて自然な考え方である．大きく両手を広げたり，時には歩き回るという身体行為を伴うことも，狭い画面内の作業からの解放感を与え
未来型 HI としての期待を抱かせる．
ジェスチャ操作では，腕・手・指の動きのバリエー
ションにより，現在のマウス操作によるポインティン
グとクリックによる実行指示の他に，多様なコマンドを表現することができる．しかしながら，ジェスチャの種類を多くすると，ユーザが覚えきれず，作業能率が低下するため，なるべく少数で覚えやすいコマンド
セットにすることが望ましい．
また，HI としてのジェスチャ操作は，これまで個別の応用毎に考えられてきた傾向がある．我々は，表 2に示したような各種業務を類型化・抽象化して考え，

り操作するものであると言える．ディスプレイが透明であることに本質的な意味はなく，通常の前面もしく
は背面投射型のスクリーンで同等の作業は達成できる．
広視野の電子作業空間での作業能率に関しては，
ジェスチャ入力が，スティック状デバイスや他の対話入力手法と比べて操作性・安定性で勝っているかの評
価も研究対象となる．一方，表示と操作空間に関しては，表 4 のような拡張・発展形が考えられる．

それに適したジェスチャ操作も基本的な共通のコマンド体系をもつべきであると考えた．
表 3 は，こうした考えに基づいて設定したコマンド
セットの水準である．この水準は，様々な作業間での共通性とジェスチャ操作の対応づけを考慮して，以下のように定義した．
表 3 コマンドセット
水準

操作例

第 1 水準選択，確定，解除，移動，回転，拡大/縮小

第 2 水準

複数選択，Undo，削除，コピー，ペースト

第 3 水準ムービーなどメディアデータの操作・編集◆レベル 1
基本となる広視野ディスプレイへの 2 次元映像の複数表示を扱う．記録済み動画像の再生だけでなく，
3D-CG で描いた仮想物体の映像も操作が考えられる．
また ネットワーク結合した LAN，WAN 内に存在するオブジェクトも同等な対象になる．さらには，遠隔地のライブ映像を表示するのも，HI 的にはこのレベル内
でのバリエーションである．

・ 「第 1 水準」は，最も共通性の高い（即ち，応用に非依存の）コマンドセットである．「選択」「移動」など，日常実物体に対しても手を使って行うコマンドであり，覚えやすく，紛れのない自然なジェスチャ操作に対応できるものを選んだ．
・ 「第 2 水準」もまた応用非依存の共通性の高いコマ
ンドセットであるが，第 1 水準より利用頻度のやや落ちる操作，実物体に対する直接操作が定義できな
いものがこれに当たる．「Undo」「コピー」など，電子的操作でよく使う操作は後者の典型例である．
・ 「第 3 水準」は，特定の応用領域に依存したコマンドセットである．文字セットの「外字登録」に相当する概念で，熟練者が頻度高く利用することにより作業効率が向上するような操作を個別に定義する．
手の直接操作と対応できない「第 2 水準」「第 3 水準」のコマンドは，ジェスチャ操作との対応を考える必要がある．この対応は，単純なジェスチャの組み合わせで達成するか，複雑なジェスチャを定義するかは議論の分かれるところである．本研究では，このコマンドセット水準の概念を，具体的なジェスチャとの対応づ
け，そのジェスチャの認識手法とは切り離して考える．
実際のアプリケーションでこの 3 つの水準のジャス
チャ・コマンドをどう定義するかの事例は，試作シス
テムの項で後述する．

3. MR キューブ：マイノリティ・リポート型 HIとその発展系
映画『マイノリティ・リポート』に描かれた情景は，
デザインの斬新さを無視すれば，アーチ型スクリーンに複数の 2 次元映像を表示し，これをジェスチャによ◆レベル 2偏光，液晶シャッタ方式による立体映像表示は，イ
マーシブ・ディスプレイとの組み合わせで，容易に実現できる．これにより，スクリーン手前に飛び出した
3D オブジェクトを操作でき，眼前の空間も作業環境となる．
WIMP 型がデスクトップ・メタファであるならば，
この奥行きをもった広視野空間は部屋のメタファになり得る．大きな作業ボードであるスクリーンの他に，
3D-CG で描いたごみ箱や戸棚を空間的に配した部屋を想定できる．その中で戸棚の中の仮想物体を取り出したり，不要な電子書類を足下のごみ箱に向かって投げ捨てる，といった日常手慣れた身体的動作で円滑に操作する発展形が考えられる．
◆レベル 3電子的に配置して視認できるだけの CG 製のごみ箱やファイルキャビネットではなく，実物の棚やごみ箱などの什器，プリンタ，スピーカといった出力機器を手の届く場所に配し，データを実世界の棚に格納したりごみ箱へ捨てたりといった連携を行うこともできる．
これは仮想世界と現実世界を融合する複合現実空間を構成したことになる．複合現実感(Mixed Reality)[10][11]は，人工現実感の発展形として研究が活発な分野であるので，その研究成果も盛り込むことができる．作業者にとっては実物が良いか，仮想物の方で十分かの検証も研究対象となる．

表 4 MR キューブシステムのレベル分け
レベル 1

レベル 2

レベル 3

レベル 4

広視野のワイド画面に 2次元画像等の多数の電子データを配置し，ジェス
チャ・コマンドでこれを操作する．

立体映像表示機能をもつ．ワイドスクリーンから利用者までの飛び出した 3D 空間も作業領域にできる．

レベル 2 に加え，ファイルキャ
ビネット，ごみ箱等の実物体を配置する．センサやスィッチをつけて，実世界から仮想世界に影響を及ぼす．

現実と仮想が融合した複合現実空間を作業領域とする．複数人で体験でき，
スクリーン型よりも移動の自由度がある．

実物体を配置するだけでなく，引き出しにセンサをつけて開閉を検出したり，スピーカのスイッチのON/OFF が現実世界にも仮想世界にも影響を及ぼすタ
ンジブル I/F への発展も考えられる．日常使い慣れた実物体を使用し，そのアフォーダンスを活かすことは実世界指向の直観型 I/F[12]として興味深い対象となる．
◆レベル 4
スクリーン型でなく，シースルーHMD を装着する本
格的な複合現実感システムを導入して，広視野電子作
業空間を構築する展開も考えられる．レベル 3 までは，
スクリーンの正面に立つことが前提であるので，比較的大きなジェスチャをするとはいえ，操作体験場所は限定されている．HMD 装着型の体験であれば，もう少し移動の自由があり，それだけ広い作業領域を取ることができ，直感的な動作が可能になる．複合現実感シ
ステムの可搬化，ウェアラブル化が進めば，自由に歩き回った空間すべてが作業空間となる．
以上の全レベルに対して音声コマンド，レベル 2 以
降には 3D サウンド，触覚入出力の導入も考えられる．
こうした拡張・発展を考えたこの種のシステムの総称を 「 MR キ ュ ー ブ 」（ MR3 ＝ Minority Report-style
Movement and Reaction in Mixed Reality space）と呼ぶことにした．

4. MR キューブを支える基本システム構成
4.1 アーチスクリーン型立体映像表示システム
上述した様々なレベルの「MR キューブ」を実現する
ベースとなるシステムとして，図 2 に示すハードウェ
ア構成の立体映像表示システムを導入した．
広視野没入型ディスプレイとしては，高さ 1.8ｍ，弧長 6.8ｍの大型アーチスクリーンを用いており，液晶
シャッタ眼鏡を用いることで，左右視差による立体視が可能である．計 3 台のプロジェクタ（CDS 社製のDLPMirage6000）を用いることで，アーチスクリーンの
正面，左，右の部分を投影している．正面，左，右の映像が重なる部分は湾曲補正装置を用い，境目をブレンディング処理している．
DLPMirage6000 は時分割立体視に対応しており，1 台のプロジェクタでステレオ表示が可能である．このステレ オ 映 像 を ， 液 晶 シ ャ ッ タ 眼 鏡 （ CrystalEYES 社
CrystalEYES3）を用いて見ると，赤外線エミッタによる信号に応じて，液晶メガネのシャッタが開閉し，右目と左目用の映像が交互に映し出され，両眼立体視が可能で
制御信号

同期

正面用
右面用 プロジェクタ

正面用

同期

エミッタ

湾曲補正
装置

右面用

アーチスクリーン

左面用

映像信号

左面用

ある．
3 台のプロジェクタで出力される映像はそれぞれ右面，正面，左面用のグラフィックス・ワークステーションで同期を取りながら生成される．投影映像の開発環境
は Visual C++で，OpenGL ライブラリと，米イリノイ大学が開発した VR 空間を構築するための API である
CAVELib を用いている．このライブラリを用いること
で，アーチスクリーンに対する左右眼用の画像生成や座標変換，磁気センサからの信号処理をプログラミングすることができる．
後述のジェスチャ入力のために，両手の位置姿勢を検出 す る の に 磁 気 セ ン シ ン グ ・ シ ス テ ム （ Ascension
Technology 社製 Flock of Birds）を用いる．センサの計測
範囲は半径 1.2m の半球内で，この磁気センサにより得られた情報は，トラッキング用 PC に取り込まれ，グラ
フィックス・ワークステーションに伝えられる．
4.2 ジェスチャ入力用手袋デバイス
ジェスチャ入力とその認識手法についてはこれまでにも数多くの研究[13]がなされているが，本研究では，
広視野電子作業空間とジェスチャ・コマンドセットを組み合わせたシステムの操作性・有効性を HI 学の視点から検証することを目的としているので，認識手法そのものの高度化は目標とせず，まずは安定して利用できる比較的容易な方法を採用した．
ジェスチャ入力用には，伸縮性のあるビリヤード用のグローブを購入し，これを加工して手袋状のデバイスを試作した．このグローブは親指，人さし指，中指の 3本の指のみを覆っている．これは映画『マイノリティ・リポート』に登場する手袋型デバイスでも同様であり，手の自然な動きを妨げることなくハンドアクションができる．
本研究でのジェスチャ認識では，磁気センサによる手の大まかな位置姿勢の検出と，指先につけた赤外線発光ダイオード(LED)を用いた手指のアクションの識別という 2 つの方法を併用する．グローブで覆われた 3 本の指先の先端にそれぞれ 1 個の赤外線 LED と手の甲の部
分に前述の磁気センサと LED 用の電源を取り付ける（図 3）．この他には特別な電子部品を取り付けず，単純な回路構成を実現している．またグローブ自体は黒色
で環境光を反射させることなく，赤外線 LED の領域のみを検出できる．
赤外線 LED 領域を検出するために，アーチ型スク
リ ー ン の 前 面 下 部 に ビ デ オ カ メ ラ (Sony Network
Handycam DCR-TRV70K) を設置した．カメラには赤外
線透過フィルタが取り付けられ，ジェスチャ認識用 PC
で画像認識処理を行なう．
赤外線 LED

ジェスチャ
認識用カメラ

磁気センサ
液晶シャッター眼鏡

グラフィックス
ワークステーション

磁気センサ

手の位置・姿勢情報
Flock of Birds
トラッキング用PC

ジェスチャ
認識用

トランスミッタ

手の位置情報→←ジェスチャ認識結果

図 2 システム構成図

図 3 ジェスチャ入力のための手袋デバイス

4.3 第 1 水準コマンドセットの実現
上記デバイスを利用した第 1 水準のコマンドセットの実装を行なった．コマンド機能とジェスチャ操作の対応づけは表 5 に示す通りである．
ジェスチャ認識処理は，以下のような手順で正面から見えている LED の領域の数を片手毎にリアルタイムに検出し，それぞれの手の形状を推測している．
(1) 右手・左手の領域の検出：磁気センサから計測された右手・左手の位置・姿勢から画像内の右手・左手の領域を大まかに検出する．
(2) 背景差分：入力画像の(1)で推測した領域に対して，事前に取得しておいた背景画像との差分処理を行い，環境光の影響を排除する．
(3) 2 値化：濃淡画像の 2 値化処理を行い，赤外線 LED領域を検出する．
(4) 連結成分のラベリング：ラベリングにより，得られた領域の数，その領域の重心を求める．
(5) 手の形状の推測：ディスプレイに対して手を開いている場合，2 個以上の LED 領域が検出される．一方，ものを掴むように指先を閉じている場合は，3 つのLED が重なり合い 1 個の LED 領域として検出される．
以上の処理で得られた手の形状（LED 領域の数）と磁気センサから得られる手の位置姿勢情報により，図 4の状態遷移図をもとにジェスチャ・コマンドを決定す
る．認識されたコマンドはグラフィックス用 PC に伝えられ，コマンドに応じて CG データが制御される．

5.1 ビデオ MR キューブ：映像再生・編集システム
我々の目指す広視野電子作業空間でのジェスチャ入力型 I/F の基本コマンドの検討および，その有用性・操作性を確認・検証する第 1 ステップとして，映画『マイノリティ・リポート』中に見られる映像再生・編集操作に類したシステムを試作した．このシステムは 3章で述べた MR キューブのレベル 1 機能に相当するもので，「ビデオ MR キューブ」と名付けた．
［機能概要］
映画中では，未来予知能力者の脳内イメージを可視化した映像の再生・編集に加えて，映像内で自由な視
点移動も実行されている．超能力者でない我々には未

遷移

片手
選択
③
(grasp1)⑬(move)⑭(rotate)片手確定⑤(overlap2)⑥(remove2)④(release1)⑮(move)

両手
選択

⑦⑩⑪
⑫
(release1)

⑨
⑬

⑩
両手
(release2) 確定⑮⑪(grasp1)⑧(remove2)⑦(overlap2)

②
①④⑥
③⑧
⑤⑫

Ready

②
(remove1)

表 5 第 1 水準のジェスチャ・コマンド
コマンド
ジェスチャ

選択

確定

解除

移動

5. システム試作例①(overlap1)

来予知は望むべくもないので，ここでは，蓄積された通常の映像の再生・編集機能に留めた．
本システムの操作風景を図 5 に，操作画面例を図 6に示す．作業空間はアーチスクリーン上の 2 次元面のみとし，立体映像は利用しない．中央画面が「再生・編集領域」で対象となる映像が大きく表示され，その下に映像の再生時間と時間軸，および再生中の前後数

片手確定
片手選択

⑨
(grasp2)⑯(rotate)⑭⑰(scale)

⑯
⑰

回転

拡大・縮小

1 つの物体に対する条件
手の位置姿勢LED の領域数
物体と手が重なっていない
2 個以上（片手 1）
ある物体と片手 1 が重なっている
1 個（片手 1）
2 個以上（両手）
1 個(片手 1）
ある物体と両手が重なっている
2 個以上（片手 2）
1 個（両手）1 個（片手 1）
手が動いている
1 個(片手 1）
2 個以上（片手 2）
1 個（片手 1）
手が回転している
1 個(片手 1）
2 個以上（片手 2）
手が動いている

図 4 ジェスチャ認識アルゴリズム

1 個（両手）

コマンド
選択なし
片手選択
片手確定
両手選択
片手確定
片手選択
両手確定
移動

回転
拡大・縮小

コマが表示される．左右両サイドの画面は，それぞれ「動画データの一覧表示領域」「作業中ファイルの一時退避領域」で，サムネイルが表示される．また，ス
クリーン外部下方の見えない部分を，映像を捨て去る「ゴミ箱領域」と設定した．
本システムで採用した映像の編集の操作コマンドを
表 6 に列挙した．また，操作補助として，カーソル位置を表示する視覚フィードバックと，作業に応じたサ
ウンドを発生する聴覚フィードバックを実現している．
[ジェスチャ・コマンドの実装と考察]
ジェスチャ操作の基本セットは，表 5 の第 1 水準コマンドであるが，本システムでは，「回転」「拡大・縮小」
コマンドは利用していない．第 1 水準コマンドの選定は事前に行なっていたが，ジェスチャ操作との対応，認識
アルゴリズムの実装は，本システムの開発がフィード
バックをかけることにより，安定化が図れた．表 6 のコ
マンドの実現に関する検討とその後の考察は以下の通りである．
・ 直観的に実物体を操作するかのような感覚といっても，画面上の映像オブジェクトは手が届く範囲にある訳ではない．人間が近づくという選択肢もあったが，ここでは恰も差し出した手の方向に手が伸びている
かのような操作性を与えた．マウスでカーソルを移動するよりは，直観的で操作感が高いとの評価を得た．
・ 動画の早送り，巻戻しや分割といった，第 3 水準の操作についても，ジェスチャの総数を少なくするために，今回は第 1 水準のジェスチャの組み合わせで行った．1 回の作業で何度も行う様なコマンドについては，
専用のジェスチャを設けた方が便利なのではという意見もあり，まだ検討が必要である．
・ 表 6 の上半分の「再生」「一時停止」「早送り／巻戻し」は，ビデオ操作ならではコマンドで，ビデオデッ
キにあるボタンに相当する．この第 3 水準のコマンドを，この試作システムでは専用の複雑なジェスチャを定義せずに，第 1 水準コマンドをベースに，その組み合わせ，移動速度，移動先の領域の意味付けによって実現した．複雑な指動作をコマンド化するには，高精度のジェスチャ認識が必要となる．今回は，覚える
ジャスチャが少なく，安定してすばやく動作することを優先した．
・ 残る 3 つのコマンド「分割」「統合」「削除」は，他の応用でも想定できるので，本システムでは第 2 水準と位置づけた．この場合も，第 1 水準コマンドをベースにジェスチャ操作を定義した．しかし，「分割」は「両手で引き裂いてちぎる」もしくは「手刀で切る」，「統合」は粘土を両手でくっつけ合わすかのような行為の方が直観的であり，これらを第 1 水準に昇格させるべきとの意見も出て来た．もっともであり，今後の要検討課題である．
・ 本システムは，12-13fps の動作速度で稼動しており，
何人かに編集作業を体験してもらったところ，遅延を気にすることなく，スムーズに編集操作が進むことが確認できた．
5.2 メディカル MR キューブ：各種医用画像の閲覧・整理・所見管理システム
もう 1 つの試作システムは，MR キューブのレベル 3までを目指すものである．ここでは，広視野電子空間
で沢山のデータを扱う際に，必要な情報に効率よくアクセスできるようにするために，(1)データの 3D 配置と(2)実物体を活用した作業空間の設計を行い，これらが作業効率の向上に役立つかを評価・検討することを目的としている．
具体的な対象を選ぶことで，問題点の抽出，有用性の検討がしやすくなり，近未来に実用に供することも
表 6 動画再生・編集用ジェスチャ・コマンド
コマンド
再生

一時停止
早送り
巻戻し
分割

統合

削除

図 5 ビデオ MR キューブの操作風景

ジェスチャを利用した操作
一覧表示領域に表示されている動画のサムネイルを作業領域に「移動」，作業領域に何もなければ再生が始まる
再生中の動画，または作業領域下の再生中の動画のコマ送り画像を「選択」「確定」する
作業領域下のコマ送り画像を左右に「移動」
すると，移動速度に応じて早送り，巻き戻しされる
再生中の動画，または作業領域下のコマ送り
画像の左右両端を両手で「選択」「確定」し，
手を左右に離すと，一時停止中のコマの前後で分割される
一時退避領域にある動画を，作業領域で再生中の動画の上に重ねるように「移動」すると再生中の動画の後ろに重ね合わせた動画が統合される
作業領域または一時退避領域の動画を，スク
リーン外下方のゴミ箱領域に「移動」する

図 6 ビデオ MR キューブの画面例

期待できる．多種多様な画像データが存在し，立体映像表示が重要な意味をもち，かつ専門家の意見を得やすいという理由から，ここでは対象として医用画像を扱うことにした．既に図 1 に示したのがそのイメージであり，本システムを「メディカル MR キューブ」と名付けた．以下，本試作システムの概要と現状である．
［想定対象分野］
対象は，病院内で利用される各種医療用画像で，日々増加するデータを能率よく閲覧・整理し，診断所見も管理できるシステムを目指す．同一病院内の医局間を結ぶだけでなく，近未来には PACS (Picture Archiving
and Communication System)が実用化されていて，遠隔地にある他病院の保管データも高速ネットワークでアクセス可能と考えられる．そうした統合管理システムの一部として本システムが活用されることを想定する．
各種検査結果のデータ（血液検査・生理機能検査・画像検査），専門医による手術現場の映像，3D ボリュー
ム・データの他に，VR/MR による手術シミュレーショ
ン，カルテ，投薬履歴なども表示対象となる．
体験者は，データの整理・分類を担当する若手医師や検査技師を想定している．日々の多忙な医療業務の中で，多種多様なデータを手際よく扱えることが望まれている．一般オフィス等に比べて，コストは大きな要因でなく，操作性・安定性・作業能率が重視される．
［機能概要］(1) データの 3D 配置
スクリーンから体験者までの 3D 空間も活用するのが特長であるが，前面投影方式であるため，頭から上の四角錐領域内しか視認できない．このため，オブジェ
クトを自在に配置できる 3D 領域ではなく，奥から手前に向けて多層の作業領域を設け，関心度・重要度が高いものを順に手前に配置する方式を採用した．また，
ジェスチャ操作 I/F の利点を活かすには，手が届く範囲

図 7 データの 3D 配置に特別な意味を持たせることにも留意した．
本システムでは，図 7 に示すように 3 つの層を設けた．最前列の「フロントエンド(FE)層」は，「ビデオMR キューブ」の中央画面に相当する作業領域を手前に飛び出させ，軽く肘を曲げた楽な姿勢で操作できる距
離(0.5-0.8m：可変)に配置した．多数のサムネイルが並ぶスクリーン面は「バックエンド (BE) 層」で，利用者から 2.7m の位置にあり，この層からデータを引き寄せ FE 層で作業する．さらに，FE 層で頻繁に使用するデータの待機場所(1.0-1.7m)として「インタメディエー
ト (IM) 層」を設けた．
対象としたデータは，2D の静止画及び動画，立体視差をもったステレオ画像対（3D-CG で生成したものも含む）である．ジェスチャ・コマンドセットは，現時点では「ビデオ MR キューブ」と同じだが，データの選択時には，先の尖った円錐形状のカーソルによって，3 層の各層上の位置を指し示す機能を備えた．本システ
ムでの作業時のスクリーンイメージ例を図 8 に示す（ここでは便宜上単眼視データで示したが，実際には両眼視データが時分割で表示される）．
(2) 実物体の活用
前項までの機能は MR キューブのレベル 2 に相当し，レベル 3 のシステムとしてはユーザが実世界での作業に日常用いるごみ箱・棚・プリンタなどの什器・機器を導入する．これは，「データを捨てる場所」「格納しておく場」「印刷する場所」の分かりやすいメタファであると同時に，作業スペースをスクリーン上から日頃使い慣れた実世界へ拡張する働きをする．実際，上記四角錐上の 3D 表示領域は狭いので，その範囲外の足下の実空間を活用することは極めて有用である．
この種の実物体を VPPE (Visually Perceivable PhysicalEquipment)と名付けたが，本試作システムでの VPPE としては，まず以下のようなものを配置した（図 9）．
・ データ長期保存用：木製キャビネット
・ データ一時保管用：ファイルワゴン
・ データ印刷用：プリンタ
・ 不要データ削除用：ごみ箱
この他に，データとしてのサウンドを出力するスピー
カなども考えられる，ストレージのタイプは，実際の什器の役割と同様，データ保管後のアクセスしやすさ
でユーザが選択する．また，ごみ箱などよく動かす
VPPE には磁気センサを取り付け，位置を自動検出することで，どこに置いても作動するようにした．
［試作開発で得た知見と今後の発展］
本システムは，まず 3D 性を重視した第 1 期試作開発
で，3 層間のデータ移動等の機能検証を行なったが，機能拡張と HI 学の視点からの検証はまだこれから本格化

図 8 メディカル MR キューブの画面例

図 9 メディカル MR キューブの実物配置外観（注：3D 映像はスクリーン面に時分割表示されるので，写真としては表現できない．よって，ここではイメージを示すため想定操作画面を嵌め込み合成した．
）

させる予定である．ただし，現段階でもいくつか重要な知見が得られている．以下はその概略である．
・ 3 層上のデータを指し示すポインタは，カーソルの形状に個人の好みがあり，数種類用意するのが望ましい．また，BE 層に対しては，まっすぐ伸ばした手の先にカーソルを表示するよりも，指の先からレーザビームを模した光線を CG 表示することを望む声もあった．
・ 当然のことながら，FE 層は IM 層を，IM 層は BE
層を覆い隠してしまう．FE 層，IM 層を半透明表示
すべきかどうかは，議論が分かれる．この隠された部分まで活用するのか，それをアクセスする場合，FE, IM 層の側面に回り込んで覗き込んだり，あるいは手前の層を一旦非表示にする機能を持たせるかど
うかも，今後検討すべき事項である．
・ 四角錐内の表示可能領域とごみ箱等の足下の VPPEの間は連続していないので，データをごみ箱に移動する途中から手で掴んだはずのデータ・オブジェク
トが視認できなくなる．本システムでは，効果音でこの操作を補っているが，目で確認できないことを不安視する体験者も見受けられた．
・ その半面，VPPE には十分な大きさがあるので，周辺視でその存在と位置を視認できる．慣れ親しめば，
VPPE の位置を意識しなくても操作できるようになり，作業効率が上がることも確認されている．VPPEの導入には概ね好意的で，これまでにない体験に興味を持つ被験者が少なくなかった．
・ 3D-CG オブジェクトの手で操作して回転させるコ
マンドは既に着手済みである．ボリューム・データ
を直接操作する環境はまだ実現していないが，その「切断」「内部への侵入」等を表現するコマンドも今後充実させて行きたい．
・ VPPE への各種センサの取り付け，実世界で生じたイベントを電子作業空間に反映させる体系も今後整備して行く．

6 . むすび
ポスト WIMP の実現性のある提案として，広視野電子作業空間を有効に活用するシステム「MR キューブ」の構想について述べた．また，このような作業空間を操作するためのジェスチャ・コマンドセットについて検討した．２つの応用システムを試作開発して，ジャスチャ操作を実装・評価した．
本研究は，着想の斬新さをアピールするものでも，他の提案と比較して優劣を競うものでもない．SF 映画に表現された「広視野電子作業空間」が近未来社会で必ず求められるとの前提に立ち，これをいかに実現す
るか，矛盾なく素直に実現できるのかを検討し，そこから生じる問題の解決や発展形を探ることを目的としている．実際，広視野ディスプレイの利用は，映画内の描写に限定せず，複合現実感やタンジブル I/F に発展できることを示した．
試作システムは，まず安定して稼動させることに重きをおいた．興味深い知見は既に得られつつあるが，
ヒューマンインタフェース学としての評価実験はまだ十分ではない．これは，稿を改めて，後日報告したい．
謝辞「メディカル MR キューブ」の近未来の利用価値
や外科医としての要望に関して，関西電力病院 西躰隆
太博士に貴重なご助言を賜った．広視野電子作業空間の検討や手袋デバイスの制作には，当研究室の学生，
汲田誠一郎君の協力を得た．両氏に深甚の感謝の意を
表します．
参考文献
[1] 暦本純一：“実世界指向インタフェース－実空間に拡張された直接操作環境” , 情報処理, Vol. 43, No. 3,
pp. 217 - 221, 2002.
[2] 石井裕：“タンジブル・ビット− 情報と物理世界を融合する，新しいユーザ・インタフェース・デザイ
ン− ”, 同上, pp. 222 - 229, 2002.
[3] R. Bolt: “Put-that-there: Voice and gesture at thegraphics interface,” Proc. SIGGRAPH ‘80, pp.262 - 270,
1980.
[4] H. Koike, Y. Sato, and Y. Kobayashi: “Integrating paperand digital information on EnhancedDesk: A method for
realtime finger tracking on an augmented desk system,”
ACM Trans. on Computer-Human Interaction, Vol. 8,
No. 4, pp. 307 - 322, 2001.
[5] 石井，中西，小池，岡，佐藤: “EnhancedMovie: 机型 イ ン タ フ ェ ー ス を 用 い た 動 画 編 集 シ ス テ ム ”,
WISS2003論文集, pp. 41 – 46, 2003.
[6] M. Wu, and R. Balakrishnan: “Multi-finger and wholehand gestural interaction techniques for multi-user
tabletop displays,” Proc. UIST 2003, pp.193 - 202,
2003.
[7] S. Elrod, et al.: “Liveboard: A large interactive display
supporting group meetings, presentations, and remotecollaboration,” Proc. CHI’92, pp. 599 - 607, 1992.
[8] H. Ishii and M. Kobayashi: “ClearBoard: A seamlessmedium for shared drawing and conversation with eye
contact,” Proc. CHI’92, pp. 525 - 532, 1992.
[9] X. Cao and R. Balakrishnan: “VisionWand: Interaction
techniques for large displays using a passive wandtracked in 3D,” Proc. UIST 2003, pp. 173 - 182, 2003.
[10] 田村，大田：“複合現実感”，映像情報メディア学
会誌，Vol. 52, No. 3, pp. 266 - 272, 1997.
[11] S. K. Feiner(田村秀行訳)：“複合現実感がひらく第3 の視界”，日経サイエンス, 2002 年 7 月号,
pp.40-49,2002.
[12] 池田, 木村, 佐藤: “道具の持つアフォーダンスを利用した触覚フィードバックデバイス”, 日本VR学会論文誌, Vol. 7, No. 3, pp. 339 - 345, 2002.
[13] V. Pavlovic, R. Sharma, and T. Huang: “Visualinterpretation of hand gestures for human-computerinteraction: A review,” IEEE Trans. on PAMI, Vol. 19,
No. 7, pp. 677 - 695, 1997.