セカイカンヅメ:テーブルトップ型全方位視点提示システム
田島逸郎†

本論文では、全方位映像を直感的に操作することのできるソフトウェア「セカイカンヅメ」を提示する。遠隔作業などにおいて、全方位映像の利用は有効であると考えられるが、設備の問題や、実世界での志向の共有の問題から、実際の現場に取り入れることは難しい。この問題を解決するため、複合現実感技術を用いて全方位映像を操作する手法を考案し、デスクトップとモバイル環境で実験を行った。その結果、全方位映像を複数人で協力して読み解き、円滑に作業を進めるような行動が見られ、本手法の有効性が確認された。

Sekai Kandume:Tabletop Omni-directional Viewing System
Tajima Itsuro†This article represents the Sekai Kandume , which can intuitively manipulate the omnidirectional vision. On such as remote collaboration, using omni-directional vision may beeffective. However, it is difficult because of bigger system and difficulties of sharing orientationon the real environment. To solve these problem, I invented the method that manipulateomni-directional vision using mixed reality, and did experiments on desktop and mobile environment. In the results, users are treat omni-directional vision together, and it made thework more easy. This method is effective.

1. は じ め に

もう一つの手段が、HMD を使ったもの2) である。
これは、人間の姿勢を判別して対応する方角の映像を全方位映像は、撮影した場所の状況を確認したり、提示し、全周囲の視覚を実現する手法である。しかし、それを用いて共同作業を行うのに有用だと思われる。

周囲に共同作業者がいて、共同で遠隔地の状況を知っコンピュータビジョンの分野では、全方位映像によったり、指示を行う場合には、利用者がどこを見ているて自動的に障害物や人などを認識し、それをロボットのかという重要なリソースを失うため、円滑な作業がなどの動作に反映させるのは既に一般的である。しか行えない可能性がある。

し、人間が全方位映像を利用する場合、自動処理とは以上より、通常オフィスにあるのと同じようなサイ異なり、元々360 度の視野を持たない人間の視覚と適ズの空間で、全方位映像の提示を行うのには様々な問合した形で、映像の提示を行う必要がある。本論文で題がある。

は、現在のオフィス環境において、自然に全方位映像の提示や操作を行えるようなシステムを検討する。

2. オフィスにおける全方位映像提示の問題

3. システムコンセプト
このような問題の解消のために、本論文では円筒形の 3D モデルを用いて全方位映像を取扱う手法を提案

全方位映像を自然に提示する一つの手段が、する。ここで扱う個別技術は特に目新しいものではな

TWISTER3) に代表される没入的な全周囲視覚の提いが、これらを組み合わせることで、全方位映像を小示である。TWISTER は、LED アレイを高速で回転型で、直観的に、複数人が扱える形の提示や操作が可させることで、ブース内での全周囲でのディスプレイ能になる。

を実現している。しかし、この形式は大きく、オフィスなどに導入するには障害があると考えられる。
† 埼玉大学大学院文化科学研究科文化環境専攻
Graduate School of Cultural Science, Saitama University

3.1 円筒形 3D モデルによる全方位映像の提示と操作
まず、本手法では全方位映像を円筒形に表示している。ただし、前掲した没入型のように、円筒の中から見るのではなく、外から見る形である。「セカイカン

情報処理学会 インタラクション 2011

ヅメ」の名称はこれに由来する。これは比較的オーソ験用システムとしてノートブック型 PC を用いたシスドックスな提示法である。全方位カメラが注目され始テムを製作した。実装したシステムは、指示者側、作めた当時、この手法は既に実験的に提示されている。

業者側の 2 つに大きく分かれ、この 2 つをネットワー

また、全方位映像ではないが、実空間とのインタラクで接続することで実現している。

クションを円筒形のモデルで提示する試みも行われている。

まず、作業者側では、PC(Lenovo Thinkpad X100e,Windows 7) に Web カメラ (Logicool QCAM-200V)

本手法がクローズアップする円筒形 3D モデルの利が接続され、パノラマ映像のキャプチャと送信を行う。

点は、通常の 3D オブジェクトのように作業環境に応パノラマ映像は、通常は全方位カメラ (Omni- Direc-

じて小型化できる点である。一方で、円筒形 3D モデ

tional Camera) という特殊なカメラを用いるが、今回ルは、元の環境と全く逆の形で投影しているため、直は予算の問題から、市販の Web カメラと半球ミラー観性が損なわれる危険性もある。この問題を次節のから自作した。半球ミラーは、いくつかの口径のもの

マーカー型 MR 技術によって解消する。

を試し、直径 7cm のものを採用した。まず半球ミラー3.2 マーカー型 MR 技術による直感的な提示と操作
マーカー型 MR 技術は、実空間上に置かれたマーを机などの上に設置し、Web カメラを真上から見下ろすように、ちょうど良い高さに設定すればパノラマ映像を取得できる。

カーをカメラで認識し、それを元に 3 次元座標を推定

作業者側のソフトウェアは、画像処理ライブラリし、その座標を元に 3D モデルを実空間の映像上に重OpenCV2.1 によってキャプチャし、送信するものでねて表示する技術である。MR の初期から存在する技ある。まず Web カメラから 960x720 15fps で映像を術で、現在は ARToolKit の存在から誰もが比較的容取り込み、それを TCP ソケット通信によって順次送易に利用できるものとなっている。

信する。転送の形式はリアルタイム処理の実現のため本手法では、MR のコンセプトである、現実空間に圧縮を省略し、無圧縮でそのままビットマップ (RGB)新たな情報を付加するというものを目指すわけではなを送信している。プロトコルは転送が終了したら応答

く、これを単なる表示、操作インタフェースとして用を待ち、応答が来たら再度送信を行うという単純な形いる。この技術の採用により、3D モデルを作業環境に式である。取り込み部分と転送部分は別のスレッドで応じて適切な大きさに表示でき、またマーカーを手に動作する。

動かすことで、回転をさせると全方位映像の視点も回指示者側では PC(MacBook Pro 13in) に一眼デジ転するなど、直観的な操作が可能になる。また、マー

タルカメラ (Panasonic DMC-G1、ビデオキャプチャカーが表示されている場所なら複数人がデバイスを用により接続) が接続され、受け取ったパノラマ映像をいて異なる視点で見ることができるため、各ユーザー3D 表示する処理を行う。一眼デジタルカメラは近くの志向の提示も容易になる。の机に配置され、マーカーを写している。この映像

3.3 問 題 設 定(640x480 30fps) を元に ARToolKit によりマーカー以上の本手法の利点は仮説に過ぎず、実世界に存在の位置を推定し、そこに少し傾斜を付けた円筒形の 3Dしない不自然な物体を扱うという事実は変わらない。

モデルを表示している。また、同時に別のスレッドでこのため、本手法がうまく機能しうるかを明らかにす

作業者側 PC の映像を順次受信し、それを 3D モデルる必要がある。にテクスチャマッピングしている。これにより、3D 処主要な問題は以下の通りである。

• 本手法によって、全方位映像を直観的に扱うことは可能か理のみによって 360 度映像の展開が行われる。

4.2 実 験 概 要
本実験では、ミニチュアの家具を配置するタスクを、• 本手法は、複数人での共同作業を促進するか指示者、配置者の 2 名の共同作業によって行った。指これらの事項を検討するため、2 つの異なる設定で実示者は家具の配置の写真を見ることができるほか、技験を行った。

術的手段によって設定によっては配置の様子を見るこ

4. 実験 1:PC を使った遠隔指示とができる。配置者の前には家具配置スペース (紙によって示されている) と、ばらばらに置かれた家具が4.1 システム概要ある。指示者と配置者は同じ部屋にいるが、お互いを後述するスマートフォンを用いたシステムでは、リ見られないように配置されており、肉声によって会話アルタイムな映像の提示が難しい。このため、まず実をしながら家具の配置作業を行う。

セカイカンヅメ:テーブルトップ型全方位視点提示システム

指示者の環境設定は、目の前に表示用の PC があり、映像やパノラマ映像が表示される。また、写真表示用のカメラがあり、それぞれ基本的な操作によって写真の閲覧や拡大縮小が可能である。パノラマ実験の場合
は、この他にパノラマ操作用にマーカーとマーカー認識用のデジタル一眼カメラが配置されているが、配置は途中で変更した。
配置者の環境設定は、目の前に 2 つの机があり、手前と奥に配置されている。手前の机では配置するための A4 の用紙や、パノラマ実験の場合は中央にパノラ

図 1 セカイカンヅメ スマートフォン版
Fig. 1 Smartphone Version of Sekai Kandume

マ用のカメラが配置されている。奥の机には、あらかじめミニチュアの家具がバラバラに置いてある。に、片方は前見ていた位置から相対的に把握していた実験手順を以下に示す。のに対し、もう片方はその都度最初の位置に戻してい• 前の配置を利用しない場合、ミニチュア家具を配た。これは、ある意味キーボードで言う「ホームポジ置するション」と言える。

• ミニチュア家具の配置の写真を撮影する• ミニチュア家具をバラバラに奥の机に置く

5. 実験 2:スマートフォンによる探索タスク• 被験者に実験について説明する

5.1 システム概要• 実験と撮影を開始する

2 つ目の実験で利用したシステムは、スマートフォ• 指示者と配置者が共同してミニチュア家具を配置ン (Nexus One, Android 2.2) に上記のシステムのうち、表示部分を移植したものである。ただし、スペッする• 指示者が終わりだと宣言した場合、実験、撮影をク上ストリーミング配信を行うことができないため、保存した画像、映像までの表示に留まっている。利用終了する
実験は、以下の 3 つの技術設定で行った。

• 音声のみ:指示者は配置を真上から撮影した写真のしたフレームワークは AndAR という Android ネイ
ティブの ARToolKit 実装である。

みを見ることができ、配置者の状況は会話によっ5.2 実てしかわからない。

ウェブサービス「twitter」上で被験者を募集し、被• 映像:指示者は写真の他に、配置者を斜め上から撮影した映像を見ることができる。

験験者 5 名を集めることに成功した。実験設定に関しては、前述の実験設定を一人用の遠隔指示でないもの• パノラマ映像:指示者は写真の他に、家具配置スに設定し、以下のフローで実行した。なお、時間がなペースの中央から撮影したパノラマ映像を、前節かったため現地 (秋葉原) で全ての実験用具を調達せで説明したパノラマ映像表示装置によって見るこざるを得ず、前の実験でのミニチュア家具を調達できとができる。

なかったため、大きさが同程度で色の区別が付きやす

4.3 結

果

各実験 (音声 2 件、映像 2 件、パノラマ 4 件) に対してビデオ撮影を行い、エスノメソドロジーに基づく
1)相互行為分析を行った。これは、発話や視線、指差しなどの身体的行為が、どのような連鎖を持っているかを分析することで、その場の秩序がどのように組織いアニメキャラクターのフィギュアを採用した。

• 机上に AR マーカーと、配置用の紙が配置されている• フィギュアを紙の上にランダムに配置する• 紙の上から全方位撮影を行う。この際の半球ミラーの配置は決まっていない化されているかを解明する手法である。本論文では結• 全方位映像を作成し、スマートフォンに転送する

果の概要のみを示す。

• フィギュアと半球ミラーを紙から撤去し、横に寄パノラマ映像を積極的に利用していた被験者は 2 名いたが、パノラマ映像の操作の方法は違っていた。基せる• 被験者は机の前に座り、セカイカンヅメを利用し本的に映像やパノラマ映像は指示が成功しているか確ながらフィギュアを配置する。撮影を開始する

認するために利用されていたが、確認の際に、どの方• 指示者が終わりだと宣言した場合、実験、撮影を向を見ているかを正確に把握する必要がある。その際終了する

情報処理学会 インタラクション 2011

2 度ほど初期評価実験を行ったところ、AR マーカーの認識の問題と、方向の問題が起こったことが参加者実際に正確な配置がされる度に高まっていくと考えられる。に共有された。また、1 人が他の参加者の実験に口出

また、01 行目から 02 行目の開始部にかけて扉と F1しをする場面が見られたが、その際に方向の問題の解に双方が注目したことも、重要な点である。これによ決を行っているような行動が見られた。このため、本り、2 人は準拠点、つまり実世界とセカイカンヅメが実験では方針を変更し、2 人で同じ机に並んで行う実共通して持つ位置と方向の特徴を共有した。この作業

験と、1 人で行う実験の 2 つを撮影し、特に 2 人でのは、前述の作業、つまり 2 つの物体の位置関係の把握実験に焦点を当て分析を行った。の準備であると考えられる。このように、まず 1 つの5.3 結果

撮影したビデオデータのうち、15 秒の断片を以下に示す。

物体の位置を特定し、そこから 2 つ目の物体との関係を把握するという順序で、実世界とセカイカンヅメの画面の位置関係の対応が行われたと考えられる。

Ag:A の視線 Ap:A の手の動き
Bg:B の視線 Bp:B の手の動き
S:セカイカンヅメ F1/F2:フィギュア M:マーカー_:動きの維持 .:動きの途中 (.):間
01A :えと扉の向こうに (.) これかな
Ag:(S)________________(F1)_____
Ap:....(扉)...(F1 を触れる)..
Bg:(S)__________________________(扉)Bp:(鏡)__________________________(扉)02Ag:____(S)_________________________
Ap:(F1 移動)______(M 操作)____________
Bg:(F1)____(S)____..(F2).(S)________
Bp:(F1 指す)___(鏡)____......(F2)____
03B :あれどこ行ったんだ (.) これこっちか
Bg:_____________________________________
Bp:__..(鏡近く)___________...(壁)________
Ag:_____________________________________
Ap:_____________________________________
図 2 断片 1
Fig. 2 Fragment 1

この実験では、実世界の物体とその配置、セカイカ
ンヅメの画面、画面内の物体とその方向などの多くの異なる特性を持つ物体の関係を把握し、またそれを共有することが効果的な配置作業の条件となる。この場面の「これこっちか」の後、物体を積極的に配置し始め、何度かの間違いを経て正確に配置した後は微調整が行われるにとどまった。また、この場面は操作を始めて全体を見た直後である。つまり、この場面でその把握と共有がなされた可能性がある。
まず言えることは、位置と方向の関係の把握に 2 つの物体が使われたことである。2 つの物体の実世界での方向がわかれば、セカイカンヅメの提示する方向が直感的でないことに関わらず、他の物体の方向の関係もそれを元に類推できる (半球ミラーの位置を含めた三角測量)。また、実際に 2 つの物体を配置した時点で、実世界とセカイカンヅメの画面に対応関係が生まれたと考えられる。この場合、この対応関係の精度は以上より、セカイカンヅメを最初から直感的に動作させるためには、2 つの実世界とセカイカンヅメ画面の位置を技術的に提示することが効果的であると考えられる。具体的には、実世界に 2 つのマーカーなどの特徴的な点を配置し、セカイカンヅメでそれを原色で大きく表示するなどが有効であると考えられる。つまり、セカイカンヅメを実際の作業に役立てられる可能性は十分にある。

6. ま と め
本論文では、全方位映像の提示手法として円筒形の3D モデルを複合現実感により提示、操作する手法を提示し、それが有効に動作する条件を確認した。このシステムの導入により、作業者、指示者双方の側で小型の設備の利用が可能になる。

参 考文献1) 山崎敬一編：実践エスノメソドロジー入門，有斐閣 (2004).
2) 太田祥一，行岡哲男，山崎敬一，山崎晶子，葛岡英明，松田博青，島崎修次：Head Mounted Display(HMD) による Shared-View System を用いた遠隔指示・支援システムの検討，日本救急医学会雑誌，Vol.11, No.1, pp.1–7 (2000).
3) 田中健司， 林淳哉，川渕一郎，関口大陸，稲見昌彦，川上直樹，舘ススム：没入型フルカラー
動画裸眼立体ディスプレイ TWISTER III の設計と試作 (第 6 報)，日本バーチャルリアリティ学会第 7 回大会論文集，pp.411–412 (2002).