WISS2010

運動視差を再現した鏡の中の仮想世界と現実世界の融合提示
A Mirror to Merge Real and Virtual Worlds with Motion Parallax

佐藤 秀昭

北原 格

大田 友一∗

Summary. ユーザが, 自身の姿を様々な角度から観察しつつ，身体動作を用いて複合現実空間と 3 次元的なインタラクションが可能な提示方式”MR-Mirror”を開発した．MR-Mirror を 3 次元インタフェースとして用いるためには，ユーザが，MR-Mirror を用いて，3 次元情報をどの程度把握可能か明らかにする必要がある．MR-Mirror と従来のディスプレイとの大きな違いとして運動視差再現の有無が挙げられる．そこで，本稿では，MR-Mirror における運動視差による奥行知覚について検討する．運動視差を再現しない提示手法と運動視差を再現する MR-Mirror を用いて奥行知覚の評価実験を行ったところ，運動視差を再現した方が，奥行知覚が容易であるという意見が得られたが，一方で，客観的評価値は，運動視差を再現しない手法の方が良いという興味深い結果となった．データを参考に，MR-Mirror において，運動視差以外にも奥行知覚に影響する要素について考察し，改善すべき点を示した．

1

はじめに

複合現実感 (Mixed Reality:MR) とは，現実世界の見え方にコンピュータグラフィックス (ComputerGraphics:CG) で生成した仮想世界の見え方をシームレスに重畳し提示する技術である．近年，医療・福祉，作業支援，エンターテインメントなど様々な分野において，MR を用いてユーザの知覚情報を増強するアプリケーションの研究が盛んに行われている [1]．我々は，その中でも，リハビリやスポーツのフォーム改善等に MR を利用することを考え，自身の姿を様々な角度から観察しつつ，身体動作を用いてMR 空間と 3 次元的なインタラクションが可能なシステムの開発を目指している．システムに必要な要素は，大きく分けて 3 つの項目が考えられる．”ユーザが仮想世界を直感的に操作可能であること”，”運動に制限がないこと”，”ユーザと仮想世界と現実世界の位置関係が容易に理解可能なこと”である．これらを実現するため，我々は，鏡像を介して現実世界と仮想世界を融合提示する MR-Mirror[2] を開発した．
図 1 に MR-Mirror の概要を示す．ビデオカメラにより取得した映像を用いて，3 次元空間中のユーザの視点位置を推定し，それを元に鏡の視覚特性を再現した仮想鏡像を大型ディスプレイ上に描画する．
ハーフミラーの反射によって得られた実鏡像と仮想鏡像を重畳して提示し，鏡の世界で MR 空間を構築する．直感的な操作に重要なユーザ像は自然現象である鏡面反射により生成されるため，計算コストが一切かからず，リアルタイム処理での提示が容易に
Copyright is held by the author(s).
∗Hideaki Satoh, Itaru Kitahara and Yuichi Ohta 筑波
大学 大学院システム情報工学研究科 知能機能システム専
攻 画像情報研究室

図 1. 実装した MR-Mirror の概要なるという特長を有する．ユーザは，鏡を通して 3次元空間中での実物体と仮想物体の位置関係を観察可能なため，HMD 等の提示装置を身に付ける必要がない．また，我々が日常慣れ親しんだ鏡の光学系を用いているため，鏡に写り込んだ物体の 3 次元空間中での位置関係を容易に把握することができる．
MR-Mirror を 3 次元インタフェースとして用いるためには，ユーザが，MR-Mirror を用いて，3 次元情報をどの程度把握可能かを明らかにする必要がある．MR-Mirror と従来のヴァーチャル鏡像提示
技術 [3] との大きな違いとして運動視差再現の有無が挙げられる．そこで，本稿では，MR-Mirror における運動視差による奥行知覚について検討する．

2

評価実験に用いる提示手法

運動視差再現の有無により，ユーザの奥行知覚がどのように変化するのかを評価するために，図 2 に示す 3 つの手法を実装する．Video Mirror とは，注目WISS 2010

物体の奥行だけを，現実世界の鏡に写り込む大きさと等しくしたものである．Advanced Video Mirrorとは，Video Mirror の映像を，ユーザの視点位置に応じて，上下左右にシフトすることにより疑似的に運動視差を再現するものである．MR-Mirror とは，すべての奥行とユーザの視点位置に対しての運動視差を完全に再現するものである．

る．一方で，表 2 に示した評価実験に対する感想によると，運動視差を再現した方が，奥行知覚が容易であるという意見が多数得られるという興味深い結果が得られた．MR-Mirror において，運動視差以外にも，奥行知覚に影響する要素があると考え，検討を行った．表 2 より，CG が浮いて見える問題が指摘されている．これは，現実世界と仮想世界の画質の違いによるものと考えられるため [4]，CG の画質向上などにより改善を図る必要がある．また，両眼で観察すると CG 物体がディスプレイ上にあるように見えないという意見が得られた．これは，実世
界は鏡の反射によって得られる両眼視差が可能な映像であるのに対し，仮想世界では不可能であるためだと考えられる．そのため，両眼立体視による立体視の追加等により改善が見込まれる．
表 1. 評価実験結果の平均・分散・標準偏差

図 2. 実装した提示手法

3

評価実験

運動視差再現の有無によるユーザの奥行知覚への影響を検証するための評価実験を行った．実験方法
としては，図 2 のように，それぞれの提示手法に関して，被験者に，視点を自由に動かしながら大型ディスプレイを観察させ，CG 物体と実物体の相対距離を目測させる実験を行った．CG 物体と実物体の相対距離は 200mm，400mm，600mm の 3 パターンをランダムに提示し，その全てについて目測させた．
運動視差による奥行知覚の個人差があると考えられため，被験者に，実際の鏡を用いて，鏡の前に設置された２つの実物体である立方体の相対距離を目測させ，実験結果を，その値により正規化した値を評価値として用いた．
被験者は，画像処理に精通している 22 歳から 26歳の男性 10 名である．被験者には．実験に用いた立方体の大きさは教えなかった．また，周りの環境を見ることや観察する時間の制限，動作範囲の制限などは特に与えなかった．

3.1

実験結果と考察

実験結果を，表 1 に示す．平均が 1.0 に近く，分散が小さいほど良い結果である．MR-Mirror の方が，他の手法よりも，標準偏差が大きいことがわか

表 2. 評価実験に関する感想

参考文献[1] Y. Ohta, and H. Tamura, Mixed Reality-Merging
Real and Virtual Worlds, Ohmsha,Ltd.1999[2] Hideaki Sato, Itaru Kitahara, Yuichi Ohta MRMirror:A Complex of Real and Virtual Mirrors In
HCI International 2009, pp. 482 -492. July 2009.
[3] Morikawa, O. and Maesako, T. HyperMirror: Toward pleasant-to-use video mediated communication system. CSCW’98, pp.149-158 1998
[4] R. T. Azuma. A survey of augmented reality, Presence:
Teleoperators and VirtualEnvironments,6(4):355-385, Aug. 1997.

A Mirror to Merge Real and Virtual Worlds with Motion Parallax

未来ビジョン
急速な人口の高齢化に伴い，疾患による身体運動機能の低下，例えば脳卒中などによる半身不随などの障害のリハビリテーション（以下，リハビリ）のニーズが高まっている．
リハビリの効果を高めるために重要なのは，障害者が医師や療法士が指示するリハビリ運動を正しく理解することと継続的なリハビリ作業の実施である．しかし，医師や療法士の指示は，限られた時間で口頭により伝えられることが多いため，障害者が指示を正しく理解することが困難である．また，リハビリ作業の大部分は単調作業の繰り返しであり集中力の維持が難しいこと，日々の機能回復はわずかであるため障害者自身がリハビリの効果を実感しにくく，継続意欲の維持が難しい．
本研究が完成した場合，右図のように，仮想鏡像として生成したリハビリの見本となる教示動作と障害者の身体動作を MR ミラーを用いて重畳して提示することができる．教示動作との差異を明確に理解でき，効率のよいリハビリが可能となる．また，MR ミラーに設置してあるカメラを用いて，障害者のリハビリ運動を使用履歴として保存しておけば，過去と現在の自分の動きとの差分を提示することが可能である．それにより運動機能の回復具合を直感的に観察できるため，障害者に達成感を感じさせ，リハビリのモチベーションを高めることができる．履歴保存機能を活用したデータ収集・分析により，理学療法研究へのフィードバックや，効果的なリハビリ方法の創出などの可能性も期待できる．
また，本システムは，日常的に使い慣れている鏡を設置するのみで気軽に利用でき，部屋の内装などの景観を損ねることなく設置可能である．そのため，洋服の着せ替え，デジタルサイネージ，遠隔地のユーザからダンスを教えてもらうなどの e-learning の分野など，様々な分野に応用可能な新しいMR 提 示 方 式 と し て の 利 用 が 期 待 さ れ る ．