情報処理学会 インタラクション 2018
IPSJ Interaction 2018

2B37
2018/3/5

距離感を提示可能なシースルーモバイル AR システム伊藤 椋太1,a)

野村 涼太1,b)

小室 孝1,c)

概要：本論文では，距離感提示の手がかりとして，運動視差と両眼視差，仮想物体の影を利用することで，モバイル端末を用いた AR における奥行きを提示するシステムを提案する．フェイストラッキングによって取得した視点位置に応じてディスプレイ表示をすることで運動視差を実現した．また，両目の視点位置を利用して右目用，左目用の画像をそれぞれ用意し，パララックスバリアを搭載したディスプレイで表示することで両眼視差を実現した．さらに，他の奥行き手がかりとして，仮想光源を用いて仮想物体の影を表示した．

A See-through Mobile AR System Presenting Depth Perception
Ryota Ito1,a)Ryota Nomura1,b)

Takashi komuro1,c)Abstract: In this paper, we propose a mobile AR system that can present depth information using anauto-stereoscopic display, user perspective rendering and cast shadows of virtual objects. This system realizes motion parallax by displaying images according to the viewpoint position obtained by face tracking.
This system also realizes binocular disparity by preparing images for left and right eyes using the viewpoint
positions of both eyes and displaying the images on a display equipped with a parallax barrier. In addition,
This system casts shadows of virtual objects using virtual light sources as other depth cues.

1. はじめに状，仮想物体のテクスチャや仮想物体の影の有無などの様々な状況において，距離感を提示する際の両眼視差の有仮想現実 (VR:Virtual Reality) や拡張現実 (AR: Aug-

無が与える影響を実験によって調査した．その結果，実験mented Reality) の技術において，仮想環境や仮想物体の環境に大きく左右されるものの，多くの場合において両眼距離感提示に関する研究が盛んに行われている．仮想空間視差を利用が距離感の提示に有効であることを示した．しにおける問題として，現実環境に比べて，仮想環境は奥行かし，これらの研究では，視覚における距離感提示におけき方向の距離が正確に認識できないという問題がある．そるもう一つの大きな手掛かりである，運動視差の有無の影のような環境における距離感提示の方法として，視覚心理

響については調査していない．

学のメカニズムに基づいた視覚効果を利用することが一般

モバイル端末を用いた AR における運動視差は，ディス的である．視覚効果の例として，仮想物体の色，輝度，仮プレイの表示をユーザの視点位置に応じたものにすること

想物体の影，運動視差，両眼視差が挙げられる．

で実現することができる．モバイル端末を用いた AR にお

視覚心理学のメカニズムに基づいた視覚効果の一つであいてユーザの視点位置のディスプレイ表示が与える影響をる両眼視差が距離感提示に有効であるかを調査した研究が調査した研究がある [4, 5]．これらの研究は，ディスプレある [1–3]．これらの研究では，仮想物体の大きさや，形イに表示した仮想物体を選択をする際に，デバイスのカメ
ラ視点のディスプレイ表示とユーザ視点のディスプレイ表

1a)b)
c)

埼玉大学埼玉県さいたま市桜区下大久保 255
Saitama University 255 Shimo-Okubo, Sakura-ku, Saitama
City, 338-8570, Japan
ito@is.ics.saitama-u.ac.jp
nomura@is.ics.saitama-u.ac.jp
komuro@mail.saitama-u.ac.jp© 2018 Information Processing Society of Japan示ではどちらが優れているかを実験によって調査した．その結果，仮想物体の選択時間と選択精度の両方の点において，ユーザ視点のディスプレイ表示のほうが優れているということを示した．また，ユーザ視点のディスプレイ表示

666

情報処理学会 インタラクション 2018
IPSJ Interaction 2018

2B37
2018/3/5を行うだけでなく，表示された仮想物体と手によるインタ次元シーンを作成する．最後に，デプスカメラによって得ラクションを行うことを実現した研究として Unuma らのられた 3 次元シーンを，フェイストラッキングによって得シースルーモバイル AR シースルー [6] がある．この研究られた視点位置に応じて映像を変えてディスプレイに表示

では，シーンの取得にデプスカメラを利用することで，仮する．図 2 はユーザの視点位置に応じた投影の概念図で想物体と手によるインタラクションを実現している．これある．

らの研究によってユーザ視点のディスプレイ表示に関する実装としては，フェイストラッキング用の前面カメラで知見は深まったが，運動視差が距離感提示に与える影響にユーザの顔を取得し，asmlibrary を用いて視点位置を取得関する研究は行われていない．

する．次にデプスカメラによって取得した画像をもとに生

そこで本研究ではパララックスバリアを搭載したモバイ成した 3 次元シーンを Unity 内で表示する，最後にフェイルディスプレイでシースルーモバイル AR システムを再現

ストラッキングによって取得した視点位置に応じて Unityすることで，運動視差と両眼視差を距離感提示の手がかり

内のカメラを制御することで視点に応じた映像を取得するとして利用し，ディスプレイに表示される AR 空間の距離ことができる．

感を提示できるシステムである，3 次元モバイル AR システムを提案する．距離感提示手法として，シースルーモバᐇ≀యz

イル AR システムですでに実現されていた運動視差に加えz䝕䝥䝇䜹䝯䝷て，パララックスバリア方式による立体視と，仮想物体の䡔

影を表示することでモバイル AR 空間での距離感提示能力䡔䝰䝞䜲䝹䝕䜱䝇䝥䝺䜲を向上させることが本研究での目的である．

ᢞᙳീᕥ┠

2. 3 次元モバイル AR システム
2.1 システム構成

(a)

ྑ┠
(b)

図 2 ユーザの視点位置に応じた投影

図 1 に提案システムで使用するハードウェアを示す．

Unuma ら [6] のシステムを元に，ディスプレイを裸眼立体視ディスプレイに変更している．フェイストラッキング用

2.3 パララックスバリアを用いた立体映像の提示のカメラをディスプレイ上部に配置し，実シーン取得用のパララックスバリアを用いて立体映像の提示を行うにデプスカメラをディスプレイの背面に設置している．ディは，右目用の画像と左目用の画像を用意する必要がある．

スプレイの解像度は 800 × 480 画素で，裸眼立体視のためそのためにまずディスプレイ前面に配置したカメラを用いのパララックスバリアを搭載している．処理には PC を使てフェイストラッキングを行い両目の視点位置を取得す用し，開発環境には Unity を使用した．

る．取得した位置情報を利用して右目用の画像と左目用の画像を作成する．しかし，使用している裸眼立体視ディスढ़ওছ㻔ইख़ॖ५ॺছॵय़থॢ৷㻕

プレイの制約上，取得した位置情報をそのまま利用すると視差が大きすぎて立体的に見えないという問題が生じる．
そのため，立体視のための画像を作成する際に視差を小さくする処理が必要になる．そこで，利き目の視点位置に非利き目の視点位置を寄せるという処理を行った．
利き目は，人間が両目でものを見る際に目のピントを合ঃছছॵॡ५ংজ॔࿌ൗঔংॖঝॹॕ५উঞॖ

図 1

わせる目であり，主に周囲の色や位置の認識をしている．
ॹউ५ढ़ওছ

システム構成一方で非利き目の視覚情報は奥行きの判断などの補助的な役割をしている．よって，ピントを合わせる利き目の見えを画面内外で一致させ，図 4 に示すように非利き目の視点位置を利き目側に寄せることで視差を小さくし，裸眼立体

2.2 シースルー画像の生成視ディスプレイを用いて立体視を行えるようにした．

ディスプレイにシースルー画像を表示するための処理は以下のとおりである．まず，ディスプレイ前面のカメラで2.4 仮想物体の表示と影の生成取得した画像を用いてフェイストラッキングを行いユーザ

Unity 内に作成した 3 次元シーンの上に表示されるようの両目の視点の 3 次元位置を取得する．次に，ディスプレに仮想物体を配置した．仮想物体の影を表示する処理を以イ背面に設置したデプスカメラでディスプレイ背面のカ下に示す．ディスプレイ背面に設置したデプスカメラにラー画像とデプス画像を取得し，対応付けを行うことで 3

よって得られた情報を利用し，Unity 内に実シーンと同じ© 2018 Information Processing Society of Japan667

情報処理学会 インタラクション 2018
IPSJ Interaction 2018

図 3

2B37
2018/3/5得られたシースルー画像 (a)-(e) 利き目側から見たディスプレイ (f) 非利き目側から見たディスプレイを示す．図では左目を利き目であると仮定して撮影している．裸眼立体視ディスプレイで立体視を行うために非利き目の視点位置を移動させているため，利き目側の画像ではディスプレイ内外の見えが連続しているが，非利き目側の画像ではディスプレイ内外で見えが連続していないことがわかる．また，右目用画像と左目用画像の合成後の画像で00 00 00 00 00 00
000000

฼䛝┠

㠀฼䛝┠
(a)
図 4

は視差のために画像がぼやけて見えるが，パララックスバ
リアを搭載したディスプレイを通して見ると奥行きのある画像として見ることができる．

(b)(a) 視点修正前 (b) 視点修正後

仮想物体を表示させた際のディスプレイの表示を図 6 に示す．仮想物体も実シーンと同じく立体視が可能で，仮想物体の影も表示されている．

環境を作成する．そして Unity 内の仮想光源を利用して仮想物体に影をつける．実シーンと同じ環境を再現しているため，実シーンの形状に応じた影ができる．影を表示している様子を図 5 に示す．

図 6
図 5 生成された仮想物体の影

3. 動作例
図 3 に提案システムによって得られたシースルー画像© 2018 Information Processing Society of Japan

仮想物体を表示したシースルー画像

4. まとめモバイル端末を用いた AR において，運動視差，両眼視差，仮想物体の影の表示によって奥行きを提示することのできるシステムである 3 次元モバイル AR システムを提668

情報処理学会 インタラクション 2018
IPSJ Interaction 2018

2B37
2018/3/5

案した．フェイストラッキングを用いてユーザの視点位置を取得し，利き目に視点位置を寄せて作成した右目用画像と左目用画像をディスプレイに表示することでパララックスバリア方式の立体視を実現した．また，視点位置に応じた画像をディスプレイに表示することですることでユーザ視点の映像表示を実現した．加えて，AR 空間内における仮想物体の距離感を分かりやすくするために仮想物体の影を表示した．今度の課題として，仮想物体とのインタラクションの実現，距離感をどの程度提示できているかの評価実験を行うことが挙げられる．
参考文献
[1]

[2]

[3]

[4]

[5]

[6]

Matthias Berning, Daniel Kleinert, Till Riedel, andMichael Beigl. A study of depth perception in handheld augmented reality using autostereoscopic displays.
In Proc. International Symposium on Mixed and Augmented Reality, pp. 93-98, 2014.
Frederic Kerber, Pascal Lessel, Michael Mauderer, Florian Daiber, Antti Oulasvirta, and Antonio Krüger. Is
autostereoscopy useful for handheld AR? In Proc. Mobile and Ubiquitous Multimedia, pp. 4, 2013.
Maija Mikkola, Atanas Boev, Atanas Gotchev. Relative
importance of depth cues on portable autostereoscopic
display. In Proc. the 3rd workshop on Mobile video delivery, pp. 63-68, 2010.
Domagoj Baricevic, Cha Lee, Matthew Turk, Tobias
Hollerer, and Doug A Bowman. A hand-held AR magiclens with user-perspective rendering. In Proc. International Symposium on Mixed and Augmented Reality, pp.
197-206, 2012.
Klen Čopič Pucihar, Paul Coulton, and Jason Alexander. Evaluating dual-view perceptual issues in handheld
augmented reality: device vs. user perspective rendering.
In Proc. International conference on multimodal interaction, pp. 381-388, 2013.
Yuko Unuma, and Takashi Komuro. Natural 3D Interaction Using a See-Through Mobile AR System. In Proc.
International Symposium on Mixed and Augmented Reality, pp. 84-87, 2015.

© 2018 Information Processing Society of Japan669