情報処理学会 インタラクション 2020
IPSJ Interaction 2020

2B-15
2020/3/9

スマートフォンの傾きとスワイプを用いた質感提示システム
菊池 知世1

宮﨑正史2

小室 孝2

小川 賀代1

概要：本稿では，スマートフォンに表示された仮想物体を端末の傾きと指でのスワイプ操作を組み合わせて動かせるようにすることで，光沢感などの視覚による質感認知に必要な光の反射の変化を表現でき，かつ 3 次元物体の全ての面を提示できる拡張現実感（AR）システムを提案する．さらに，実際に物体を見たときに受ける感覚に近づけるため，視点位置から見える映像を正確に再現する．提案システムの有用性を評価するため，日常的にオンラインショッピングを利用する大学生を対象に，3 種類の質感提示手法を比較した評価実験を行った．評価実験の結果，提案手法とスワイプのみでの操作手法は傾きのみでの質感提示よりも質感認知に効果的であることがわかった．このことから，端末の傾きにスワイプでの物体操作を加えた提案手法は，質感認知システムとして利便性が高いことが示された．

1. はじめにオンラインショッピングにおいて，製品の質感の提示はであることや，ユーザがマーカーを装着する必要があることなどの制約がある．したがって，より簡易な質感提示手法が求められる．

製品の魅力をより正確に伝えられ，消費者の購買意欲を高

そこで本稿では，スマートフォンの傾き操作とスワイプめるために重要である．質感とは人間が物体を見たり触っ操作を用いた質感提示システムを提案する．端末の傾きをたりすることで，その物体の材質から受ける感覚を意味す用いた手法は，物体の細部で起こる光の反射の変化をユーる．質感には触覚的な意味も含まれているが，本稿では視ザが確認できるようにするために必要な，仮想物体の細か覚的な質感すなわち，人間が目で見たときに受ける質感をな回転操作を可能にする．スワイプによる手法は，仮想物対象とする．視覚的な質感の知覚には，光の反射特性が最体の見えていない面を見たい時に大きく仮想物体を回転さも重要な影響を与える [1]．特に静止画だけでは提示できせることが可能である．両手法に加えて，仮想物体をユーない，3 次元物体の自由な操作性を維持したまま物体の細ザ視点から立体的に見えるようにすることで本物の物体を部で起こる光の反射が観察可能なシステムは，オンライン観察しているような感覚を提示する．提案システムの有用

ショッピングなどにおける質感提示手法として有効である

性と質感の認知への効果を検証するため，傾き・スワイプと考えられる．

両方を用いるやり方とそれぞれしか用いない手法で比較評

Wakita らはヘッドマウントディスプレイを用いた浮世絵のデジタル展示システムを提案している [2]．その中で，タブレットを用いたシステムについても検証が行われている．これは，タブレットを傾けることで浮世絵独特の光の価実験を行った．

2. システム構成
2.1 開発環境変化を体験することができるシステムである．しかし，2今回使用したスマートフォン端末は，AR アプリケーショ次元物体の質感提示にとどまっており，3 次元物体の提示ンの開発が行える Google Tango 対応の Lenovo PHAB2は実現されていない．

Pro である．ディスプレイは 6.4 型ワイド IPS パネル，マNomura らはモバイルディスプレイの画面内外の空間のルチタッチ対応のタッチパネルである．背面には 1600 万

見え方を一致させた視覚提示のもとで，手を使って直接画素の RGB カメラ，深度カメラ，モーショントラッキン仮想物体を操作する質感提示システムを提案している [3]．

グカメラが搭載されている．

ユーザの視覚と体性感覚を一致させることでシステムの使実装には，Unity 5.6.5f1 を用いた．Unity 上で 3 次元

い勝手がよくなり物体を本物らしく感じられることを目的

シーンの描画や仮想物体の描画を行うためのスクリプト作としている．しかし，デプスカメラを搭載した装置が必要

成は C#言語を用いた．

1
2

日本女子大学 理学部 数物科学科
埼玉大学大学院 理工学研究科© 2020 Information Processing Society of Japan562

情報処理学会 インタラクション 2020
IPSJ Interaction 2020

2B-15
2020/3/9

2.2 システム
提案システムでは端末のモーショントラッキングカメラを使って端末のそのときの姿勢を取得することにより，スマートフォンに表示された仮想物体をリアルタイムに操作することができる．光源は，常にユーザの視点位置の頭上にあると設定する．
端末の傾きによる手法については，クォータニオンで取得された端末の姿勢を用いて，端末の初期姿勢から現在までの回転を求め，ディスプレイ面に対する視点の位置を更新する．ディスプレイ上には，新たな視点位置からの映像が表示される．すなわち，端末の傾き（図 1(a)）を図 1(b)のように視点の移動と考え，実装を行う必要がある．青線

図 2: 立体感の提示に関する視線とディスプレイ面の関係が端末を傾けた後，つまり更新後の状態を示している．光源についても視点位置の更新の度に，新たな視点位置の頭上に存在するように更新する．
スワイプ操作については，指のタッチ位置を検出し，指の移動に応じた仮想物体の回転を実現した．スワイプ操作
による物体の回転は，現在の指のタッチ位置のスワイプ開(a) 初期状態(b) (a) のディスプレイ映像(c) 端末を傾けた時(d) (c) のディスプレイ映像(e) 右下へスワイプした時(f) (e) のディスプレイ映像

始点からの変位より回転軸を求め，回転のクォータ二オンを算出することにより行う．指のスワイプ変位と回転角度の関係は，ディスプレイの端から端まで動かした際に 90度回転できるように設定する．
立体感の提示については，運動視差 [4] が生まれる映像を表示することによって可能にした．つまり，単眼を一つの視点位置として，その位置から物体を見たときの映像をディスプレイに表示する．また，図 2 のように，上下左右非対称の視錐台を用いることで，視線に対してディスプレイの表示面が垂直なまま投影させられ，物体を見るときに実際に近い感覚を得ることができる利点がある．

図 3: 提示システムの動作例

以上の処理を実装した提案システムを用いて仮想物体を操作している例を図 3 に示す．図 3(a)，(c)，(e) はそれぞれの操作を行った時のユーザ視点の様子を示している．
また，図 3(b), (d)，(f) はその時のディスプレイの映像で

3. 評価実験
3.1 実験方法ある．
提案システムを用いて操作する時の初期状態は，ユーザ提案システムの有用性と，ユーザの質感認知について本の視点位置をディスプレイ面に垂直な方向へ 70cm 離れた物の物体を見るときと同様に体感できるかを調べるため，評位置と仮定し，光源をユーザの視点位置の頭上 100cm にあ価実験を行った．提案システムを用いて仮想物体を操作し，ると設定した．

質感を確認している様子を図 4 に示す．端末の傾きによる操作手法 (Tilt)，指でのスワイプによる操作手法 (Swipe)，提案手法である両方を用いた操作手法 (Both) の 3 種類の質感提示手法を用いて負荷量と質感認知を比較する．被験者に各手法を用いて質感認知タスクを行ってもらい，タスクの負荷量と質感認知に関するアンケートを実施した．タス
ク負荷量は NASA-TLX[5] を，アンケートは 5 段階のリッカート尺度を用いた．NASA-TLX とは，ユーザーインター(a) 端末の傾き(b) 視点の移動

図 1: 端末の傾きと視点位置の関係© 2020 Information Processing Society of Japan

フェイスの評価でよく使われるもので，知的・知覚的要求（mental demand），身体的要求（physical demand），時間切迫感（temporal demand），作業成績（performance），努563

情報処理学会 インタラクション 2020
IPSJ Interaction 2020

2B-15
2020/3/9(a) サイコロ(b) サイコロ光反射(c) カップ(d) カップ光反射(e) スマートフォン(f) スマートフォン光反射

図 4: 商品の質感を確認している様子
力（eﬀort），不満（frustration）の 6 つの項目で成り立っている．それぞれに関する質問は決められており，100 点満点で点数をつけるものになっている．質感に関するアンケートの各項目の内容は，以下の通りである．

Q1．本物の物体のように感じられましたか（Reality）
Q2．物体の質感は十分に得られましたか（Material qual-

図 5: 仮想物体の提示例ity）
Q3．オンラインショッピングを考えたとき判断材料として満足のいくものでしたか（Satisfaction）

法間に有意差が認められるのかを検定した．アンケートの集計結果には Friedman 検定を用いて手法による主効果

Q4．この方式は便利でしたか（Convenience）が認められるのかを検定した．その後，事後比較としてQ5．操作していて楽しかったですか（Fun to use）

Steel-dwass 法を用いてどの手法間に有意差が認められる

最後に，実験全体に対する意見やシステムの感想を自由のかを検定した．に記述してもらった．

図 6(a) は，NASA-TLX の 6 つの評価項目に対して単純平均値を示したものである．時間切迫感に関してのみ，

3.2 質感認知タスク

ANOVA による分析の結果，手法による主効果が認められ，最初に，被験者には，オンラインショッピングで 3 つの事後比較の結果，Tilt と Swipe，Tilt と Both に有意差が商品の購入を検討しているという前提を説明した．その後，認められた．また，図 6(b) は NASA-TLX のスコアを示

手法ごとに操作の説明，練習時間を設け，図 3 のように特したものである．NASA-TLX のスコアに関して，手法に別な質感を付与していない立方体で操作の練習を行ってもよる主効果は認められなかった．図 6 および検定の結果よらった．商品である 3 つの 3 次元モデルについて，各モデり，提案手法は精神的，身体的要求は高いものの短時間でル 1 分の制限時間を設定し，質感を観察してもらった．ア

質感を認識可能であり，必要となる作業努力は少なくて済ンケートは商品毎ではなく，手法毎に取った．実験する手む可能性があることが示された．

法の順序はつりあいを持たせるためにラテン方格 [6] を使

図 7 は，すべてのアンケート項目について 5 段階の評用した．また，3 次元モデルは，様々な材質の物体の質感価の平均値をグラフ化したものである．5 段階の評価はを表現できることを確認するため，Unity Asset Store*1 上strongly disagree = 1, disagree = 2, undecided = 3, agreeのフリー素材を利用した．各モデルの光の反射の例を図 5= 4, strongly agree = 5 として集計した．Friedman 検定に示す．今回は物体細部の光の反射変化に注目して質感のによる分析の結果，Material quality と Satisfaction には手観察を行ってもらうため，鏡面反射の強いものを 3 つ用意法による主効果が認められ，事後比較の結果，2 つの項目した．

共に Tilt と Swipe，Tilt と Both に有意差が認められた．
図 7 および検定の結果より，Swipe，Both は Tilt に比べて3.3 実験結果

質感の認知に効果的であることが示された．

タスク負荷量，および質感に関するアンケートの集計結自由記述では，Tilt では物体の細部まで質感が確認でき，果を示す．タスク負荷量は，分散分析（ANOVA）を用いSwipe では自分の見たい面が見れるまで物体を回転させるて，手法による主効果が認められるのかを検定した．そことができたという意見が複数あり，傾きによる操作とスの後，事後比較として Holm-Bonferroni 法を用いてどの手ワイプによる操作では質感の観察に際して，異なる目的が*1達成されることが確認できた．その上で Both では物体とUnity Asset Store. https://www.assetstore.unity3d.com/© 2020 Information Processing Society of Japan564

情報処理学会 インタラクション 2020
IPSJ Interaction 2020

2B-15
2020/3/9

確認できた．

4. まとめ
本稿では，物体をユーザ視点で観察でき，細かな光の反射変化を通して質感を認知可能なシステムを提案した．評
価実験の結果からスワイプだけのシステムと両方を用いるシステムは，質感認知システムとして有用であり，効果的であることが示された．また，傾きだけでなくスワイプ操作を加えることで物体細部の質感観察と物体そのものの操(a) NASA-TLX の各評価項目の結果（*: p ＜ 0.05）作が同時に実現されていたことが自由記述の回答から確認でき，質感提示のシステムとして利便性が高まることが示された．今後，ディスプレイに表示する映像で個人差が出る違和感を改善することで，より一般的に本物と同じような質感を提示可能になることが期待できる．また，オンラインショッピングの想定により近い物体を用いての比較実験も新たに行う必要があると考える．
参考文献(b) NASA-TLX 全体の結果[1]

図 6: NASA-TLX の結果（エラーバーは標準誤差を示す．
）

[2]

[3]

[4]

[5]

図 7: アンケート結果（Q1〜Q7 まとめ．エラーバーは標準誤差を示す．*: p ＜ 0.05，**: p ＜ 0.01）[6]のインタラクションが生まれ，より深く観察しようと思えたという意見もあった．また，傾きでの操作にスワイプ操L. Spillmann and J. S. Werner. Visual Perception. Academic Press, 1990.
Wataru Wakita, Jiro Hara, and Hiromi T. Tanaka. A
Real-Object-Oriented Exhibition System of Ukiyo-e of
Anisotropic Reﬂection Properties. ITE Transactions on
Media Technology and Applications, Vol. 2, No. 3, pp.
209–216, 2014.
Ryota Nomura, Yuko Unuma, Takashi Komuro, Shoji Yamamoto, and Norimichi Tsumura. Mobile Augmented Reality for Providing Perception of Materials. Proceedings of
16th International Conference on Mobile and Ubiquitous
Multimedia, No. 501-506, 2017.
Jeremie Francone and Laurence Nigay. Using the User’s
Point of View for Interaction on Mobile Devices. Proceedings of I’Interaction Homme-Machine, pp. 25–31, 2011.
Sandra G. Hart and Lowell E. Staveland. Development ofNASA-TLX (Task Load Index): Results of empirical andtheoretical research. Advances in psychology, Vol. 52, pp.
139–183, 1988.
James V. Bradley. Complete Counterbalancing of Immediate Sequential Eﬀects in a Latin Square Design. Journalof the American Statistical Association, Vol. 53, No. 282,
pp. 525–528, 1958.

作が加わった今回の提案手法は，見たい面の細かい傷なども観察でき中古品に対してこのようなシステムがあると便利だという見解があった．操作面については Tilt，Swipeについては思ってたよりも動かなかったという感想が存在したが，Both では不自由に感じたという意見がなかった．
立体感については個人差があり，特に傾きを用いての操作では端末が傾いた分ディスプレイ面に対する視点位置が補正され高度な立体感覚が要されるようだった．このことが原因で，Swipe と Both を用いた有意な差が得られなかったと考える．しかし，質感を認知するということに関して
は，立体感を得られなかった人でもアンケートの Q2 にて質感を十分に得られたかに対して agree と回答している人がいたため，大きな障害になっているわけではないことが© 2020 Information Processing Society of Japan565