WISS 2019

スマートフォンを拡張した残像ディスプレイとインタラクション手法の提案
玉井 由良* 塚田 浩二*

概要． LED アレイ等を用いた残像ディスプレイは，浮遊感のある特徴的な映像表現等から幅広く利用されているが，インタラクティブ性に乏しいという制約があった．本研究では，スマートフォンと独自の回転ユニットを搭載したケース，及び専用アプリケーションを組み合わせて，インタラクティブな回転式残像ディスプレイを提案／試作する．さらに，本システムを用いたインタラクション手法の可能性や，応用例について議論する．

1 はじめに残像ディスプレイとは，LED アレイ等の表示器を一定のパターンで点滅させつつ空間上で移動させることで，残像により空間に映像を浮かび上がらせる表示手法である．手で左右に振るような手軽なコ
ミュニケーションツール 1 から，自転車のホイールに取り付けて走行中の車輪を装飾する用途 2 等，幅広く応用されている．残像ディスプレイの特徴として，安価かつ手軽に広い面をディスプレイと化すことができる点，浮遊感のある特徴的な映像表現を行える点が挙げられるが，インタラクティブ性が低いという制約があった．
こうした制約を解消するために，我々はスマートフォンのディスプレイ自体を残像ディスプレイとして扱うことに着目した（図 1）．

図 1．本システムの概要．スマートフォンに回転機構ユニットを一体化することで，通常状態（上）と回転時の残像ディスプレイ状態（下）を併用した新たなインタラクションを目指す．

具体的には，スマートフォンに回転ユニットを搭載したケースを装着し，スマートフォンの利用中にふと回転させる．ここで，角速度センサなどを用い
Copyright is held by the author(s).
* 公立はこだて未来大学
1 Nolia3220 (NOKIA)
2 monkey light PRO (monkey lectric)て回転速度を検出し，画面の一部を速度に合わせて明滅させることで残像ディスプレイを構築する．さらに，日常的なスマートフォンの利用状態と，回転時の残像ディスプレイ状態を組み合わせた，新たなインタラクション手法や応用例の構築を目指す．

2 関連研究本研究に関連する，残像ディスプレイを扱った研究と，スマートフォンを拡張した研究について紹介する．
2.1 残像ディスプレイを扱った研究
TWISTER[4]では，ユーザの周囲に数層からなる大型の LED パネルを円形に並べてユーザを中心として回転させる大型の残像ディスプレイを開発しており，立体映像の提示や遠隔地コミュニケーションへの応用を示している．PhantomParasol[5]は，傘の内部に複数の LED アレイを搭載したデバイスである．傘を回転させることで傘全面を残像ディスプレイとしている．傘を開いた状態では大まかな情報提示を行い，回した状態では詳細な情報提示を行うことができる．Phyxel[6]では，複数の素材でできた円盤を高速で回転させ，高速制御可能なプロジェクターから光のパターンを投影することで，映像に素材の質感を付与することができる残像ディスプレイを提案している．iSphere[1]では，ドローンの周囲に複数の LED アレイを搭載して回転させることで，全方位に映像を表示しながら飛行可能な浮遊球体ディスプレイを実現している．
2.2 スマートフォンを拡張した研究
ExtensionSticker[2]は，導電性インクでパターンを描いたシールの一部を静電容量式タッチパネルに貼りつけることで，パターンに応じた様々な入力操作に活用できる．MagNail[3]では，磁石をネイルに仕込むことで，スマートフォンの磁気センサで指のWISS 2019動きを認識し，タッチ操作と合わせた多様な操作が可能になる．SENSECASE[7]はスマートフォンのカメラ部に小さな人形が付いているケースで，人形の変形をカメラで識別することで直感的にスマートフォンの入力操作を行うことができる．例えば人形の頬をへこませることで，嫌な顔をした顔文字を入力したり，耳を塞ぐことで着信を拒否することができる．

4 実装
ここでは，提案システムの主要な構成要素として，回転ユニット付きケースと，制御アプリケーションについて述べる（図 3）．また，描画内容の編集を行うためのエディタについても述べる．

2.3 本研究の特徴
このように，残像ディスプレイの実現手法や応用例，及びスマートフォンを拡張したインタラクション手法は多数提案されている．一方，本研究では，スマートフォンを拡張したインタラクティブな残像ディスプレイを構築し，静止時／回転時を組み合わせた新たなインタラクション手法の実現を目指している．

3 提案
我々は，一般的なスマートフォンを拡張した回転式の残像ディスプレイを提案する（図 2）．本研究の特徴は以下の 3 点である．
1. インタラクティブ性の高い残像ディスプレイ
2. 内蔵センサを用いた品質向上
3. 静止時／回転時を組み合わせたインタラクシ
ョン
一点目は，スマートフォンのタッチパネルやマイク，スピーカーなどを利用して，インタラクティブ性の高い残像ディスプレイを構築することである．
例えば，タッチパネルや音声入力で表示内容を指定することや，回転中のタッチパネルに触れてインタラクションを行うことができると考える．
二点目は，スマートフォンの内蔵センサを用いた残像ディスプ
レイの表示品質の向上である．具体的には，ジャイロセンサを用いて回転速度を検出することで，残像の定時間隔を調整したり，回転ユニットの一部に磁石を仕込み， 内蔵の磁気センサを用いることで，描画開始位置の調整に利用する．三点目は，スマートフォンの静止時／回転時を組み合わせた新たなインタラクションの構築を目指す点である．回転機構を組み込んだケースは持ち手を収納可能な設計とする
ことで，通常のスマートフォンとしての利用と，インタラクティブな残像ディスプレイとしての利用を連携しやすいように配慮する．

図 2．提案システムのコンセプト

図 3．システム構成

4.1 回転ユニット部
回転ユニット部は，回転機構を組み込んだスマー
トフォンケースと，手で保持するためのグリップから成る（図 4）．

図 4．初期回転ユニット外観．左: ケース，右: グリップ

本システムでは当初一般的な Android スマートフォン（FLEAZ Que+N／covia 社）を用いていたが，動作速度／リフレッシュレート等に課題があったため，現在は 120Hz のリフレッシュレートを持つ高性能な Android スマートフォン（AQUOS Rcompact／SHARP 社）を用いて実装を進めている．
ケースはこれらのスマートフォンのサイズを計測し，個別に設計した．ケースのサイズは対応するスマートフォンのサイズより一回り大きい程度（例: Aquos
R Compact 用なら縦 135cm x 横 69 ㎝）で，グリップは縦 10cm，横 5cm とした．重量は合計 30g 程度である．回転機構には，摩擦が少ないため小さい力で回転でき，回転が持続しやすい特徴からボールベアリングを採用した．ケースの背面に窪みを設け，回転を滑らかにするために事前に脱脂／注油したボールベアリングを組み込んだ．ボールベアリングの配置は，回しやすさ等を考慮してスマートフォンの背面の中央部とした．グリップは手で持ちやすいよ
うに配慮した波形の形状とし，上部にボールベアリングと接続する棒状の突起を持たせた．また，残像ディスプレイの表示位置の補正に利用するために，磁石を固定する機構も用意した．
スマートフォンを保持し回転させる基本的な機能に問題はなかったが，グリップが大きいこと，ケースマートフォンを拡張したインタラクティブな残像ディスプレイの提案スから取り外して別々に持ち運ばなければならないことから，携行性に難があるという欠点があった．
そこで，ケースと持ち手を一体化させた改良型を試作した（図 5）．縦 6cm，2cm 程度の横持ち手を根本から 90 度稼働させることが可能であり，収納時はケースにロックして固定することができる．これ
により，手軽に携行しつつ，スムーズに回転可能状態に移行できるよう配慮した．磁気センサでの補正に用いる磁石は試行錯誤の結果，ケースの裏側，回転軸から 2cm のところに配置することとした．重量は合計 30g 程度である．これらの筐体は，3D プリンタを用いて ABS 樹脂で出力した．図 6 にスマートフォンを回転させて残像表示させる様子を示す．

回転時を認識して残像表示画面に遷移したり，回転速度を検出してパターンの点滅間隔を調整する．磁
気センサは，回転ユニットに仕込んだ磁石の上をセンサ内蔵部が通過するタイミングを検出することで，残像表示における描画開始位置を補正する目的で利用する．
アプリ連携部では，残像表示するためのパターンや文字入力を行ったり，後述する応用アプリケーシ
ョンとの連携を行う．残像のパターンの入力方法について，本システムではテキストなどを二次元配列のパターンに変換し残像表示を行っているが，独自の図表を描画／編集するために，円形グリッド型のエディタを作製した（図 7）．Android 端末上で動作し，任意のグリッドをタップすることで，テキストや図形を描くことができる．現時点では，残像表示
時の視認性や操作感などを考えて縦 10 列／横 30 列の円状の描画解像度を想定している．入力したテキストや図形の情報は二次元配列に格納されて端末のストレージに保存され，残像表示を行う別アプリケーションから参照される．

図 5．改良型回転ユニットの外観と利用時の変形の様子／磁石の位置（丸）図 7．エディタにより描画内容を編集する様子

図 6．利用例．ケースにスマートフォンを装着／回転させることで残像表示を行う．

4.2 制御アプリケーション
次に，スマートフォン上で動作するソフトウェアについて説明する．ソフトウェアは大きく残像表示部，センサ制御部，アプリ連携部から構成される．
残像表示部では，入力したテキストや図形を変換し，残像として表示する．テキストなどを二次元配列のパターンに変換し，一列ずつ一定間隔で切り替えて明滅させることで，スマートフォンの回転に伴い，残像によりテキストなどが浮かび上がる．表示
色は調整可能であるが，一般的にコントラスト比が高い方が残像の視認性が高まるため，標準の設定では背景を黒色／パターンを白色とした．
センサ制御部では，残像ディスプレイの視認性を向上させるため，ジャイロセンサや磁気センサを用いた表示補正を行う．ジャイロセンサは，静止時／

4.3 応用例
ここでは，提案システムの応用例として，試作したアプリケーションと，設計中のアプリケーションの構想を記す．
4.3.1 回転レコードプレイヤー
残像表示部／センサ制御部と連携したいくつかのアプリケーションを試作している．レコードアプリ
では，回転する筐体をレコード，指を針に見立て，回転時に画面を軽くタップし続けることで音楽を再生することができる（図 8）．力一杯回転させ，かつ画面に触れない場合，筐体は約 30 秒間回転し続ける．一方，回転中に画面を軽く触れ続けた場合，回転時間は 10 秒程度に低下する．よって，長い音源を再生する場合は，定期的に指で円盤を回すように力を加える必要がある．

WISS 2019などに繋げられる可能性がある．このような方法で残像ディスプレイを大型化することで，即席の電光掲示板として，見通し距離にいる相手にメッセージを送るコミュニケーション用途での活用を図る．

図 8．回転レコードプレイヤーの例．回転する画面をレコード／指を針に見立てて，触れているときだけ音楽が再生される．

停止時の画面にはレコードを模した赤いパターンを配置し，回転時には曲名の一部などをテキストで残像提示することができる．また，回転の早さに合わせて音楽の再生速度を連動させるような仕組みも用意している．
4.3.2 回転肉焼き機
回転肉焼き機（図 9）は回転式の肉焼き機をイメージして制作したゲームである．回転を開始すると肉を焼き始め，画面には残像で炎が表示される．回
転速度に応じて炎が強くなる．炎の強さと回転時間を加味しながら，ユーザは回転を止めるタイミングを探る．
ちょうどよいタイミングで回転を止めると，よい色で肉が焼け，短すぎる／長すぎると生焼け肉や黒焦げ肉ができてしまう．

図 10．大型化したディスプレイと回転の様子

4.3.4 開発中の応用例
本システムの応用可能性を議論するために，開発途中のアイデアについて紹介する．
まず，「高速スクロールアプリ」についてである．
スマートフォン状で膨大な量のリストをフリック操
作での閲覧は大変である．そこで，通常のフリック操作に加えて，一度に大きく移動したい場合にスマートフォンを回転させることで，回転速度に応じた超高速スクロールを行う．回転中にはリストの中の大まかな位置等を残像表示することで，停止タイミングを予測しやすいよう配慮する．
（図 11）．

図 11．回転動作を用いたスクロール機能のイメージ．指で行う通常のスクロール（左）と，回転動作を用いた大幅なスクロール（右）を使い分けることができるようにする．
図 9．回転肉焼き機の例．丁度良いタイミングで止めるとこんがりと焼ける（上）が，焼きすぎると焦げてしまう（下）．

4.3.3 ディスプレイの大型化
一般に残像ディスプレイは，電光掲示板のようにやや離れた箇所にメッセージを伝えるために利用できるが，現状の回転ユニットはスマートフォンの中央に回転軸があるため残像の表示面積が小さい問題がある．ここで，回転軸をスマートフォンの端付近や，外部に設けることで，表示面積を大型化することができる．そこで，二台のスマートフォンを連結し，その中間に回転ユニットを備えた筐体を試作した（図 10）．現状では一台のスマートフォンはカウンターウエイト（錘）の役割として設置しているが，両端末を同期させて描画すれば，解像度の向上

次に，ディシジョンメーカーアプリについてである（図 12）．例えば近隣の飲食店を検索したが数が多すぎて決められない場合など，スマートフォンの操作中に（ある程度ランダムな）意思決定が求められることがある．こうした意思決定を補助するツールとして，回転動作を用いたディシジョンメーカー
アプリを提案する．複数のリストを入力してスマー
トフォンを回転させると，ルーレットのように項目が順次表示され，停止したタイミング等に応じて一つの選択肢を選び，意思決定に活用することができる．特に飲み会後の二次会等，複数人で次の行動がなかなか決められない場合等に，分かりやすく意思決定の様子を見せられるため，有効活用できると考える．実際のルーレット（や回転式のディシジョンメーカー）のように，身体性を伴う見た目にも分かりやすい操作ができると考える．

スマートフォンを拡張したインタラクティブな残像ディスプレイの提案

図 12．ディシジョンメーカーアプリのイメージ．選択肢を設定後（左），回転させることでルーレットが開始し，回転が停

図 13．ジャイロセンサ値（高速）. 縦軸: rad/s，横軸: 秒．

止したときに結果が確定する（右）．

5 議論
本システムについて，「センサを用いた描画制御機能の検証」，「動作確認用の電動回転機構」，「残像の視認性」と言った視点から議論する．

次に磁気センサの結果を以下に示す．まず磁石なしで高速回転させた際の結果について図 14 に示す．
結果から，X 軸／Y 軸が約 0.2 秒周期で約-30～30μT の間で変化しており，安定して地磁気を計測できていると考えられる．

5.1 センサを用いた描画制御機能の検証
本システムでは各センサ値を用いて描画の調整を行う．そこで，本システムの予備実験として，「ジャイロセンサを用いた回転動作の認識」，「磁気センサを用いたグリップ部の磁石検出」が可能かを調査した．具体的には，ディスプレイを上に向けて地面と水平にした状態で，手動で時計回りに回転を加え，低速回転時（秒間 1 回転程度）と高速回転時（手動で力一杯回した状態，秒間 8 回転程度）のセンサ値を取得しグラフ化して検証した．加えて，グリップ部の磁石を着脱して，磁石の有無による磁気センサ値の違いも調べた．なお磁石の強さについて，後述
する検証結果では約 1000μT の磁束密度を観測した．
用いた機種は，
SHARP 社の AQUOS R compact（以下 AQUOS）
で，ケースは改良後のものである．
センサの反応速度の設定として，遅延のないSENSOR_DELAY_FASTEST を適用したところ，各センサのサンプル周波数はジャイロセンサが5ms，磁気センサが 20ms であった．
まずジャイロセンサの結果を図 13 に示す．センサの値が約 34rad/s（秒間 5 回転半程度）の速度で飽和し，それ以上の高速回転では検出が困難なことがわかった．なお，ジャイロセンサの Z 値（緑色）は，0 から徐々に値が下がり，-34 に到達後正負が反転し，34 となった．この状況は，センサの計測限界値を超えた結果の挙動ではないかと推察され，低速回転に戻ると，再び-34 から 0 に近づくことを確認した．

図 14．磁気センサ値(磁石なし／高速)．縦軸: μT，横軸: 秒．

次に，磁石をつけた状態で低速回転／高速回転させた際の結果を図 15 と図 16 に示す．低速回転時では，約 1 秒周期で X 軸／Y 軸がそれぞれ 1000μT／600μT まで大きく変化しており，磁石の上をセンサが追加するタイミングを安定して計測できていると考えられる．一方，高速回転時においては，約0.2 秒周期で X 軸／Y 軸がそれぞれ約 800μT／600μT まで変化する傾向はみられるものの，データの取りこぼしが発生する場面（例: 0.6 秒付近）や，変化量が小さい場面（例: 1.9 秒／2.6 秒付近）も確認された．現時点でも磁石を用いた残像表示位置の調整はある程度機能すると考えられるが，今後は磁石の強さ／配置等の更なる調整と検証を進めたい．

図 15．磁気センサ値(磁石あり／低速)．縦軸: μT，横軸: 秒．

WISS 2019

図 16．磁気センサ値(磁石あり／高速)．縦軸: μT，横軸: 秒．

5.2 安全性
レコードアプリ等においては，回転する画面にタッチするインタラクションを提案しているため，安全性や心理面への配慮が必要である．画面中央部では指を挟む可能性はないため問題ないが，画面端部をタッチする場合，指を挟む（指の側面に回転する筐体がぶつかる）可能性がある．実際には，スマー
トフォン自体の重量が軽く，手動での回転であるためケガにつながる可能性は低いが，心理的負担も影響するため，留意しながらインタラクション手法を設計していきたい．

トを搭載したケース，及び専用アプリケーションを組み合わせて，インタラクティブな回転式残像ディスプレイを提案した．日常的なスマートフォンの利用状態と，回転時の残像ディスプレイ状態を組み合わせた，新たなインタラクション手法や応用例の構築を目指す．こうした目的のために，プロトタイプの設計，応用例の提案，及び基礎的な描画補正機能の調査等を行った．
今後は，残像ディスプレイとしての性能向上や応用例の拡張を進める．前者については，残像の明滅間隔やパターン配置を調整したり，より高輝度／高リフレッシュレートのスマートフォンを利用することで解像度や視認性の向上を図る．
後者については，現在開発途中の応用例を実装し，ユーザテストを通して視認性／使いやすさ／面白さ等を多角的に検証する．さらに，内蔵カメラ／スピーカー等も活用した更なる応用例を模索していきたい．

参考文献
[1]

iSphere:Self- Luminous Spherical Drone Display.
UIST '17 Proceedings ofthe 30th Annual ACM

5.3 残像の視認性
現状の描画の設定として，円周辺り縦 10 列／横30 列のマトリクス表示を行っている．まず，横方向のピクセル数は以下のように決定した．予備実験で検証したジャイロセンサの計測可能速度（最大秒間5.5 回転）に対して，想定回転速度を約 1300deg/s（秒間 3.6 回転）と仮定した．プロトタイプでの 1回あたりのピクセルの点灯時間は輝度に配慮して9ms としており，1 ピクセル当たりの描画角度は1.3 × 9 = 11.7 deg となる．すなわち，円周辺り 360/ 11.7 = 30.8 回の描画が可能になるため，横方向のピクセル数は 30 列とした．縦方向のピクセル数は柔軟に設定できるが，横方向とのバランスを考慮して，縦 10 列とした．
視認性の定量的評価はまだ行っていないが，10 人程度に簡単なインタビューを行ったところでは，簡単な模様であれば安定して視認可能だが，複数の文字からなる単語等では大半が初見ではわからないと回答した．これについて，位置補正機能が甘く描画がずれてしまうことや，荒めの独自フォントを利用したためユーザが不慣れで認識しにくかったこと等が原因として考えられる．また，画面の輝度の関係で日中の明るい屋外での視認性は多く低下する課題がある．

6 まとめと今後の展望
本研究では，スマートフォンと独自の回転ユニッW. Yamada, K. Yamada, H. Manabe, and D. Ikeda,Symposium on User Interface Software and[2]Technology. 2017, p. 635-643.
加藤邦拓, 秋山耀, 宮下芳明. タッチ入力の柔軟な再配置を可能としたインタフェースの作成支援. 第 22
回インタラクティブシステムとソフトウェアに関するワークショップ論文集(WISS2014). 2014, p. 151-

[3]

152.
門村亜珠沙, 椎尾一郎. MagNail:爪装着型磁石を用いたモバイル端末インタラクション. インタラクシ
ョン論文集 情報処理 学会シンポジウムシリーズ.

[4]

2014, vol. 2014, p. 193-198.
國田豊, 尾川順子, 佐久間敦志, 稲見昌彦, 前田太郎,
舘暲.没入形裸眼立体ディスプレイ TWISTER I の設計と試作. 映像 情報メディア学会論文誌. 2001,[5]

vol. 55, no. 5, p. 671-677.
塚田浩二, 増井俊之. PhantomParasol:なめらかな粒度の情報を伝える傘型情報提示機構. WISS2005 論文集. 2005, p. 57-62.

[6]吉田貴寿, 渡辺義浩, 石川正俊. 周期運動する実物体と高速時分割構造化光を用いたリアリスティックディスプレイの開発. 日本バーチャルリアリティ学会
論文誌. 2017, vol. 22, no. 2,p. 229-240.

[7]

渡邊千紘, カシネリアルバロ, 渡辺義浩, 石川正俊.
フラットな情報端末の物理的な拡張に向けたカスタ
ム型柔軟体ユーザインタフェース. 第 19 回日本バーチャルリアリティ学会大会 (VRSJ 2014) (名古屋,2014.9.19)/論文集. 2014, p. 427-430.