情報処理学会 インタラクション 2015
IPSJ Interaction 2015A24
2015/3/5

FlashTouch: タッチスクリーンを用いた双方向通信
尾形 正泰†1, 2	  	  山本 裕貴†1	  	  今井 倫太†1	  	  	 	  	 概要：FlashTouch[3]はタッチスクリーンを搭載したモバイル端末と双方向通信を実現する通信方式および技術である．
タッチスクリーンは光を放出する液晶パネルと，静電容量によって指の接触を認識するデジタイザーで構成されているため，この２つをインプット・アウトプットとして用いる．スタイラス型の FlashTouch 端末により，投影型静電容量タッチスクリーンを有するすべてのデバイスで使用する事ができ，ユーザ間のデータの受け渡しやデバイス間のシームレスなデータの移動といった，実世界でのデバイスに即した情報共有が可能になる．そのため，無線通信やユーザアカウントを用いたデータの移動といった知識がなくても使用できるインタフェースを実現できる．最後に，ユーザ間のデータ共有や，スマートフォンを経由した決済のアプリケーション例を示す．

FlashTouch: Data Communication through Touchscreens
MASA OGATA†1	  	  YUKI YAMAMOTO†2	  	  MICHITA IMAI†2	 	  	 Abstract: FlashTouch [3] is a new transmission method and technology that enables data communication between
touchscreen-based mobile devices and digital peripheral devices. Touchscreen can be used as communication media using visible
light and capacitive touch. In this paper, by a stylus prototype of FlashTouch, users can easily transfer data from one mobiledevice to another. It eliminates the complexity associated with data sharing among mobile users, which is currently achieved byonline data sharing service or wireless connection for data sharing that needs pairing operation to establish connections between
devices. Therefore, it can prove to be of particular significance to people who are not adept at current software service andhardware function.

1. は じ め にデータを押し出すインタラクションを可能にした．	  モバイル端末に関わる技術の進歩と市場の成長によって，モバイルは多機能の方向性と複雑な操作の方向に成長している．それにもかかわらず，すべてのユーザが端末に組み込まれた機能やアプリケーションを使いこなしているわけではない．例えば，中間的な知識レベルのユーザであれば写真や個人情報といったデータの交換を容易に行うことができるが，初心者や端末についての知識が未熟なユーザには難しい．モバイル端末で情報を移動する方法の多くは無線通信であり，その原理とアルゴリズムをユーザがすべて理解するのは困難である．また，オンラインサービスを用

図 1	  FlashTouch 端末を用いてモバイル端末間でデータをいたデータの移動の操作はユーザを困惑させる場合がある．

移動する．

無線通信はデータの移動をブラックボックス化して，ユー

Figure 1	  Using the stylus prototype to capture data displayed

ザの視界から隠してしまうという副作用がある．

on a touchscreen.	  FlashTouh はタッチスクリーンを利用したデータ通信と	  データを移動する際に FlashTouch 端末は，タッチスクリいうハードウェアによる解決策を用いることで，モバイルーンに表示された情報を格納するための外部ストレージと端末およびその他のデバイス間の操作におけるユーザ体験して機能する．FlashTouch 技術を搭載した外部デバイスは，を向上させることができる．我々は FlashTouch 端末をスタユーザにとってモバイル端末のための USB メモリのようイラス型のプロトタイプに実装することにより，図１に示な存在である．ユーザは吸い出したい情報の上にデバイスすスポイトのような操作で FlashTouch 端末がモバイル端末を置き，それを別の端末などの空白スペースに載せることからデータを吸い取り，別のモバイル端末に載せることででデータの移動が完了する．そのため，ユーザは画面上の情報をタンジブルなオブジェクトとして扱いながら，モバ†1 慶應義塾大学大学院理工学研究科／日本学術振興会特別研究員 DC1
Keio University, Graduate school of Science and Technology / JSPS DC1†2 慶應義塾大学理工学部
Keio University, Faculty of Science and Technology© 2015 Information Processing Society of Japan

イル端末を操作することが可能になる．FlashTouch 端末の中にリレースイッチを埋め込むことで，静電容量タッチパ

244

ネルによるタッチセンシングの判定を電子的に変更するこィオプラグへのジャックの抜き差しが必要になる．また，とができる．また，光センサによって液晶パネルからの信FlashTouch ではスタイラスのような外部デバイスに ID を号をデジタルデータに変換することができる．FlashTouch

格納する方法を用いてデータ移動を行う．TUIC[7]は同様のの通信速度は他の主流な無線通信方式に比べて低速である

方法でタッチスクリーンに向けてデータを移動する方法をが，本技術はモバイル端末を使用するユーザに対して，す提案した．タッチスクリーンに指を触れるのと同じ効果をべてのスマートフォン端末が搭載しているタッチスクリー与えるデバイスを作成し，リレースイッチによって接触とンの特性を活かした通信方式を提供することで，直感的な非接触の状態を時間分割で作り出す．それに対して，インタラクションを提供するものである．加えて，実装はFlashTouch は双方向通信のうち，静電容量による通信をマイコン，光センサおよびメカニカルスイッチという安価TUIC と同様の方法で行っているが，光と静電容量の通信で簡素な要素で構成される．

部 分 を 統 一 す る な ど ， TUIC と は 異 な る ． CapStone andFlashTouch を用いたアプリケーションは以下のユーザ体験

ZebraWidgets[1]は静電容量が変化する物理的なオブジェクを実現する．

トをタッチスクリーン上で用いることで，複数レイヤーのlll

未認証な端末との通信を避けるためのペアリングとタンジブルインタラクションを提供する．静電容量を利用その操作時間を必要とする方式に対して，FlashTouchする点では同じだが，タッチ情報をデジタル化することでは実世界での位置関係およびユーザ同士の身体的操移動可能な情報にする点で FlashTouch と異なる．

作によってデータの移動を行う．	  可視光通信を用いたディスプレイベースドコンピュータ

複数の無線によるデータ転送方法に対して，通信経路（DBC）[5]はディスプレイからの光を情報としてロボットを視覚化し，ユーザが外部デバイスを手でつかみ，スなどの制御を行う．ディスプレイから情報を取得する点でポイトのように移動できるインタラクションによりFlashTouch に共有するが，FlashTouch ではスタイラスなどデータの移動についての理解が容易なユーザ体験をの外部デバイスが接触する位置でプログラマブルに光を出提供する．

すため，ユーザには物理てきな通信が隠蔽されているデザ

複雑になったデータの移動やデバイス間での転送にインを行っている．

ついて，スポイト操作によってユーザが直感的な操作ができるよう，FlashTouch によるデータの入出力を定

3. FlashTouch

義した UI 設計を定義して，データ通信時にはユーザFlashTouch は液晶パネルによる光を光センサでバイナリ化の視覚体験には影響のない UI を提供する．

する手法と，リレースイッチを用いて投影式静電容量タッ

2. 関 連 研 究

チスクリーンに対するタッチ情報を生成する方法を組み合わせた技術である．FlashTouch は２つの異なる通信媒体を	  FlashTouch で実現されるユーザ体験に関連した研究は，まとめて使用することで，タッチスクリーン上での双方向すでに複数行われている．Pick-and-drop[4]では ID を付与し通信を実現する．FlashTouch を使うことで，投影式静電容たスタイラスペンを用いた操作によって複数のコンピュー量タッチスクリーンを持つモバイル端末が FlashTouch の方タ間で画面上のデータ移動するコンセプトが提案された．

式を実装したどのような形態の端末とも双方向通信を行う

FlashTouch では特定のネットワーク領域に接続していないことができる．Apple の iPhone を始めとして，多くのタッモバイル端末同士でも通信を可能にし，ペン内部へのデーチスクリーンはユーザの指に反応するように静電容量の値タの入出力も可能である．SPARSH[2]は複数のコンピューを調整してあるため，ソフトスイッチよりも多くの電力をタや端末間でデータを共有するための自然なインタフェー消費するが，リレースイッチを用いることで解決した．

スを提供するアイディアである．SPARSH を使うには，ユーザはデータ共有の前にそれぞれのデバイスを一意のパターンを画面に描くことで認証する必要がある．対してFlashTouch ではデバイスの事前認証をする必要はなく，タFlashTouch device

PhysicalIO

Phototransistor

readMCU

write

Capacitive
sensingLightemittion

ッチスクリーンへのデータの入出力は，例えばセンサモジ

Relayswitch

Touchscreen

ュールやロボットデバイスなどのモバイル端末以外からも行うことができる．	  FlashTouch で実現できるインタラクションは，他の解決策と比較していくつかの点で効果的である．例えば，モバ
イル端末に付属しているオーディオプラグから外部端末にSoftware
processing

EncodeDecodeSending Data

Received Data

信号を入出力することで通信する方法[6]が存在するが，こ図 2. タッチスクリーンを用いた双方向通信の概要.の方法ではオーディオプラグを塞いでしまったり，オーデ

Figure2. Concept of data communication through touchscreens.

© 2015 Information Processing Society of Japan245

3.1 技 術 的 詳 細[init3])，ここで以降の受信データの時間分割のタイミング	  FlashTouch は iPhone4 と iPad3 を用いて開発とテストをを調整する．5bit 目からのデータはバイトコードしてアプ行った．その際，タッチスクリーンの液晶パネルからの光リケーション側に渡されるか，外部デバイスに格納される．

信号のスイッチング速度は最短で 0.02 秒であり，静電容量終端文字である‘¥0’を受信した段階で受信を終了し，待方式によるタッチセンシングの速度は最短で 0.03 秒であ機状態[wait]に戻る．データ長などに問題がある場合には，った．すべての送受信に関わるバイトコードは ASCII コー

アプリケーション層でデータの正確性が判定される．

ドに変換される．例えば”A”という文字を送信する際には 0x41 に変換され，光と静電容量の物理層を通過する際に0(A)waitはバイナリとして 01000001 として転送される．ここでは，

0

画面が黒い状態もしくはペン先が離れて光が取得できないinit 3080

状態，およびペン先が離れてタッチ情報が取得できない状態を，終端状態として認識できるようにするためである．
さらに高速な通信を行うには通信チャネルを複数にする方法や，光の RGB のレベルを多重化する方法が考えられる

0RECV0start
RECVTstart
SEND

LL
RECV1

RECV0

T: Touched (1)L: Left (0)init 3L8

110L
init 2ε1Linit 11

タイラス型のデバイスをタッチスクリーンに載せる場合，

TT

quit
RECV

quit
SEND

init 2が 0 として認識される．この通信文字の規定は，例えばスεε0

init 1
quit
RECV

start

wait

11ε

ディスプレイでの黒が 0，白が 1 として表現される．また，タッチパネルでのセンシングでは，接触状態が 1，非接触L(B)

start

start
RECVTTL

RECV1が，今回は双方向のデータ単位を揃えるためにどちらもバ

図 4. 非決定性オートマトンを用いたプロトコルの説明図．

イナリ信号を用いた．なお，iPad を使用すれば 11 本までダイヤグラムはそれぞれ(A)タッチスクリーンからの光のの指の認識が可能なため，理論上は 366bps まで高速化する

センシングと，(B)モバイル端末へのタッチ情報である.

ことができる．

Figure4. Protocol written in NFA (Nondeterministic Finite

3.2 通 信 方 式Automaton). Diagram represents reception design of (A) reading

FlashTouch 技術を搭載した端末とモバイル端末の間で転送

light on FlashTouch device and (B) sensing touch on mobile

されるデータのフォーマットは図３のようになっている．

application.

まず先頭の４ビットは初期化コードして送信され，ノイズや他の信号と送信するデータとの区別を行っている．この４ビットは送受信を指定するコマンドになっており，初期化コードの後に送られるデータを格納することを指示する
RECV は 1010，逆に初期化コードを送る端末にデータを送信することを指示する場合には SEND として 1011 を送信する．バイナリデータの送信間隔時間は決められているため，先頭の 3bit で初期化を行い，送信か受信可を次の 1bitで判断する．初期化コードの次の 8bit はデータ形式もしく
はデータ長を格納することで，決められた長さのデータを

図５. スタイラス型のハードウェア設計.

受信できない場合にはエラーとみなすことができる．また，

Figure 5. Hardware design of stylus type.

バリティチェックのためのコードも付加できる．なお，その後ろのデータ内容部分には，終端文字‘¥0’以外のバイ

4. プ ロ ト タ イ プ デ ザ イ ン

ナリデータを格納することができ，基本的には ASCII コー

4.1 ス タ イ ラ ス 型 FlashTouch 端 末ドを想定している．

FlashTouch のプロトタイプとして図５に示すスタイラス型のデバイスを設計した．スタイラス内に生じする内部キャパシタンスを低くするために，スタイラス先端の画面に接触する部分と，リレースイッチとの距離を短くしている．
先端には導電性スポンジを用いており，その中央には画面

図 3. 送受信データのフォーマット.

からの光を取得する光センサを配置している．フォトトラ

Figure3. Data format.

ンジスタには新日本無線の NJL7502L を，リレースイッチ

通信プロトコルは図４に示したオートマトンで表現される．には HSIN DA PRECISION Co., Ltd.の Y14H-1C-3DS を用い4bit の初期化コードによって送受信の判定を行い([init1] ~た．光センサからの値を A/D 変換し，またデータを格納す© 2015 Information Processing Society of Japan

246

るためのマイコンには AVR チップ ATmega328p と Arduinoを使用した．
4.2 ソ フ ト ウ ェ ア イ ン タ フ ェ ー ス
モバイルアプリケーションを FlashTouch に対応するために，ユーザフレンドリーな UI の設計を行った．FlashTouch で用いられる UI では，画面上で情報を持つビューと情報を持たないビューに分けられる．情報を持つとは，写真やテキストなどの情報を表示している領域を意味する．逆に情報がないとは，リストなどのマージンや UI コンポーネン
トの空白部分を意味する．実際の使用手順は図６に示してある．情報の表示されている部分にスタイラスを置いた場
合には，画面から送信されるデータは先端が 1010 (RECV)

図７．iPhone アプリにおけるデータ転送のイメージ．

で始まるものであり，スタイラスは送られたデータを受信

Figure 7. Concept of data transmission between iPhone apps.

する操作を行う．逆に，空白の領域にスタイラスを置いた
場合には先端が 1011 (SEND)で始まるデータがスクリーン

6. 結 論から送られ，それを受け取ったスタイラスは格納されたデ現行のスマートフォンに搭載されているタッチスクリーンータをタッチ情報として送信し始めるこの時，画面上で表の特性を用いることで，ユーザ間および複数デバイス間で示される 2 値の光はスタイラスの下に隠されているため，のデータ共有を可能にする技術と手法を提案した．

ユーザは実際の通信を見ることはない．ユーザがデータのFlashTouch は実装が簡易で安価な上，データの移動や通信送受信の完了を理解するために，音とインジゲータによるについてハードルのあるユーザが身体動作を用いてデータフィードバックを行っている．以上のように，FlashTouchを移行できる点が特徴である．の送受信の機能に対応するための画面の設計を行うことで，	  謝 辞 	  FlashTouch の作成と動作検証にご協力頂いた皆ユーザはスポイトによってデータを吸い出し，また吐き出様に，謹んで感謝の意を表する．

すという操作をスタイラスを移動させる動作で実現するというインタラクションを提供する．

Data
area

Read fromtouchscreen(Initial code “1010”)

Blank
area

Touchscreen

Write totouchscreen(Initial code “1011”)

Mobile phone

図 6. 送受信の実行はユーザがスタイラスを置く位置によって決定される.
Figure 6. UI works as selective view area depends on content
when stylus is put.

5. ア プ リ ケ ー シ ョ ン
ユーザ間でデータを共有する iPhone/iPad アプリを開発し

参考文献
1) Chan, L., Müller, S., Roudaut, A., and Baudisch, P. CapStones andZebraWidgets: sensing stacks of building blocks, dials and sliders on
capacitive touch screens. In Proc. CHI (2012), 2189–2192.
2) Mistry, P., Nanayakkara, S., and Maes, P. SPARSH: passing datausing the body as a medium. In Proc. CSCW (2011), 689–692.
3) Ogata, M., Sugiura, Y., Osawa, H., Imai, M. FlashTouch: Data
Communication through Touchscreens. In Proc. CHI (2013),2321-2324.
4) Rekimoto, J. Pick-and-drop: a direct manipulation technique formultiple computer environments. In Proc. UIST (1997), 31–39.
5) Sugimoto, M., Kodama, K., Nakamura, A., Kojima, M., and Inami,
M. A Display-Based Tracking System: Display-Based Computing for
Measurement Systems. In Proc. ICAT (2007), 31–38.
6) Verma, S., Robinson, A., and Dutta, P. AudioDAQ: Turning theMobile Phone’s Ubiquitous Headset Port into a Universal Data
Acquisition Interface. In Proc. SenSys (2012), 151–152.
7) Yu, N.H., Chan, L.W., Lau, S.Y., Tsai, S.S., Hsiao, I.C., Tsai, D.J.,
Hsiao, F.I., Cheng, L.P., Chen, M., Huang, P., and Hung, Y.P. TUIC:
enabling tangible interaction on capacitive multi-touch displays. In Proc.
CHI (2011), 2995–3004.

た．使用シーンは図１を想定している．はじめに転送したいファイルに割り当てられたキーを FlashTouch 端末で移動する事により，同じキーを受け取った端末側がサーバ経由でファイルをダウンロードできる．実際には図７のようにスタイラス型の FlashTouch 端末がキーを移動させた後，専用のストレージサーバを介することで，スタイラスに格納されたファイル ID を別のユーザの端末に渡して，セキュアに且つ確実にデータをわたすことが可能になった．

© 2015 Information Processing Society of Japan247