情報処理学会 インタラクション 2021
IPSJ Interaction 2021

2A022021/3/10

筆記感の再現性向上のための高速応答ペン型インタフェースの開発
渡辺 凌大1,a)

山崎 陽一1井村 誠孝1,b)

概要：タブレット上でのスタイラスペンを用いた筆記において，紙上での筆記感をインタフェース内の振動子によってユーザに提示できるペン型インタフェースが数多く開発されているが，書き出し時刻と振動開始時刻に差が生じ，紙上での筆記との不一致感を覚えるという問題点が存在する．本研究では振動の遅延が筆記感に与える影響を調査し，遅延を解消するシステムの構築を行い，より筆記感の再現性が高いインタフェースの開発を目指す．振動開始の遅延が筆記感に与える影響を調査したところ，0.1 秒以下の遅延であれば違和感をほとんど覚えないことがわかった．可視光によって移動を検出するジェスチャーセンサをペンに装着し，筆記面に表示されたパターンを観測することで，0.1 秒以下の高速応答を達成することができた．

1. はじめに

2. 関連研究

近年，様々な分野でタブレット端末を用いた作業の効率

ペン型インタフェースは 3 つの種類に分類できる．1 種化がなされている．例えば教育界においては，2020 年より類目は触覚フィードバックを返さないインタフェースで，学習指導要領の改訂による ICT 導入が推進 [1] され，タブいわゆるスタイラスペンと呼ばれている．スタイラスペン

レット端末を用いた授業の増加が予測される．

はタブレット端末などの筆記面上にペンでなぞった跡を描

タブレット端末への入力方法として，指やスタイラスペ画する機能を有している．Apple Pencil や Surface Pen がンを用いた入力が主流である．筆記具を用いて紙に筆記しこれに該当し，タブレット端末使用者に最も使用されていたことのある人にとって，スタイラスペンを用いた筆記る種類である．しかし，1 節で述べたように紙上での筆記は直感的な操作を行えるという利点がある．一方で，タブ感と同等の筆記感を得られず，スタイラスペンでの筆記をレット端末上にスタイラスペンを用いて筆記する際に得ら好まないユーザは多い．2 種類目は電気振動の原理によっれる触覚フィードバックでは紙上に筆記用具で筆記する感て筆記時の触覚フィードバックを提示するスタイラスペン覚が得られない．そのため，押下感がないことによって多である．3 種類目は機械式振動子をペン内部に搭載したイ

くのユーザが違和感を覚えるなどの問題がある．紙上でのンタフェースで，紙上での筆記時の振動を振動子で再現す筆記に近づけるためにペン先に工夫がなされているが，多ることによってユーザに振動覚を提示する．本研究で開発

くのタブレット端末は静電容量式のためペン先は導電性素するインタフェースは 3 種目目に属する．

材に限られる．そのため，タブレット端末のガラス面上をWang らは，電気振動の原理によってユーザに筆記時の振導電性素材が滑るような感覚しか得ることができない．

動を提示する EV-Pen[2] を開発している．設定した振幅，

本研究の目的は，筆記感を構成する要素である振動を振周波数の振動波形をペンに流しながら筆記すると，ペンと動子で再現することで，紙上での筆記時に生じる振動感とタブレット面の電極層の間に静電引力が生じることによっ同等の感覚をユーザに提示することである．筆記動作と振て触覚フィードバックがユーザに提示される．EV-Pen は

動提示の開始タイミングのずれが筆記感に与える影響を調決められた経路上をなぞるステアリングタスクや，図形の査し，遅延を許容範囲内に低減することにより快適な筆記上をなぞるトレースタスクにおいて，他種のインタフェー感を実現する．

スよりエラー率が少なく，正確な筆記ができることが確認されている．しかし，EV-Pen から得られる振動は設定し

1a)b)

関西学院大学
dik39181@kwansei.ac.jp
m.imura@kwansei.ac.jp© 2021 Information Processing Society of Japanた振幅と周波数からなる周期的な振動のため，紙上での筆記感とは異なる．

267

情報処理学会 インタラクション 2021
IPSJ Interaction 2021

2A02
2021/3/10

大菅らの研究 [3] では，梶本らの提唱した触原色原理 [4]を基に，筆記具に装着した加速度センサで取得した筆記振動から振動モデルを生成し，インタフェース内に内蔵した54振動子に振動モデルに基づいた振動を提示することで筆記感の再現を行っている．振動モデルの生成には線形予測符

3号化 (Linear Predictive Coding，LPC) を用いており，筆2記速度や筆圧に応じてパラメータを変化させることで，筆1記状態に応じた振動の生成が可能である．大菅らの研究を00.1発展させた伊井の研究 [5] では，紙上での筆記振動と，タ0.2

図 1

ブレット-デバイス間に生じる摩擦振動の周波数スペクト

0.3

0.40.5(s)0.6

振動遅延による違和感評価

ルの差を求め，PC からデバイスまでの伝達関数を考慮す
表 1 各選択番号の平均遅延値

ることによって，より筆記感の再現性を向上させている．
しかし，これらの研究で開発されたインタフェースでは，選択番号平均遅延値 (s)PC でペン先の移動を検知した後に振動パターンを生成し50.065出力しているため，書き出してから振動が開始するまでに40.109

遅延が発生し違和感を覚える．筆記速度が遅いの場合は違30.14620.232

10.391

和感を覚えるような遅延は発生しないが，筆記速度が速くなるほど遅延が目立つという問題点がある．

3. 振動遅延の筆記感に与える影響評価

実験協力者 (20〜40 代の男女 5 名，全員右利き) は椅子に本研究では先行研究で開発されたインタフェースに生じ座った状態で，ペン型インタフェースを把持する．その際，ている振動の遅延という問題点を改善することで，より筆ペン先をタブレット端末上の圧力センサに乗せる．机上の記感の再現性が高いペン型インタフェースを開発する．

PC 画面に表示されているカウントダウンタイマーが 0 になると同時にペン型インタフェースを用いて右方向に直線

3.1 先行システムの遅延測定
タブレットの筆記面に円形圧力センサ (ALPHA-MF01-を筆記する．筆記後，以下の 5 項目で時間遅れによる違和感の評価を行った．

N-221-A04) を設置し，インタフェースを把持した状態で( 1 ) 非常に不自然である

ペン先を圧力センサ上に載せ，筆記速度 1 cm/s，2 cm/s，( 2 ) 不自然である

3 cm/s で右方向に書き出した．圧力センサの出力が変化し( 3 ) 違和感を感じて不自然である

た時刻から書き出しタイミングを取得し，インタフェース( 4 ) 違和感を僅かに感じるが不自然でないの把持部に装着した 3 軸加速度センサ (ADXL337) によっ( 5 ) 違和感を全く感じないて振動開始タイミングを取得した．それぞれの差を求める

書き出しタイミングは筆記面に敷いた圧力センサによってことで，遅延値を測定したところ，最大 0.32 秒の遅延が取得し，提示振動は 0.033 s から 0.495 s の 11 通りの遅延発生した．先行研究の描画ソフトではタブレット上でのペをランダムに加えた．440 Hz の正弦波を各 11 通りの遅延

ン先の座標を取得し，ペン先移動時の座標の変化度合いに時間後に流すため，振動開始タイミングは筆記速度の影響よって筆記速度を決定している．移動を検知した後に自己を受けない．そのため，実験協力者に筆記速度の指定は行回帰モデルを用いた振動波形生成を行い，アンプを通した

わなかった．

音声出力をしているため遅延が発生していると考えられる．

• 結果
振動遅延と 5 段階評価の値をまとめた箱ひげ図を図 1 に示

3.2 許容遅延時間測定実験
ユーザはどの程度の遅延なら許容できるのかを，宮里らの遅延に関する評価実験 [6] を基に調査した．

• 目的

す．また，箱ひげ図における平均値をまとめたものが表 1である．選択肢 4(違和感を僅かに感じるが不自然でない)を選択した場合の振動遅延値の平均が 0.109 秒のため，遅延値をおおよそ 0.1 秒以内に抑えることができれば違和感何秒以内の遅延から違和感を覚えるのかの客観的指標を取を覚えさせず，ユーザエクスペリエンスが向上することが得し，遅延を解消するにあたって，解消後の目標遅延値をわかった．本研究では PC による振動波形生成は行わず，設定する．

かつ遅延値を 0.1 秒以内に抑えるインタフェースの開発を• 方法© 2021 Information Processing Society of Japan目指す．

268

情報処理学会 インタラクション 2021
IPSJ Interaction 2021

図 22A022021/3/10

ジェスチャーセンサ

図 4表示パターン

振動子

把持部

圧力センサ

ジェスチャーセンサ
75度

筆記面

図 3インタフェースの構成

4. 遅延短縮手法

図 5 インタフェースの試作機

3 節の実験より遅延の原因が筆記面であるタブレット側

また，三菱鉛筆株式会社によると，ペン軸と筆記面の角のソフトウェアであることが分かったため，本研究では，度を 60〜90 度に保ちながらの筆記が理想的 [7] である．イ

ペン型インタフェース単体で書き出しタイミングを取得す

ンタフェースの軸を 60〜90 の中央値である 75 度に傾けた

る．本節ではジェスチャーセンサを用いた書き出しタイミ際に，筆記面とジェスチャーセンサが平行になるように取ング検出の実装について述べる．

り付ける．ディスプレイ面に表示するパターンを図 4 に示
す．線の RGB 値はそれぞれ R=180，G=250，B=220 で，4.1 ジェスチャーセンサ格子状に表示されている．線の太さは 6 ピクセルで，線と本研究では，遅延を短縮させる計測手法としてジェス線の間隔は 50 ピクセルである．パターン光を，日常的にチャーセンサ (APDS-9960)(図 2) を使用する．APDS-9960

使用するノートの罫線に近い色と模様にすることで，ユーは 4 つの可視光フォトダイオードによって対象物との相対ザの視覚的妨害にならずに，普段ノートへ筆記する際と同距離，周囲の照度識別，色の識別ができるセンサである．

じ感覚で筆記できるようにする．また，縞模様ではなく格また，上下左右を感知する 4 つのフォトダイオードに加え，子模様にすることで，漢数字の「一」や数字の「１」のよ

光源用 LED を内蔵しており，対象物からの反射光がそれうに横方向や縦方向のみに筆記する文字に対応できる．

ぞれの赤外フォトダイオードに入射する時間差によって移インタフェースのペン先付近に取り付けた圧力センサに動方向を検出できる．本研究では照度識別機能を用いて書よって，ペン先と筆記面との接地状態を取得し，接地状態き出しタイミングの検知を行う．

での移動時のみ振動が開始される．そのため，文字を書く際に次の画の開始点へとペン先を浮かして移動する場合に4.2 システムは振動は開始されない．

システムの構成を図 3 に示す．筆記振動を提示するための振動子，筆記時の筆圧検出のための圧力センサ，筆記時4.3 短縮遅延値計測実験の書き出しタイミングを検知するジェスチャーセンサがイ

圧力センサ，振動子，ジェスチャーセンサを搭載した新ンタフェースに取り付けられている．パターン光を表示さインタフェースの試作機 (図 5) を作成し，短縮された遅延せた筆記面上をペン型インタフェースが移動すると，ジェ値の計測を行った．試作機は銅板を筒状に加工し，内部にスチャーセンサの照度識別機能によってパターン光の色の振動子が取り付けられている．ペン先のスポンジ部分と銅変化を取得し，振動子が振動を開始する．

板部分の境目に圧力センサが取り付けられている．また，© 2021 Information Processing Society of Japan269

情報処理学会 インタラクション 2021
IPSJ Interaction 2021

2A022021/3/10

表 2 ジェスチャーセンサを用いたシステムにおける遅延値感の再現性が向上したことを証明する．また，筆記感を構

筆記速度 (cm/s)

平均値 (s)最大値 (s)最小値 (s)

成する要素として振動覚のみに焦点を当てているが，その10.064

0.071

0.047

他に筆記感を構成する要素がないか検討し，筆記感を正確

20.0590.070

0.049に定量化する．

30.061

0.075

0.048

参考文献
ジェスチャーセンサは図 3 で示すように，ペン軸が筆記面[1]と 75 度の角度をなす場合にジェスチャーセンサと筆記面が平行になるように取り付けた．

• 目的

[2]

ジェスチャーセンサを用いた書き出しタイミング検知シス
テムによる筆記が，従来のシステムに比べてどれだけ遅延[3]が短縮できたのか計測する．また，筆記速度の違いによる遅延値の増減の有無を確認する．

• 方法

[4]

ジェスチャーセンサを搭載したペン型インタフェースの試作機を用いて，筆記速度 1 cm/s，2 cm/s，3 cm/s で右方[5]向に直線を筆記する．各筆記速度に対して 10 回の計測を[6]行った．ペン先を圧力センサに乗せた状態から筆記を開始することで，書き出しタイミングを取得する．加速度セン
サによって振動開始タイミングを取得し，書き出しタイミングとの差を求めることで，遅延値を計測した．

[7]

文部科学省：平成 30 年度文部科学白書，第 11 章 ICT の活用の推進，https://www.mext.go.jp/b_menu/hakusho/
html/hpab201901/detail/1422160.htm
Qinglong Wang, Xiangshi Ren, Sayan Sarcar, Xiaoying
Sun:EV-Pen:Leveraging Electrovibration Haptic Feedback in Pen Interaction, Proceedings of the 2016 ACM
on Interactive Surfaces and Spaces, pp.57-66, 2016.
大菅誠弥，井村誠孝，伊藤雄一，岸野文朗：接触部の特性変化による多様な筆記感提示，第 20 回日本バーチャルリ
アリティ学会大会論文集，33B-2，2015．
梶本裕之，川上直樹，前田太郎，舘暲：皮膚感覚神経を選択的に刺激する電気触覚ディスプレイ，電子情報通信学会論文誌，Vol. j84-D2，No. 1，pp. 120-128，2001．
伊井千晶：筆記具の振動伝達特性に基づくタブレット上の筆記感生成，関西学院大学理工学部卒業研究論文，2019．
宮里勉，岸野文朗：視覚情報と触覚情報の間の遅延知覚に関する主観評価，テレビジョン学会誌，Vol.49，No.10，
pp.1353-1356，1995．
三菱鉛筆株式会社：お客様相談室，紙の上でボールぺンが回らない場合，https://www.mpuni.co.jp/customer/
ans_11f.html• 結果
各筆記速度ごとに計測された遅延の平均値と，最大値，最小値を表 2 に示す．最も遅延値が大きかった値は，筆記速度 3 cm/s で筆記した際に計測された 0.075 秒，最も遅延が小さかった値は，筆記速度 3 cm/s で筆記した際に計測された 0.048 秒だった．有意水準 5 ％で一元配置分散分析(ANOVA) を行った結果，筆記速度の変化による遅延値の増減に有意差は確認できなかった．
以上より，ジェスチャーセンサを用いたシステムによって遅延値が短縮していることがわかる．遅延値は 0.1 秒を下回っており，ユーザに違和感を覚えさせないシステムを実装できた．また，遅延が筆記速度による影響を受けないことが判明した．

5. おわりに
本稿では，ペン型インタフェースにおける振動遅延の原因が描画ソフトウェアであり，ユーザが許容できる 0.1 秒以内に遅延を抑える手法としてジェスチャーセンサを用いた書き出しタイミングを検知するシステムの構築を行ったことを述べた．また，ジェスチャーセンサを用いたシステムによって遅延が改善されたことを明らかにした．現段階
では，簡易的な試作機を用いた計測実験しかしていないた
め，今後は 3D プリンタを使用してインタフェースの外装を製作し，振動子や各センサ類を搭載したインタフェースを構築する．完成した新インタフェースを用いて，使用感に関する前インタフェースとの比較実験を行い，より筆記© 2021 Information Processing Society of Japan270