WISS 2017

AmbientLetter：
わからないスペルをこっそり知るための筆記検出および文字提示手法
豊﨑 クサベア富心*

渡邊 恵太*

概要． コンピュータ上では入力した文字のスペルミスの指摘や修正が可能である．しかし，会議や講義などの場面で鉛筆やチョーク等を利用する場合にはそのような機能を利用できない．そこで，本研究では，直筆が必要な場面において，忘れてしまったスペルをシームレスにこっそりとユーザ本人にのみ提示するシステムである AmbientLetter を提案する．本システムはペンに装着した 9 軸加速度センサを用いた文字認識部，執筆内容から次の文字を予測する提示文字予測部，環境にカモフラージュし次の文字を提示する文字提示部の 3 つの要素で構成される．文字認識部のシステム評価の結果，86.5%で筆記された文字を正しく認識できた．

1

はじめにスペルミスや予測候補提示など，コンピュータ上では自動スペルチェックや補完機能が働く．しかし，会議や講義，接客などの場面で，鉛筆やマーカー，チョークなどを利用する場合にはそのような機能は利用できない．そのため，辞書や Web で検索する必要がある．このような場合，スペルがわからないことを他者に感づかれるため，恥をかいてしまう．また，PC やスマートフォンの使用で，議論や講義，接客の活動の流れを中断させたり，その場の雰囲気を壊したりしてしまうことがある．そのようなことで論点のずれや気移りが起きることは好ましくない．
本研究では，直筆が必要な場面において，うっかり忘れる，わからないといったスペルを，筆記行為を限りなく中断せずシームレスにかつこっそりと，ユーザ本人にのみ提示するシステムである
AmbientLetter を提案する．

2

AmbientLetter

AmbientLetter はボールペン型のデバイスを用いたシステムである（図１）．AmbientLetter は筆記された文字を認識し，それまでの執筆内容から次の文字を予測する．そして単語の書き途中でユーザが次の文字の提示を要請するジェスチャを行うと，周辺のスマートフォンなどのデバイスから最適な手法でユーザに予測結果を提示する．
2.1

設計上の課題本研究では，実際の使用を意識した点から満たすべき課題がある．常にユーザの文字提示要請に反応Copyright is held by the author(s).
* 明治大学図 1．わからない文字を自分だけこっそり知ることができる AmbientLetter システム．

するため，デバイスは常に作動している必要がある．
しかし，ペンを普段通りに使用することもあるためコンピュータデバイスであることがわかりづらい外見にすることが望ましい．また，文字情報の取得を他者に感じさせないインタラクションの設計が必要である．そのため，文字の提示要請を行うジェスチ
ャは普段の執筆活動や癖でみられる行動を用いる．
これらは，Anderson らの提唱するコンピュータの使用感を隠すためのガイドライン[1]に則っている．
2.2

システム概要AmbientLetter は，ペンに装着した 9 軸慣性セン
サから書いた文字を推定する文字認識部，書かれた文章や書き途中の単語の情報からわからないと思われる文字を予測する提示文字予測部，そしてペンを利用している人にシームレスにその文字を提示する文字提示部の 3 つのシステムで構成される．
2.3

文字認識部

ペンに装着した 9 軸慣性センサから直筆においてWISS 2017どの文字が書かれたかを深層学習を用いて認識する．
加 速 度 の 検 出 に は ９ 軸 慣 性 セ ン サ 搭 載 SoC ，Blueninja を使用し，ペンの上部に装着する．筆記中であることを認識するためのタクトスイッチをペンの握り箇所に配置する（図 3）．このタクトスイッ
チを押しながら全 26 種の文字を 160 回ずつ手書きで筆記し，文字を書き終えた瞬間に離すことで学習データを収集した．学習済みモデルデータを用いて，
AmbientLetter はシステム実行時に書かれた文字を予測する．
2.4

データ収集時にタクトスイッチを抑える様子(下)．

提示文字予測部

認識した文字をつなげていき文字列として再認識する．”b”を筆記した際に”h”や”p”など形が似ている文字に誤認識されることがある．認識した文字列を含む単語が存在しない場合，認識した文字のいずれかが誤認識された可能性を考慮し，次に確率の高い実在する単語があれば文字列を修正する．
次の文字を予測するためのシステムには，深層学習の一種である LSTM(Long Shart-Term Memory)ユニットを持つ RNN(Recurrent Neural Network)による文章生成モデルを利用する[2]．このモデルを利用することで，前の文章から次の単語を予測していき文章を生成できる．学習には[3]で公開されている ptb データセットを用いた．
このモデルを用いて，記述された内容から次の単語を予測し，その時点での記述状況から可能性の最も高い単語を推定する．
2.5

図 3．学習データ収集時のペンの内部構造(上)と学習

文字提示部

執筆中にスペルのわからない単語の文字をシームレスに提示するため，2.4 節で述べた手法を用いて次に筆記される可能性の高い文字を常に予測する．
ユーザは普段通りにペンを用いて執筆する中で，分からない単語に遭遇した場合にこのシステムを使うためのジェスチャを行う．今回はペンを右に傾けるという行為をトリガとし，単語の次の文字の提示を要請する．この要請を行うためのジェスチャは個々人における自然な行為に設定できる．
わからない文字を提示していることを周囲にさとられないために，普段の生活で使用する物に溶け込ませて文字を提示する．本研究では，次の文字をスマートフォンの通知で提示することとした．しかし，提示文字だけを通知すると他者に悟られる可能性は高い．そこで，提示文字を含む無意味な文字列を通知することでユーザのみに情報を与えるカモフラー
ジュ通知を用いる．今回は通知メッセージの最初の一文字目を提示文字としている．提示文字から始まる単語を無作為に選択し，2.4 節で用いた RNN による文章生成モデルを用いて続きの文章を作成していく．図 8 に本システムの提示としてスマートフォンへの通知を行った様子を示す．この例では提示文

図 8．次の文字が”t”の時の提示例．無作為に選択された”t”で始まる単語から，RNN により生成された文章を通知する．

字が”t”であったため，”transcanada”という単語がランダムで選ばれ，この単語から続きの文章として”was three new major co …”が生成されている．
ユーザはこの通知メッセージを見ることで，次の文字が”t”だとわかり，執筆を再開できる．一方で周囲にいる他者には，何らかの通知が来ただけでわからない文字を取得しているようには見えない．

3まとめ

会議や接客などの場面ではコンピュータを用いてうっかり忘れてしまったスペルを調べることが困難な場合がある．そのような場面で他者に感づかれる事無くシームレスにスペル情報を取得するシステムである AnbientLetter を提案した．本稿ではボールペン型のデバイスで実装したが，チョークやマーカなどで，垂直な場所に書くといった場合でも同様のシステムが利用できると考える．今後はそれらを含め実際の使用を考慮した評価実験を行う予定である．

参考文献
[1]

[2]
[3]

Anderson, Fraser, et al. "Supporting subtlety with
deceptive devices and illusory interactions. " InProc. of the 33rd Annual ACM Conference on
Human Factors in Computing Systems. ACM, pp.
1489-1498, 2015.
Zaremba, Wojciech, Ilya Sutskever, and OriolVinyals. "Recurrent neural network regularizeation." arXiv preprint arXiv:1409.2329 (2014).
Marcus et al. "Penn Tree Bank (PTB) dataset"
http://www.fit.vutbr.cz/~imikolov/rnnlm/simpleexamples.tgz (2017/08/26 確認).