情報処理学会 インタラクション 2018
IPSJ Interaction 2018

1A09
2018/3/5

ひととロボットの協調による手書き文字美化手法
亀田裕也†1

新納真次郎†1

中村聡史†1

概要 パソコンなどでの文書作成が気軽に行えるようになってきたにも関わらず，履歴書などのようにいまだにアナログな手書きを求められることは珍しくない．また，お礼状や年賀状などを手書きしたいけれどうまく書くことができないと悩む人も多い．ここで，多くの文字を手書きする場合は，書き間違えないようにするのはかなりの手間であるうえ，自身の手書き文字に自信がないひとにとっては抵抗のあるものである．我々は過去の研究で，手書き文字の平均化によって手書き文字を美化することができることを明らかにしてきた．そこで本研究では，ユーザの手書き文字を自身の過去の手書き文字や他者の手書き文字と融合し，その手書き文字をロボットにより再現することによって，満足度の高い手書きを可能とする手法を提案し，プロトタイプシステムを実装することで，その有用性について検討を行う．

1. はじめに日常生活の中で，字をきれいに書くことが求められる場面は多い．
たとえば，履歴書がその一つとして挙げられる．

また手書きをパソコンでの入力に比べると，億劫に感じてしまう人も多い．特に，パソコンで文書を作成する場合は，誤字の修正も容易であり字が乱れることもないが，手書きは字の誤りや乱れに気をつけなければならない．

近年ではパソコンでの履歴書の作成を許可している企業もこのような手書き行為における問題を解決するために，増えてきてはいるが，いまだに手書きを要求する企業や，手書き文字をロボットに書かせるということはこれまで長手書きで作成する人は珍しくない．リクナビ NEXT によるきにわたり行われてきた．
その一例としてあげられるのが，採用実態調査および転職活動に関するアンケート[1]によオートペンである．オートペンは署名を複写する機械であると，履歴書の作成はパソコンでも手書きでも変わらないり，政治家や芸能人の間で愛用されている．2011 年には，という回答が約半数を占め，手書きを評価する企業は 3 割

オバマ元米大統領がオートペンを用いて法案に出張先からに満たないのに対して，転職成功者の約 7 割の人が履歴書遠隔に署名をしており，第 3 代米大統領のトーマスジェフを手書きで作成したと回答している．このように手書きでァーソン氏もオートペンを頻繁に使用している[3]．出張が履歴書を作成する理由としては，パソコンでの作成の許可多く，他にも様々な仕事を抱える大統領にとっては署名をを明言していない場合，手書きの方が無難であるというこ複写することで，署名にかけるコストをかなり削減できるとや，手書きによって誠意や熱意を見せるためなどが考えといえる．しかし，この手法であっても，先にあげた手書られる．しかし，丁寧に手書きをすることに気を取られてきに対する苦手意識の問題に関して根本的な解決にはならしまい，肝心な内容を考える時間が取られてしまうのは本ない．

質的ではないといえる．また，手書きが必須ではないが手我々の過去の研究[4][5]では手書き文字に関する実験に書きの方が好まれるケースとして，手紙や年賀状，お礼状

よって，自身が複数回書いた手書き文字を平均化した文字などがあげられる．現在では，年賀状作成サイトなども増は綺麗になるということや，他者の文字と融合することでえ，フォントを埋め込むことで相手にメッセージを送るとより文字に対して抱く好感度が高くなるということを明らいうことも増えてはいるが，手書きでもらった時の好感度かにしている．また，デジタル上のノートに手書き文字をや，手書きによる温かみなどを重要視し，全部を手書きし入力する際に，自身や他者がこれまでに手書き入力した文ないにせよ一部手書きを添えることも多い．

字を動的に融合することによって，満足度の高い手書き入

一方で，自身の手書き文字に自信がない人も多く，文字力を可能にしている[6]．つまり，このような融合した手書を書くことにためらいを感じている人もいる．ゼブラ株式

き文字をオートペンのような機械により再現することによ

会社が行なった手書きに対する意識調査[2]によると，自身って，手書きの個性や温かみなどの良さを残しつつ，満足の手書き文字を恥ずかしいと思う人は 64%もいるというこ度の高い手書きが可能になると考えられる．とが明らかになっている．このように，手書きに苦手意識

そこで本研究では，これまでの手書き文字平均化手法をを感じてしまう理由として，丁寧に文字を書こうとしても用いて，手書き文字を数式として表現し，自身や他者のこ手のブレなどによって文字を綺麗に再現できないからといれまでに書いた文字の数式と融合することによって満足度うのが大きい．もちろん，書道やペン習字などを習うなどの高いものにしつつ，その融合文字をロボットによって用して改善することはできるが，書字能力の向上には時間や紙の上に再現する手法を提案する．また，提案手法のプロコストがかなりかかるといえる．

トタイプシステムを AxiDraw[7]を用いて実装する．さらに，†1 明治大学
Meiji University© 2018 Information Processing Society of Japan215

情報処理学会 インタラクション 2018
IPSJ Interaction 2018

本プロトタイプシステムをオープンキャンパスで展示し，そこで得られたフィードバックについて報告する．本手法
により，自分の手書き文字に自信がないユーザでも，ロボットを通して気軽に文字を書くことができると期待される．

1A09
2018/3/5

3. 提案手法
先述の通り，手書きは，個性が出るものであり，また受け取り手が手書きでの作成の手間を感じ取ることによって，好意的に取られることが多い．一方で，手書きを安定して綺麗に行うことは容易ではなく，そもそも手書き自体にコ

2. 関連研究
人間の代わりにロボットに文字を書かせる手法については様々なものがある．Fei[8]らはアルファベットに対応した26 個のジェスチャーと，漢字を構成する 5 つの線に対応した 5 個のジェスチャーによって，ロボットに英語と漢字を書かせることを実現している．堤ら[9]は書道における筆の把持と運筆について着目し，多指ハンドロボットを用いて人間が筆で書くものと同じように漢数字の一を書くことに成功している．また，1 章でも述べたように，オートペン
では署名を複製することで遠隔地からでも署名をすることを可能にしている．これらの手法によって，しばしば億劫に感じてしまう手書きを，記録した手書きのデータやジェスチャーなどの手書き以外の動作によってロボットに任せるということを可能にしている．しかし，完全にロボットに文字を書かせるだけでは，手書きに自信がない人における問題を解決できているとはいえない．また，手書き文字を単なるフォントに置き換えてしまうことも，手書きにおける温かみや個性を失くしてしまうので，好ましい手段とは言えない．一方で，本研究はユーザの手書きの個性を生かしつつ，平均化によって綺麗になった文字をロボットで再現することで，ユーザがより気軽に手書きを行えるようになることを目指すものである．
また文字や図形を綺麗に書くことを支援する研究も多くンプレックスがある人も珍しくない．特にペンなどによる手書きにおいて，書き間違えないようにするのは神経を使うことであり，書き間違えた場合や，修正したい場合などには，一から書き直さなければならないなどの問題がある．
さらに，履歴書のように複数の会社に対して同じものを作成するような状況において，手書きをすることは手間でしかない．
本研究では，上記のような問題を解決するため，手書きをタブレット PC やスマートフォンなどペン入力可能なコンピュータ上で行いつつ，またその自身の手書き文字を，自身がこれまで書いてきた手書き文字や，そのユーザが気に入っている他者の手書き文字と融合（多重平均化）することによって，そのユーザにとって満足度の高いものへと変換する．また，その美化された手書きをプリンタで出力するのではなく，手書きロボットを利用することによって手書き感を損なわずに満足度の高い手書き文字を再現する手法を提案する．本手法により，ユーザの手書きに個性を残したまま綺麗にすることができるとともに，書き直しの手間もなく，また受け取り手に対して，そのユーザが綺麗に書いたかのような印象をもたせるような仕組みを実現する．
図 1 は本提案のイメージである．ここでは，その手法について具体的に述べていく．

ある．竹澤ら[10]は，文書や書類に綺麗な文字を書くために，カメラ付きのタブレットを用いて，カメラプレビュー画像上に手本となる文字を表示させ，画面を通して文字をなぞることで綺麗に文字を書くことを支援している．また，
dePENd[11]は，ボールペンの強磁性を利用し，机の下の磁石の位置を制御し，ボールペンを誘導することで，手書きの図形を綺麗にすることや，手書きのコピーアンドペーストなどを可能としている．これらの研究は手書きを綺麗にするという点で本研究と類似しているが，ユーザが意識的にもしくは無意識的に手本に近づけるように書く必要があり，手書きの個性が失われてしまう可能性がある．
以上のように，ロボットやシステムによって手書きを支援する研究は多くなされているが，これまでの研究は手書き文字を綺麗にするうえでユーザの手書きの個性を残すことには適していない．そこで我々は手書き文字の平均化によって，ユーザの手書きの個性を残したまま綺麗にし，ロボットによって再現する手法の提案と実装を目的とする．

© 2018 Information Processing Society of Japan

図1

提案システム概要図

3.1 手書き文字の数式化
手書き文字を平均化によって綺麗にするために，我々がこれまでに提案してきた手書き文字数式化手法[4][12]を用い，手書き文字のストロークを数式として扱うことによって手書き文字の平均化を実現する（図 2）．

216情報処理学会 インタラクション 2018
IPSJ Interaction 2018

1A09
2018/3/5

加重平均化計算は係数の演算をするだけでよい．
3.3 融合手書き文字の出力
加重平均化計算によって生成された融合文字の数式から座標列を作成し，手書きロボットに送信する．ロボットによる手書きは，基本的にはペンの上下動と，2 次元空間の移動制御によって実現する．そのため，システム側からストロークに応じてペンを上下動させるコマンドと，2 次元空間の移動を行うコマンドを送信し続けることにより，ロ
図2

手書き文字数式化手法ボットによる手書きを可能とする．

まず，ペンによって入力されたストロークを点列データとして取得し，その点をできるだけ接続するように 3 次元

4. プロトタイプシステム

スプライン補間を行うことで，点間の距離を狭くする．そ3 章の提案手法をもとに，その機能の一部をプロトタイの後，スプライン補間を適用した点列の座標データを終点

プシステムとして実装した．このシステムは，元々用意しで折り返して閉曲線の点列を作り，この点列をフーリエ級た他人の手書き文字に，ユーザが入力する手書き文字をそ数展開により 𝑡 を媒介変数とした下記の式により表現する．の場で融合し，その融合文字を手書きロボットに送信する

𝑥 = 𝑓(𝑡)−𝜋≤𝑡≤𝜋𝑦 = 𝑔(𝑡)ことでペンを使ってその文字を用紙に再現するようなもの#となっている．このシステムの実装やシステムの利用方法について本章で述べていく．

ただし𝑓(𝑡)は4.1 実装∞

𝑓(𝑡) =𝑎/+ 2(𝑎3 cos 𝑛𝑡 + 𝑏3 sin 𝑛𝑡)
23;<

本プロトタイプシステムでは，手書き文字入力の受け付けや融合文字を生成するソフトウェア部分は Processing をと表すことができる（𝑔(𝑡)も同様に考えることができるた用いて実装し，そこで生成された融合文字を再現する部分め省略する）．

は，AxiDraw と呼ばれる手書きロボットを利用した．また

3.2 手書き文字の融合

手書き文字の入力デバイスには，Wacom 製のペンタブレ

手書き文字認識技術によって，数式化された手書き文字

ット CINTIQ 13HD を使用した．さらに融合した文字を出がどんな文字なのかを認識し，手書き文字データベースに力する用紙に関しては，市販の白紙の B4 コピー用紙を利数式と紐づけて保存する．また，手書き文字データベース用し，ペンに関しても市販のボールペンや赤ペンなどを利の中から，これまでに蓄積されている手書き文字を利用し用した．プロトタイプシステム全体の様子を図 3 に示す．て，ユーザのこれまでの手書き文字や，他者の手書き文字の数式を取得し，加重平均を取ることによって融合文字の数式を生成する．
具体的には，自身または他者（ユーザ ID を u とする）が𝑁 回書いたある文字の 𝑖 画目のストロークを(𝑥, 𝑦) = @A𝑓B,< (𝑡), 𝑔B,< (𝑡)C , … , A𝑓B,E (𝑡), 𝑔B,E (𝑡)CFとし，自身が入力したそのストロークを(𝑥, 𝑦) = A𝑓GH3,IJKL (𝑡), 𝑔GH3,IJKL (𝑡)Cとしたとき，一方に α を，他方の式に1-αを掛け合わせることによって，任意の α(0≤α≤1)による加重平均化処理を以下
図3の式で行う．

プロトタイプシステム図

E⎧ 𝑥 = 𝛼 2 𝑓B,R (𝑡) + (1 − 𝛼)𝑓GH3,IJKL (𝑡)⎪𝑁R;<E⎨𝑔B,R (𝑡)+ (1 − 𝛼)𝑔GH3,IJKL (𝑡)⎪𝑦 = 𝛼 2𝑁⎩R;<

4.2 システムの利用方法0≤𝑡≤𝜋

なお，数式はすべて sine と cosine により表現されるため，© 2018 Information Processing Society of Japan

アプリケーションを起動すると，手本となる文字が灰色で提示された画面が表示される（図 4）．ユーザは，この画面に対して手書き文字を入力していく．なお，ユーザの入力は水色で表示され，ユーザがストロークを入力し終わる

217

情報処理学会 インタラクション 2018
IPSJ Interaction 2018

1A09
2018/3/5

たびに，対応する手本のストロークと融合され，青色のス自由記述トロークとして提示される．手本の文字は左下の手本読込l

ボタンにより事前に用意した手本用のデータファイルを読み込むことで変更することができる．また，システム下部

ロボットが手書きすることに対してどのように感じたかl

どのような手書きをロボットに代行してほしいかには全て消去ボタン，一画戻すボタンを配置し，手書き入力に失敗した際に再入力を行えるようにした．ユーザが入5.2 結果と考察

力完了後，送信ボタンを押すことで AxiDraw へと座標デー5 段階で評価をしてもらった結果をまとめたのが，表 1

タが送信され，それをもとにペンを操作して融合後の文字である．表 1 より，手書きに対する自信や，手書きをするの再現が行われる．

ことが好きかといった評価は低いことがわかる．また，今回のシステムがもっと簡単になったら使いたいと答えた人は多く，1.25 という値になっていた．ここで，「手書きに自信があるか」に対して 1 以上と答えた人を手書きに自信がある人（自信ありと表記）とし，-1 以下と答えた人を手書きに自信がない人（自信なしと表記）とし，「今回のシステムがもっと簡単になったら使いたいか」の評価値平均を求めたところ図 5 のようになった．また，同様に手書きすることが好きな人（好きと表記），嫌いな人（嫌いと表記）で

図4

手書き文字入力画面分けた結果が図 6 である．なお，どちらのグラフにも標準誤差をエラーバーとして表示している．この結果により，手書きすることに自信がない人や，手書きすることが嫌い5. 利用テストと考察な人の方がこのシステムを使いたいと答えていることがわ
かる．これらの結果から，全体的にもこのようなシステム

4 章で述べたプロトタイプシステムを用いて，ユーザのを求めている人は多いが，手書きに自信がない人や，手書書いた文字が，他人の文字と融合され手書きロボットによきをすることが嫌いな人はより一層我々のシステムを使いって出力された際に，ロボットが手書きをすることに対したいと考えているということがわかった．て，また再現された文字に対してどのような印象を受けるのかを利用システムをもとに検証し，得られた結果に対し表1て考察していく．
5.1 実施内容
明治大学のオープンキャンパス（2017 年 8 月 22 日～23日）において 106 名に本プロトタイプシステムを利用してもらった．なお，オープンキャンパスでの展示のため，半アンケート結果

アンケート項目平均

手書きに自信があるか-0.03

手書きをすることが好きか

0.23

今回のシステムがもっと簡単になったら使いたいか

1.25

数以上の利用者は高校生であり，またその親御さんにも多く利用してもらった．システム利用者には，「なかの」という文字を書いてもらい，元々手書き入力しておいた綺麗な「なかの」という文字との融合を行なった．さらに，その融合した文字を手書きロボットで出力し，システム利用者にはその様子を確認してもらった．また，システム利用者には，薄く表示された手本の文字に近い大きさで，なぞらずにできるだけ自身の字体を意識して書いてもらった．
また，システム利用者には任意でアンケートの回答をしてもらい，60 名からアンケートを回収することができた．
なお，アンケートでは以下について回答してもらった．
図5
5 段階評価（-2:全くあてはまらない〜2:非常にあてはまる）l

手書きに自信があるかl

手書きをすることが好きかl

今回のシステムがもっと簡単になったら使いたいか© 2018 Information Processing Society of Japan

手書きに自信がある人・ない人に分けた時の今後システムを使いたいかどうか

218情報処理学会 インタラクション 2018
IPSJ Interaction 2018

1A09
2018/3/5

あり，融合後の文字が大きく崩れてしまっていた．その結果，利用者から悪い評価をされていることもあった．この問題については，どのストロークがどのストロークと対応するかといったことを判定することにより改善できると考えている．
オープンキャンパスでのデモの都合上，ユーザが手書き文字を書く際に，ガイドとして手本となる文字を薄く表示していた．この手本を提示していたがために，「なぞらずに自分の字で手書きをすることが難しい」，「手本の文字の大図6

手書きが好きな人・嫌いな人に分けた時のきさが一定のため，手本と同じ大きさで手書きをしなくて今後システムを使いたいかどうかはならない」などの意見も得られていた．手本は文字の大きさを揃えてもらう目的で表示していたが，このような意見からシステム利用者が自由に手書きすることを妨げてし自由記述における「ロボットが手書きをすることに対しまっていたといえる．そのため，今後は平均手書きノートてどのように感じたか」に対するコメントでは，「ロボットの手法[6]を採用し，手書き文字ごとに文字認識および正規特有の機械的な文字になってしまうことなく，文字に個性化処理を行うことによって，好きな位置や大きさに任意のが表れて良いと思った」，「自分の字を残しながら綺麗な字手書き文字を書いたものについて平均化したものを，ロボがかけるのはとてもいいと思った」，「字が汚い人にとってットによって手書きを行う仕組みを実現予定である．

はいいと思う」など，肯定的な意見が得られた．このようなコメントから，フォントや決まりきった手書き文字に変えてしまうのではなく，個性あるユーザの手書き文字と他

6. まとめと今後の課題

人の手書き文字を融合して使うことは効果的であることが本稿では，ユーザが書いた手書き文字と自身や他者がこわかった．一方で，「手書きに比べて出力するのに時間がかれまでに書いた文字を融合することにより満足度の高いもかってしまう」といったような意見も得られた．ロボットのにし，その融合文字をロボットによって用紙の上に再現による手書きが遅かったのは，実装上の問題であるため，する手法を提案した．また，そのプロトタイプシステムを今後システムの改良を行っていくことにより本問題を改善実装し，オープンキャンパスで利用テストを実施した．そ予定である．

こで得られた意見からシステムの可能性や今後の課題につ「どのような手書きをロボットに代行して欲しいか」にいて明らかにした．

対するコメントでは，「年賀状」や「願書や履歴書などの書今後は，これらの問題点を中心にプロトタイプシステム類」といったものが多かった．これらは大量な筆記が必要の改善を進めていく．具体的には，ユーザの手書き文字をでかつ他人に見せるものであり，そのようなものに関して文字認識して蓄積していき，正確な文字が紐づけられた手は提案手法が有用であるといえる．また，今回利用者に高書き文字データセットを構築することで，様々な文字に対校生が多かったためか，「宿題に利用したい」という回答もして柔軟に美化することを可能にする．また，融合する文多かった．手書き文字を繰り返し書くといった宿題は，本字の大きさを，ユーザの手書きに応じて変化させることで，システムにより，そのひとの個性を残しつつロボットに代ユーザが自由な大きさで融合できるようにする．なお，現行させることができてしまう．また，ソフトウェアで揺ら在のプロトタイプシステムでは，履歴書や年賀状，メッセぎをもたせることで同じ字を少しずつ違った形で書くことージカードなどの出力する用紙の形式を考慮できていないが可能となるであろう．こうした教育のために取り組ませため，汎用性に乏しく実用的ではない．そのため，今後はたい内容については，このようなチート行為を行うことは記入したい用紙をスキャンし，そこで読み取った画像の上推奨されない．現状のシステムであると，手書きロボットに手書き文字を入力していくことによって，様々なシチュが書いた感じは残っているが，手法を改良し，手書きロボエーションに対して本提案手法を実用化していくことを考ットの性能をあげることによって人が書いたのとの違いをえている．

全くなくすことも可能になるであろう．そこで，こうしたまた，ロボットが手書きしたものがどの程度まで受容さ繰り返し練習などについては，強制するのではなくモチベれるのかということや，人とロボットのどちらが書いたのーションを上げていくなどのように，新しい教育の形を模かを，人がどのような特性によって判断するのかというこ索することが重要になるのではと考えている．とを明らかにしていく予定である．

利用テストにおける観察から，書いてもらった文字の中で「な」はシステム利用者によって書き順が異なる場合が© 2018 Information Processing Society of Japan219

情報処理学会 インタラクション 2018
IPSJ Interaction 2018

謝辞

1A09
2018/3/5

本 研 究 の 一 部 は JST ACCEL （ グ ラ ン ト 番 号JPMJAC1602），明治大学重点研究 A の支援を受けたものである．

参考文献“リクナビ NEXT 転職活動の履歴書は、手書きとパソコンどちらが有利？”.
https://next.rikunabi.com/tenshokuknowhow/archives/4798/, (参照2017-12-23).
[2] “ゼブラ 「キレイ文字調査」実施”.
http://www.zebra.co.jp/press/news/2015/0403.html, (参照 201712-23).
[3] “Obama Wields His Autopen To Sign Patriot Act Extension :NPR”. https://www.npr.org/2011/05/27/136717719/obama-wieldshis-autopen, (参照 2017-12-23).
[4] 中村聡史, 鈴木正明, 小松孝徳. ひらがなの平均手書き文字
は綺麗. 情報処理学会論文誌. 2016, vol. 57, no. 12, p. 25992609.
[5] 斎藤絢基, 新納真次郎, 中村聡史, 鈴木正明, 小松孝徳. 手書
き文字に対する書き手識別と好感度に関する調査. 情報処理学会 研究報告ヒューマンコンピュータインタラクション（HCI）. 2016.
[6] 又吉康綱, 久保田夏美, 斉藤絢基, 大島遼, 中村聡史, 鈴木正明. 平均手書きノート. 第 25 回インタラクティブシステムとソフトウェアに関するワークショップ（WISS2017）論文集.
2017.
[7] “The AxiDraw Drawing Machine”. https://www.axidraw.com/, (参照 2017-12-23).
[8] Fei Chao, Yuxuan Huang, Xin Zhang, Changjing Shang, LongzhiYang, Changle Zhou, Huosheng Hu, Chih-Min Lin. A robot
calligraphy system: From simple to complex writing by humangestures. Engineering Applications of Artificial Intelligence. 2017,vol 59, p. 1-14.
[9] 堤勇介, 中島明, 早川義一. 多指ハンドロボットを用いた書道における筆の把持及び運筆の制御. 第 54 回自動制御連合
講演会. 2011, p. 815-818.
[10] 竹澤一真, 高橋正信. タブレット端末を用いた手書き支援システム. 平成 25 年度電子情報通信学会東京支部学生会研究発表会. 2014, p. 153.
[11] Junichi Yamaoka, Yasuaki Kakehi. dePENd: augmented
handwriting system using ferromagnetism of a ballpoint pen.
UIST, 2013, p. 203-210.
[12] 久保田夏美, 新納真次郎, 中村聡史, 鈴木正明. Mojivator: 手書き文字の自動融合により書きたくなる練習支援システム.
第 24 回インタラクティブシステムとソフトウェアに関するワークショップ（WISS2016）論文集. 2016.
[1]© 2018 Information Processing Society of Japan

220