WISS 2021

聴覚フィードバックによる運筆支援システム
越後 宏紀 ∗平澤 義人 ∗荒井 勇人 ∗石丸 築 †

掛 晃幸 †

五十嵐 悠紀 ∗概要. ひらがなや漢字を小学校で初めて習うときや，書道の筆づかいについて習うときなど，筆圧や運筆を言葉だけで伝達することは難しい．これは運筆の学習のみならず，野球やゴルフなどのスポーツでも同様であり，個人が自らの感覚で掴む必要がある運動動作を的確に伝達することは困難である．近年では，運動動作を可聴化することでこの問題を解決する研究が盛んに行われている．本研究では筆圧を可聴化することで運筆の学習を支援することを目指した．本稿では，そのプロトタイプとして筆圧を音量および周波数に変換し聴覚フィードバックを行うことで運筆の学習を支援するシステムを提案する．

1

はじめに

ひらがなや漢字といった文字を教えるときや，書道の筆づかいについて教授する際，オノマトペを利用した表現で運筆を伝達することがある．例えば，「最初にグッと力を入れて」「ハラうときはサッと筆の流れに沿って」といった表現があげられる．しかしながら，筆づかいの力加減や全体的な力のバランスなど執筆者自身が感覚をつかむ必要があり，言葉による伝達だけでは限界があると考える．この問題を解決するために，本研究では，筆圧を可聴化し聴覚フィードバックを行うことで，運筆の練習を支援するシステムの開発を目指している．本稿では，そのプロトタイプとして筆圧を音量に変換する手法と周波数に変換する手法を提案する．

2

関連研究

オノマトペを利用して人間の動作を伝達する手法
は運筆だけではなく，野球やゴルフといったスポーツでもよく行われる．吉川は運動のコツを伝えるオノマトペの特性をまとめ，利便性や可能性について述べている [2]．柏野によると，身体行動を可聴化し聴覚によるフィードバックを行うことでパフォーマンスを向上するという研究もされてきている [5]．
高野らは腕のストローク動作から可聴化を行い，運動学習支援に対して有効であると示唆される可聴化手法を提案している [3]．運筆においても可聴化によって支援する研究が行われている．土屋らは運筆動作の時間構造に注目し，運筆の動作リズムを運筆音として表現しフィードバックを行う書字訓練装置を開発した [4]．
Copyright is held by the author(s). This paper is nonrefereed and non-archival. Hence it may later appear
in any journals, conferences, symposia, etc.
∗明治大学†
株式会社ワコム

図 1. 提案システムの利用イメージ．

3

提案システム

本章では提案システムについて述べる．提案シス
テムを実際に利用した際の音量変化と周波数変化を
図 2 に示す．本稿では聴覚フィードバックによる運筆支援を目的としているため，提案システムでは記述の際の色は黒色で統一されているが，図 2 では筆圧が変化していることを分かりやすくするため，筆圧を可視化した状態の提案システムの様子を示している．
実装はワコム社が提供している Wintab API[1]を利用して Unity(C#) で開発しており，実装環境
はワコム社の液晶タブレット（Wacom Cintiq Pro16）とデジタルペン（Wacom Pro Pen 2）をデスクトップ PC（Windows）に接続して利用している．
筆圧感知のレベルは 8192 であり，その筆圧の最小を 0.0，最大を 1.0 としたデータで取得している. 本稿で利用した音源は初期値が周波数 440Hz の sin 波である．筆圧の音量および周波数の変換手法についてそれぞれ説明する．

3.1

筆圧を音量に変換してフィードバックする手法

液晶タブレットとデジタルペンからユーザの筆圧を取得し，その筆圧によって音源の音量を制御する．

WISS 2021

図 2. 提案システムによる音量変化と周波数変化．

筆圧で音量のみを変化させた場合の出力の様子を図2(a) に示す．図 2(a) では音量をデシベルで表しているが，提案システムの実装では，音量は２乗平均平方根による音の大きさの倍率で表している．筆圧の割合を P，音の大きさの倍率を G としたとき，以下の式で音量を制御している．

G = P2(1)この式 (1) は，著者による事前調査において，音量による聴覚フィードバックから筆圧の変化を認識できた数式を採用した．図 2(a) より，筆圧の変化によって音量が増減していることが分かる．

3.2

筆圧を周波数に変換してフィードバックする手法

前節と同様に，液晶タブレットとデジタルペンからユーザの筆圧を取得し，その筆圧によって周波数を制御する．筆圧で周波数のみを変化させた場合の出力の様子を図 2(b) に示す．筆圧の割合を P，周波数 (Hz) を F としたとき，以下の式で周波数を制御している．

F = 440(2P + 1)

(2)

この式 (2) は，著者による事前調査において，周波数による聴覚フィードバックから筆圧の変化を認識できた数式を採用した．また，可聴領域内になることや，音源を聴いて不快にならない周波数になるように設計した．図 2(b) より，筆圧の変化によって周波数が変化していることが分かる．

4

ユーザスタディ

3 章で述べた機能について，実験参加者 2 名に変化を体験してもらい，意見を伺った．音量の変化については，力加減によって音量の強弱が変わるため，あたかも楽器のように感じたという意見が得られた．一方で，変化量についてはイヤホンで聞いた場合は強弱の違いが分かるものの，スピーカで聞いた場合は強弱の違いが分かりづらくなるということが分かった．周波数の変化については，スピーカでもイヤホンでも変化していることは分かるものの，日常生活において力加減が音階で変化する事例が少ないため，違和感があるという意見が得られた．また，
sin 波による音の印象が良くないことから，筆と紙が接する際の音や鉛筆で書いているような音の方が自然に利用できそうであるという意見が得られた．

5

まとめと今後の課題

本稿では，筆圧を音量および周波数によってフィードバックする手法を提案し，運筆の練習を支援するシステムのプロトタイプとして実装した．今後は音量の制御をより分かりやすく表現できるように改良したうえでユーザスタディを行い，聴覚フィードバッ
クとして適切な手法を模索していきたい．また，ユー
ザが運筆の練習として利用する際の適切な音源についても調査を行っていきたい．

謝辞
ユーザスタディに協力してくださった方に感謝す
る．また，本研究の一部は明治大学科学技術研究所

聴覚フィードバックによる運筆支援システム

重点研究 B の支援を受けたものである．

参考文献[1] Wintab—WDN ワ コ ム の 技 術 情 報 提 供 サ イト.
http://wdnet.jp/library/windows/wintab(2021-11-19 確認).
[2] 吉川政夫. 運動のコツを伝えるスポーツオノマト
ペ. バイオメカイズム学会誌, pp. 215–220, 2013.

未来ビジョン
小学校において ICT 機器を活用した授業が世界中で増加している．日本でも GIGA スクー
ル構想が進み，1 人 1 台端末環境の実現や学校の ICT 環境設備が進んでいる．そのため，近い将来タブレット端末を利用した授業が主流になると考えられ，ひらがなや漢字のような読み書きを習う授業でもタブレット端末が活用されると考える．
デジタルペンによるペン入力の精度も上がってきており，ペンの持ち方や書き方が違っていても，手書き文字の特徴点から推測し自動補完によって綺麗な文字を書くことが可能になってきている．この自動補完は便利である一方で，鉛筆の持ち方や書き方，力の入れ具合のバランスなどが乱れる可能性がある．人間の運動動作や繊細な力の入れ具合のバランスは，丁寧で綺麗な字を書けるようになるだけではな
く，健康な身体を保つために重要であったり，[3] 高野衛, 安藤大地, 笠原信一. 運動学習支援を目的とした動作情報における可聴化手法の提案. イン
タラクション 2017, pp. 361–364, 2017.
[4] 土屋喬, 小宮山摂, 武藤剛. 運筆音を活用した書字訓練装置の開発. ヒューマンインタフェース学会
論文誌, pp. 451–457, 2010.
[5] 柏野牧夫. 可聴化による身体運動の表現と調節. 日
本音響学会誌, pp. 385–391, 2020.

他の運動動作に応用できたりと人間の行動に大きな影響があると考える．
本研究では，デジタルネイティブの時代において，運筆の学習を疎かにするのではなく，むしろ従来より習得がしやすくなるようなアプローチを目指している．本稿の提案システムはその第一歩となるプロトタイプシステムである．提案システムでは可聴化に着目しているが，運筆の学習支援については可視化についても有用性があるのではないかと考えている．可視化と可聴化の両方において検討を進めることで，これまで個人が自らの感覚を掴むまで試行錯誤を繰り返す必要があったことを短時間で習得できるように目指していきたい．また，本研究を発展させることで，スポーツの運動動作支援，楽器の演奏支援，視覚や聴覚に障がいがある人への支援など，人間の運動動作全般に対して応用できると考える．