情報処理学会 インタラクション 2022
IPSJ Interaction 2022

5D03
2022/2/21

エクスカキバー：ビジュアル・サウンドエフェクトを用いた筆記支援中川久倫†1

伊藤弘大†1藤田和之†2岸楓馬†3

福島力也†3伊藤雄一†1

概要：近年，学習者の学力の低下が問題となっている．その一方で，ゲームのプレイ時間は増加傾向にあり，その際に生じる興奮・興味・喜びなどのポジティブな感情は学習効果を向上させることが知られている．そこで本研究
では，学習時の「筆記行動」にゲーム要素を取り入れたフィードバックを与え，書くこと自体を楽しくすることで学習意欲・学習パフォーマンスの向上を図る．本稿ではそのシステムとして，ストロークの種類を，点・直線・曲線の 3 種類に分類し，それぞれに打撃・斬撃などのゲームの要素を取り入れたビジュアルエフェクトと効果音のサウンドエフェクトを付与した．また，このシステムを 18 名の大学生に体験してもらい，筆記への印象や筆記量にどのような影響を及ぼすか明らかにした．

1. はじめに
近年，日本では児童・生徒の学力の低下が社会問題となクにおける筆記への印象や筆記量の変化を評価する．

2. 関連研究っている．実際，OECD が行っている国際的な学習到達度

筆記行動へのフィードバックを用いた学習支援に関する調査 PISA[1]では，日本の順位は低下傾向にある．この原研究はいくつかなされている．Kim らは，下敷きにマイク因の一つとして精神的な要因が挙げられ，「やる気が起きロホンを装着することにより，ヘッドホンから筆記音を増ない」「勉強に集中できない」という悩みを抱える児童・幅してフィードバックする装置を実装し，筆記音のフィー生徒は多数存在する[2]．

ドバックが筆記作業の継続に有効であることを明らかにし反対に，児童・生徒のゲームのプレイ時間は年々増加した[8]．牟田らは，内蔵マイクが録音した筆記音から「トメ」ている[3]．新型コロナウイルスの蔓延がこの傾向に拍車を「ハネ」「ハライ」の終筆動作を識別し，それぞれの終筆かけ，令和 3 年度の調査では，公立中学校に在籍する生徒動作に対応した効果音を再生する文鎮型デバイス「i 文鎮」の 8 割が 1 日当たり 1 時間以上ゲームをプレイしているこを提案している[9]．タブレット上での筆記においては，とが明らかになった[4]．

Andersen らが，視覚的フィードバックと聴覚的フィードバ

また，近年は学習とゲームの融合が進んでいる．多様な知育ゲームが開発され，学習にゲームの要素を組み込むゲックを与えることによって，より正確な線を書くことができることを示した[10]．

ーミフィケーションについても多くの研究がなされている

また，ビジュアル・サウンドエフェクトを筆記以外に用[5]．さらに，ゲームをプレイする際に生じる興奮・興味・いた研究もなされている．Yumura らは，プロジェクション喜び等のポジティブな感情は，学習効果を向上させることマッピングを用いてキーボードに映像演出と音響演出を加が知られている[6][7]．

え，タイピング体験を拡張する Augmented Typing を提案しそして，学習に関わる活動の中で，「筆記」は学習者のている[11]．

年齢や学習科目に関わらず様々な場面で広く利用される行

視覚・聴覚両方のフィードバックを筆記に用いた筆記支為である．この筆記行動にポジティブな感情を与え，筆記援の研究は未だなされていないため，本研究では，ゲーム行動のモチベーションを向上させることで，学習効果の向の要素を取り入れた，視覚・聴覚両方のフィードバックを上が期待できる．そこで本研究では，タブレット上での筆筆記行動に用いることで，ゲームプレイ中のようなポジテ記行動に着目し，ゲームの要素を取り入れたビジュアルエ

ィブな感情を生起させ，さらなる学習意欲・効果の向上をフェクト及び効果音のサウンドエフェクトを付与する．こ図る．

れにより，興奮・興味・喜び等の感情を生起させ，学習を

3. エフェクトを用いた筆記支援システム支援するシステムを提案する．本稿では，タブレット上の筆記を分析した後，対応したビジュアル・サウンドエフェ
クトを提示するシステムを作成し，英単語の書き写しタス

3.1 システムの概要
本システムでは，タブレットにペンが触れてから離れるまでのストロークを「点」「直線」「曲線」の 3 種類に分類†1

青山学院大学 理工学部情報テクノロジー学科†2

東北大学 電気通信研究所†3

大阪大学 大学院情報科学研究科© 2022 Information Processing Society of Japan641

情報処理学会 インタラクション 2022
IPSJ Interaction 2022

5D03
2022/2/21

図 1. ストロークの分解・分類の例

図 4. 書き写し用プログラム実行画面
図 2. 点・直線・曲線に付与したビジュアルエフェクト

4. 評価実験
本システムを利用した際の筆記に対する印象や筆記量を評価するため，評価実験を行った．
4.1 実験内容
実験参加者 18 名 (大学生，男性 10 名，女性 8 名) に，ビ

図 3. エフェクト付与の例
する．その後，それぞれの要素に対応するビジュアルエフェクト及び効果音のサウンドエフェクトを付与する．図 1にこの一連の処理の例を示す．
ビジュアル・サウンドエフェクトには，代表的なゲームの演出として，点には打撃を，直線にはまっすぐな斬撃を，曲線にはカーブを描く斬撃を用いた．図 2 にこれらのビジュアルエフェクトを，図 3 にエフェクト付与の例を示す．
3.2 実装実装には 28 インチの Surface Studio（Microsoft 製）を使用し，processing によって書き写し用のプログラムを作成した．図 4 にこのプログラムの実行画面を示す．Surface ペンを用いることで，90 Hz で筆記中のストロークを計測できる．
本システムでのストロークの分解手法について述べる．
まず，1 フレーム内に筆記方向が一定角度以上変化したときにストロークの分解を開始する．分解された要素内の総ジュアル・サウンドエフェクトの有無の２条件で，英検 1級レベルの英単語の書き写しをそれぞれ 40 分間行ってもらい，筆記量を計測した．また，各条件実施後にはアンケー
トによる主観評価を行った．このとき，筆記には Surface ペンを用いた．なお，実験参加者は 2 条件の実験をそれぞれ別日に行った．これは，Kim らの研究[8]において，異なる条件の実験を同日に行った際，結果に影響を及ぼしたことが報告されているためである．
図 5 のように，実験参加者はエフェクトの有無に関わらずヘッドホンを着用し，椅子の高さ，筆記するウィンドウの位置，音量を自由に調整した状態で英単語の書き写しを行った．
評価項目は，Kim ら[8]が使用した作業に対する印象 8 尺
度を用い，各 7 段階で評価した．質問項目を次に示す．
「楽しかった—つらかった」「短く感じた—長く感じた」「落ち着いてできた—いらいらした」「面白かった—つまらなかった」「すき—嫌い」「集中してできた—気が散った」「心筆記距離が一定閾値未満の時に「点」と分類する．一方，一定閾値以上の時には，要素内の総筆記距離を要素の始点から終点までの直線距離で割った値によって曲がり具合を算出し，一定閾値以上の曲がり具合を認識すれば「曲線」，そうでなければ「直線」として分類する．これらの閾値を適切に定めるため，実験協力者 10 名の予備実験によりデータを取得し，分析した．その結果，ストロークの分解に用いる筆記方向の変化角度の閾値は 51 度に，点の分類に用いる要素内の距離の閾値は 56 pixel に，直線と曲線の分類に用いる曲がり具合の閾値は 1.08 に設定した．

© 2022 Information Processing Society of Japan図 5. 実験の様子

642

情報処理学会 インタラクション 2022
IPSJ Interaction 2022

5D03
2022/2/21

体的な負荷」が低い (p<0.05) ことが認められた．

5. 考察
実験結果より，ビジュアル・サウンドエフェクトを付与することで，筆記量を上昇させる傾向があり，書き取りに「面白かった」「すき」という印象を抱かせ，作業中の身体的要求及び全体的な負荷を軽減することが明らかになった．本章では，これらの結果をもとに，「筆記量の増加」
図 6. エフェクトの有無と 40 分間の筆記文字数の関係と「筆記に対する印象の変化」のそれぞれについて考察する．
5.1 筆記量の増加
10 分から 30 分の区間では有意に筆記量が上昇しているが，0 分から 10 分の区間では筆記量の変化に有意差が見られなかった．この原因として，タブレットに筆記するという行為への慣れが挙げられる．実際に，実験前に行った事
前アンケートでは，実験参加者 18 名のうち 11 名がタブレットに筆記する習慣がないと答えている．そのため，大きなタブレットに筆記するという行為が日常的に行われていないことから，実験開始後の数分間では，慣れることに意

図 7. エフェクトの有無と 10 分ごとの筆記文字数の関係識を集中していたと推測される．

地よかった—不安だった」「リラックスできた—緊張した」．
また，上記の評価項目に加えて，日本語版 NASA-TLX [12]を，本実験の内容に沿うように文章を書き換えて利用し，VAS 法により評価した．質問項目としては，「知的・知覚的要求：大きい—小さい」「身体的要求：大きい—小さい」「タイムプレッシャー：強い—弱い」「作業成績：悪い—良い」「努力：多い—少ない」「フラストレーション：高い—低い」「全体的な負荷：高い—低い」であった．
4.2 実験結果
ビジュアル・サウンドエフェクトの有無と筆記文字数の関係を調査するため，40 分間の総筆記文字数及び，10 分ごとの筆記文字数について対応あり t 検定を行った．その結果，図 6 に示す通り 40 分間全体では，エフェクトあり条件での筆記文字数の上昇に有意傾向が見られ (p<0.10) ，10 分

図 8. エフェクトの有無と作業に対する印象の関係

から 20 分及び 20 分から 30 分の区間においては，図 7 に示
す通り筆記文字数が有意に上昇した (p<0.05) ．
また，作業に対する印象 8 尺度における評価結果に対してウィルコクソンの符号付き順位検定を行ったところ，図8 に示すように，「面白かった—つまらなかった」「すき—嫌い」の評価項目において，エフェクトあり条件が有意に「面白かった」 (p<0.01) 「すき」 (p<0.05) という結果が得られた．
さらに，日本語版 NASA-TLX の評価項目においても同様にウィルコクソンの符号付き順位検定を行ったところ，図9 に示すように，エフェクトあり条件は，エフェクトなし
条件に比べ，有意に「身体的要求」が小さく (p<0.05) ，「全© 2022 Information Processing Society of Japan図 9. エフェクトの有無と NASA-TLX 質問項目の評価

643

情報処理学会 インタラクション 2022
IPSJ Interaction 2022

5D032022/2/21

また，0 分から 10 分の区間と同様に，30 分から 40 分のトを付与することで，ポジティブな感情を生起させ，筆記区間においても有意差が見られなかった．Kim らがおこな学習を支援するシステムを提案した．そして，このシステった研究[8]では，時間が経過するにつれて筆記量の変化がムの有効性を評価するために，筆記作業に対する印象や筆大きくなる傾向が見られている．一方で，本実験では 10 分記量を調査した．その結果，ビジュアル・サウンドエフェから 30 分の区間が有意に変化し，それ以降は変化が弱まる

クトを付与することで，筆記文字数に上昇傾向が見られた傾向が見られた．これは，Kim らは筆記音をフィードバッとともに，有意に「面白かった」「すき」という印象を抱クとして返していたため，筆記のストローク中にペンの動かせ，身体的要求や全体的な負荷を軽減するという結果がきと同期してフィードバック音が再生されていた．それに得られた．今後は，識別精度の向上を目指すとともに，よ対し本研究では，各ストロークの終了後にエフェクト音をり印象・筆記量に良い影響を与えるエフェクトの調査や，再生した．そのため，筆記の動作とエフェクト音にタイム学習を阻害しないフィードバック方法を検討する．

ラグが発生し，連続して筆記した際にペースを乱す効果があったのではないかと推測される．実際に，効果音によって筆記のペースが乱され，効果音に慣れる後半ほどその傾向が強くなった，と複数の実験参加者が感じていた．この改善手法としては，より再生時間の短い効果音を用いる方法などが考えられる．
5.2 筆記に対する印象の変化
本実験では，エフェクトを付与することにより，「面白かった」「すき」という快感情を抱かせることができ，身体的要求及び全体的な負荷を軽減した．一方で，「集中してできた」「落ち着いてできた」の項目で有意な差はなかった．
このことから，本システムは負荷を軽減し，楽しく筆記させることが可能であるものの，筆記に集中させる効果はなかったと考えられる．これは，5.1 節で述べたように，筆記と効果音の再生に時間差が生じていることが原因であると考えられる．
また，実験終了後に行った自由回答のアンケートにおいて，「エフェクトあり条件の実験中に眠気を感じ，筆記が止まった際に，効果音のサウンドエフェクトが途切れたことで筆記が止まっていることを自覚し，目が覚めた」という意見があった．これは，集中が途切れたユーザに対して，動画の音量やピッチを変更することで違和感を抱かせ，再び 集 中 さ せ る と い う ，Arakawa ら が 提 案 す る Mindless
Attractor[13]と類似した効果が生じている可能性があると考えられる．
一方で，エフェクトなし条件では書く単語を口にしながら筆記していた実験参加者が，エフェクトあり条件においては単語を口にすることなく筆記しており，記憶におけるリハーサルを阻害している可能性があると考えられる．そのため，記憶及び学習を阻害しないためのフィードバック方法を検討する必要がある．

6. おわりに謝辞

本研究の一部は，JSPS 科研費 20H04226 の助成を受けた．

参考文献[1] “PISA”. https://www.oecd.org/PISA/, (参照 2021-12-5).
[2] “小中学生の学びに関する実態調査”.
https://berd.benesse.jp/up_images/research/Survey-onlearning_ALL.pdf, (参照 2021-12-5).
[3] “全国学力・学習状況調査の結果”.
https://www.nier.go.jp/21chousakekkahoukoku/21summary.pdf,(参照 2021-12-21).
[4] “令和 3 年度全国学力・学習状況調査 回答結果集計[生徒質問紙]“.
https://www.nier.go.jp/21chousakekkahoukoku/factsheet/data/21m_408.pdf, (参照 2021-12-5).
[5] Simone de Sousa Borges, Vinicius H. S. Durelli, Helena Macedo
Reis, and Seiji Isotani. A systematic mapping on gamification
applied to education, SAC’14:Proceedings of the 29th Annual ACM
Symposium on Applied Computing, pp. 216-222, 2014.
[6] 飯島采永, 瀧上順也. 学習前の感情経験が記憶力にもたらす効果の検証, 感情心理学研究, Vol. 28, p. 22, 2020.
[7] “「興奮」「興味」「喜び」の感情が学習中の記憶力を向上させることを証明“.
https://prtimes.jp/main/html/rd/p/000000255.000003287.html,(参照 2021-12-05).
[8] Junghyun Kim, Tomoko Hashida, Tomoko Ohtani, and Takeshi
Naemura. Effects of auditory feedback for augmenting the act ofwriting, AH’12:Proceedings of the 3rd Augmented Human
International Conference, No. 13, pp. 1-4, 2012.
[9] 牟田将史, 石川優, 里井大輝, 星野准一. i 文鎮: 書くことを楽しくする文鎮, 情報処理学会研究報告, pp. 1-5, 2014.
[10] Tue Haste Andersen and Shumin Zhai. “Writing with Music”:
exploring the use of auditory feedback in gesture interface, ACM
Transactions on Applied Perception, Vol. 7, No. 3, Article 17. 2010.
[11] Tsubasa Yumura and Satoshi Nakamura. Augmented Typing:
Augmentation of keyboard typing experience by adding visual andsound effects, Asian CHI Symposium, 2019.
[12] 芳賀繁, 水上直樹. 日本語版 NASA-TLX によるメンタルワーク
ロード測定, 人間工学学会, Vol. 32, No. 2, 1996.
[13] Riku Arakawa and Hiromu Yakura. Mindless Attractor: A falsepositive resistant intervention for drawing attention using auditory
perturbation, Proceedings of the 2021 CHI Conference on Human
Factors in Computing Systems, No. 99, pp. 1-15, 2021.

本研究では，タブレット上で書かれた文字をいくつかの要素に分解した後，点・直線・曲線に分類し，それぞれにゲームの要素を取り入れたビジュアル・サウンドエフェク© 2022 Information Processing Society of Japan644