情報処理学会研究報告
IPSJ SIG Technical Report

Vol.2024-HCI-207 No.32
2024/3/13

学習者用デジタル教科書ビューアにおけるドラッグ操作自動判別手法の開発
小島江里加 1

加藤直樹 2

概要：学習者用デジタル教科書ビューアにおける書き込みとページめくりはともにドラッグ操作であることが多く，その区別のためのモード切替を失念することによる誤操作がユーザビリティを悪化させている．この問題は，誤操作を自動で修正する機能によって解決できると考える．本稿では，誤操作修正機能実装の前段階として，ドラッグ操作時に端末から取得できる運筆データを特徴量とする判別モデルによって，ドラッグ操作が書き込みとペー
ジめくりのどちらを意図したものであるかを判別する手法の開発について述べる．判別モデルの性能評価の結果，ドラッグ操作初動時に得られる運筆データを用いて判別するモデルではおおむね判別可能であり，ドラッグ操作終了時までに得られる運筆データを用いて判別するモデルでは高精度に判別可能であることがわかった．
キーワード：学習者用デジタル教科書ビューア，ドラッグ操作，誤操作修正，自動判別，機械学習

Developing an Automated Method for Discriminating
Drag Operations in Digital Textbooks for Learners
ERIKA KOJIMA†1
1. はじめにNAOKI KATO†2
りなのかを切り替えるためにモードを取り入れている．ページめくりモードのときにドラッグするとページめくりが，GIGA スクール構想によって，教育現場の ICT（Inform-

書き込みモードのときにドラッグすると書き込みが行える．

ation and Communication Technology）環境整備が加速した．

その二つのモードの切替は，通常，ユーザがモード切替用

1 人 1 台端末，学習者用デジタル教科書を利用できる環境

ボタンを押すことで行う．

が整い，今後ますます学習者用デジタル教科書・教材を効

このようなモーダルなインタフェースでは，モードの果的に活用し，より高い学習効果を生み出していくことが切り替えを失念することで，意図した操作が行えないこと求められている．

がある．たとえば，ページめくりを行おうとしたときに，ここで，学習者用デジタル教科書とは，紙の教科書を書き込みモードであることを失念してモード切替用ボタン

ディジタル化したデータと定義されている．一般にはこのを押さずにドラッグすると，ページめくりではなく書き込

データを表示し，スタイラスペン（以下，ペン）による書みが行われてしまう．同様に，書き込みを行おうとしたがき込みや拡大・縮小などの機能を提供するソフトウェア

ページめくりが行われてしまうこともある．こうした誤操（デジタル教科書ビューア，以下ビューアと記す）と合わ

作によって，何を書き込もうとしたのか忘れてしまったり，せて「学習者用デジタル教科書」と呼んでいる．さらに，操作に注意が向き教員の話を聞き逃してしまったりと，直教科書に関連するデジタル教材を含めたものを「学習者用

接的に学習に支障をきたす．また，誤操作発生時の不快感

デジタル教科書・教材」等と呼ぶ．本論文では，これら情によって後の学習に集中できなくなってしまうなど，間「学習者用デジタル教科書」「学習者用デジタル教科書・

接的に学習に支障をきたすことも考えられる．

教材」を区別せずに「学習者用デジタル教科書・教材」と記す．

これらのモーダルなインタフェースが抱える問題は，ユーザがモード切替を失念していることにシステムが気づ

ビューアにおいて，書き込みは紙面上でドラッグ操作

き，ページをめくろうとしたが書き込みが行われてしまっ（ペン入力の場合はペン先を画面に下ろしてそのまますべた場合には，既に書き込まれたものを消してページがめく

らせ，タッチ入力の場合は指で画面をタッチしたまま指をられた状態にし，書き込もうとしたがページめくりが行わ

すべらせる）することで行える．ページ移動の方法はビュれてしまった場合には，ページを戻して，本来書かれるはーアによって異なるが，1 ページごとのページ移動（以下，ずだった書き込みも書かれた状態にするといった誤操作修

ページめくり）をドラッグ操作で行えるビューアが多い．

正機能によって解決できると考える．

そのため，ドラッグ操作が書き込みなのかページめく

そこで本研究では，学習者用デジタル教科書・教材のユーザビリティを向上し，学習者用デジタル教科書・教材

1 東京学芸大学教育学部
Faculty of Education, Tokyo Gakugei University
2 東京学芸大学
Tokyo Gakugei Universityⓒ2024 Information Processing Society of Japanの活用による学習効果をより高められるようにすることを目標とし，上記の機能実装の前段階として，学習者用デジ

1

情報処理学会研究報告
IPSJ SIG Technical Report

Vol.2024-HCI-207 No.32
2024/3/13

タル教科書ビューアにおけるドラッグ操作がページめくり

あるように思われる．しかし，主に学習者用デジタル教科と書き込みのどちらを行おうとしたものなのかを，端末か書・教材が使用される授業場面は，教員が話し続けていたら取得できるデバイス入力情報を使用して判別する手法をり，周りにいる児童・生徒の音声が入ったりと，ユーザ本

検討し，その実装と評価を通して，有用性を検証すること

人以外の音声が入りやすい環境である．また，音声を常にを目的とする．

取得できるようにしておくことはデバイスに負担がかかる

2. 関連研究ため，処理速度等の点で学習に支障をきたす可能性がある．

2.1 誤り修正に関する研究

学習者の状態を「筆記具を置いている」「筆記具を持った本研究では，誤操作修正機能の実現を目指すが，誤り修正のアプローチはさまざまである[1][2][3][4]．

江木らは，筆記具に取り付けた加速度センサを用いて手が止まっている」「筆記具を持って動かしている」「筆記具を使って書いている」に分類する手法を検討し，加速度誤り修正には誤り箇所のみを指摘するもの，誤りの内センサで得られる情報から状態推定が可能であることを示

容を提示するもの，修正案を提示するもの，誤りを自動でした[11]．高橋らは，タブレット端末で取得可能なオンラ

修正するものなどがある．どのような誤りを犯しているか

イン筆記データを使用して，作文における「書き写し行為」

を考えさせることが重要な場合は誤り箇所の提示のみを行と「創作的行為」を推定する手法を提案した[12]．このよい，単純な入力ミスであれば自動で修正するなど，場面にうな，標準的な入力デバイスから取得可能な筆記データをよって適切な誤り修正のアプローチは異なる．本研究で扱用いる場合，追加のデバイスが不要なため，教育現場におう，モードの切り替え忘れによる誤操作は，単に操作手順

いても利用しやすいデータとなる．本研究でもデバイスかの一つを行い忘れたことによるものであり，誤りがあった

ら取得できる筆記データを用いたドラッグ操作自動判別手ことをユーザが知る必要はないため，自動で修正すべきで法を検討する．

ある．
2.2 タッチ入力語彙拡張に関する研究
タッチインタフェースにおいて，より多様な入力方法の実現によってユーザビリティを向上しようとする入力語
彙拡張手法の提案やそれに特定の操作を割り当てようとする研究が行われている[5][6][7][8]．
書き込みモードとページめくりモードにそれぞれ異な3. 判別に用いるデータの収集
3.1 運筆データ
3.1.1 運筆データ候補の選定
ここでは，書き込みとページめくりの判別方式を探求する上で，判別に有用と考えられるデータ（以下，運筆データと呼ぶ）の選定について述べる．

る操作を割り当てることも考えられるが，これまでと異なドラッグ操作は一本の線（ストローク）を描く動作にる操作方法になることで新たな誤操作が生じる可能性があ

相当し，その形状は不連続な点の集合として表現される．

る．そのため，本研究では学習環境を変えずに誤操作を防

この点の座標（列）は運筆データの基本となる．書き込み

ぐことを目指す．

は余白のある紙面の縁付近で行い，ページめくりは紙面の2.3 行動推定（状態判別）に関する研究

中央付近で行うと予想されるため，座標はこの位置の区別

本研究では，学習者用デジタル教科書・教材において，にも使える．

ドラッグ操作が「書き込み」と「ページめくり」のどちら

また，ページめくりのドラッグ操作は横線を引くようを意図したものであるかを推定する．行動推定や状態判別な動作であり，ドラッグ操作の縦幅は小さくなるが，書きを試みる研究は数多く行われており，推定にはさまざまな込みでは縦線を書くこともあり，その場合，縦幅は大きく情報が用いられている．

なる．縦幅が大きければ書き込みであると判断できると考藤好らは，英文問題解答時の視点情報から英語習熟度えられる．加えて，余白などの限られたスペースに書くこを推定する手法を提案した[9]．ドラッグ操作が行われてとの多い書き込みは比較的小さくドラッグ操作を行い，そいる位置と視点が一致している場合は書き込みを行っていの点を気にしなくてよいページめくりでは比較的大きくドる可能性が高いといったことが予想され，視点情報は本研

ラッグ操作を行うと予想される．このドラッグ操作の大き究においても有効であると思われる．しかし，視点情報のさの違いはドラッグ操作の横幅にもあらわれる．そこで，取得にはアイトラッカーなどの機器が必要となるため現在

ストローク外接矩形（ストロークを表現するすべての点をの教育現場での使用は現実的でない．

内包し，各辺が X 軸または Y 軸に並行な最小の長方形）

各務らは，ユーザビリティ評価の支援を目的とし，ユーザビリティテスト時の音声情報から，機器操作時に感じの縦幅と横幅（これらをストローク外接矩形幅と呼ぶ）を運筆データとする．

るとまどいを推定するシステムを開発した[10]．学習者用ストローク全体の筆記速度，筆圧，加速度，ストロー

デジタル教科書・教材使用時にも，誤操作時には「あっ」

ク間の時間間隔から筆記者の行為推定が可能[12]であるこ「間違えた」といった発言が予想され，音声情報は有用でとから，本研究においてもこれらのデータが有用である可ⓒ2024 Information Processing Society of Japan2

情報処理学会研究報告
IPSJ SIG Technical Report

Vol.2024-HCI-207 No.32
2024/3/13

能性がある．Yu らは，認知的負荷の大きさと筆記動作とータとし，判別の要素として検討する．

の関係を調査し，筆圧と筆記速度が認知的負荷を評価する

3.1.2 判別タイミングと，それごとに使用する運筆データ

指標として有効であることを示した[13]．学習者用デジタ

ここでは，前節で選定した候補からの判別タイミング

ル教科書・教材において，ページめくりは横線を引くようごとに使用する運筆データについて述べる．

な単純な動作であるのに対し，書き込みは書き込む内容を

学習者用デジタル教科書・教材において，ドラッグ操

整理したり，書き込む位置を考えたりする必要がある．そ作の特徴からユーザが意図する操作を判別するタイミングのため，この二つの行動では，認知的負荷の大きさに差がとして次の二つが考えられる．

出ると考えられることからも，本研究において筆圧や筆記速度が判別に有効であると考えられる．

一つ目は，ドラッグ操作をし始めた瞬間に判別を行う方法である．この方法では，ドラッグ操作開始直後まで

筆記速度は変位を単位時間で割るため，ドラッグ操作（初動）の運筆データを使用して判別し，自動でモード切開始直後などでは筆記速度は非常に小さい値になると考え替を行うことで，モード切替を失念した場合でも意図したられる．そこで，比較的大きく，似た要素である変位も運操作を行えるようになる．二つ目は，ドラッグ操作終了時

筆データとする．

に判別を行う方法である．この方法では，ドラッグ操作終

文字を書くときの要素として「とめ・はね・はらい」がある．書き込みはこの 3 要素すべてから構成されるが，了時までに得られる運筆データから判別を行うことで，誤操作を修正できる．

ページめくりは「はらい」に近い動作である．「はらい」

ドラッグ操作をし始めた瞬間に判別するための要素との動作では，加速度には正の値が多く出現し「とめ」の動して，ドラッグ操作初動時に得られる座標，変位，速度，

作では止めようとする力がはたらくため，加速度には負の加速度，筆圧，経過時間を用いる．これらの運筆データを，値が出現しやすいと予想されることからも，加速度は有効以下，初動データと呼ぶ．

な運筆データとして適当であると考える．

ドラッグ操作終了時に判別するための要素として，ド西村らは，タッチパネルにおいて始点から目標点まで

ラッグ操作終了時までに得られるドラッグ時間，ストローの，指先を使用したドラッグ操作におけるピーク速度出現

ク外接矩形幅と，速度，加速度，筆圧については 1 ストロ

時間を調べた[14]．1 回のドラッグ操作にかかった時間をーク内の平均，中央値，最大値，最小値，最初と最後に取100％としたとき，ピーク速度はドラッグ操作開始後約 10れるデータを取得する．加速度はストロークの残り 4/5 以～20％時点で出現することがわかっている．この知見か

降，2/5 以降，1/5 以降の加速度も取得する．これらの運らは，書き込みとページめくりにおいても加速度の違いが筆データを，以下，終了時データと呼ぶ．

特にあらわれるのはドラッグ操作開始後 20％時点以降（ストロークの残り 4/5 以降）であると考えられる．しか

変位，速度，加速度は，X 成分，Y 成分も取得する．
3.1.3 物理座標系と紙面座標系

し，簡易的な調査を行ったところ，止めようとする力がは

変位，速度，加速度，ストローク外接矩形幅についてたらきだすのはストロークの後半部分であるとイメージすは，物理座標系における値と紙面座標系における値の 2 種る人が多かった．そこで，ストロークの残り 4/5 以降，類取得する（図 1）．物理座標系と紙面座標系について，

2/5 以降，1/5 以降の加速度を運筆データとする．

変位を例に説明する．物理座標系はタッチパネルの画面の少し離れたページを開くときには，同じ方向に連続し左上が原点となる座標系で，この座標系における変位は実てページめくりを行う．この場合，1 回目のページめくり

際の指やペンの動きに合った変位である．一方の紙面座標の後，手を元の位置に戻してから 2 回目のページめくりを

系はデジタル教科書紙面の左上が原点となる座標系で，こ行うと考える．そうだとすれば，書き込みはほぼ同じ位置の座標系における変位は紙面上における変位をあらわし，に連続してドラッグ操作を行うが，ページめくりは手の位表示の拡大・縮小に依存する．たとえば，拡大・縮小を行

置を動かすため，ページめくりよりも書き込みの方が，前っていないときと 2 倍に拡大したときでそれぞれ同じ長さ回のドラッグ操作が終了してから次のドラッグ操作を開始の線を描くとする．このとき，物理座標系の変位は同じ値するまでの経過時間は短くなると考える．この経過時間をとなる．一方，紙面座標系の変位は，拡大しているときは運筆データとする．

拡大していないときの 1/2 の値になる．

塗りつぶしを行う場合，一筆で塗りつぶすことも多く，

なお，物理座標系における変位，速度，加速度，スト

その場合，ドラッグ操作にかかる時間は長くなる．ドラッ

ローク外接矩形幅については，今回用いた実行環境以外のグ時間が長い場合は書き込みの可能性が高いと考えられるデバイスを使う場合，1px の大きさが変わることがあるた

ため，ドラッグ時間を運筆データとする．

め，その補正，たとえば，縦横方向それぞれについて画素

以上の関連研究より得られる知見および経験に基づく数が同じでサイズが 2 倍の場合は 1px の大きさが 2 倍にな

推測から，本研究では座標，変位，速度，加速度，筆圧，るので，入力データを物理座標系に変換する際には 2 倍に経過時間，ドラッグ時間，ストローク外接矩形幅を運筆デする．

ⓒ2024 Information Processing Society of Japan3

情報処理学会研究報告
IPSJ SIG Technical Report

Vol.2024-HCI-207 No.32
2024/3/13

生 8 名，小学生 1 名の計 16 名から運筆データを収集した．
参加者には，学習者用デジタル教科書・教材が使用される場面，すなわち授業場面に近づけるため，5 分程度の学習動画を見ながら自由に書き込みやページめくりを行う
タスクを行ってもらった．
学習者用デジタル教科書・教材の操作には，指を使用
図1

物理座標系と紙面座標系

する場合とペンを使用する場合があり，入力方法によってデータに差が出ると考えられる．そこで，デバイス付属の3.2 データ収集環境

ペンのみを使用したときと，指のみを使用したときでそれ3.2.1 ハードウェア環境

ぞれ行ってもらった．

データの収集には，IPS 液晶（静電タッチパネル付き）

本来参加者とすべき児童・生徒は学習者用デジタル教を搭載した Windows PC（Panasonic 製，Let’s note CF-MX5）

科書・教材に使い慣れている．参加者をその状態に近づけを用い，タブレットモードで使用してもらった．画面のサるため，参加者には事前に，本研究で着目する機能についイ ズ は 12.5inch （ 約 277mm × 156mm ）， 表 示 画 素 数 はて デー タ 取得 用 デ ジタル 教科 書 と仕 様 の近 い ビュ ー ア

1920px×1080px である．本研究ではこのデバイスだけを

Lentrance Reader[15]を使用してもらい，操作に慣れてもら利用することを前提とし，物理座標系の単位には，簡易的った．その後，データ取得用デジタル教科書の操作方法をに，絶対単位である mm ではなく，画面座標の単位の px

説明し操作に慣れ次第，タスクを行ってもらった．

を用いる．
ペンを使って行うタスクでは，デバイス付属のスタイ
ラスペンを使用した．
3.2.2 ソフトウェア環境

収集した運筆データは，欠損値を含むサンプルを除いたサンプル数が 11821，そのうち，書き込みのサンプル数
は 11087，ページめくりのサンプル数は 734 である．

データ収集用に，ドラッグ操作によるページめくり機

4. 自動判別手法の設計

能，フリーハンドで書き込める書き込み機能，取得した運4.1 判別手法（モデル）の種類

筆データを CSV 形式のデータファイルでダウンロードで

ドラッグ操作開始直後までに得られる運筆データを使きるデータ取得機能を持つ簡易的なビューア（以下，デー用して判別する初動判別モデル，ドラッグ操作終了時まで

タ取得用デジタル教科書）を開発した．

に得られる運筆データを使用して判別する終了時判別モデ

開発言語は JavaScript，HTML，CSS を使用し，Google

ルを構築する．

Chrome を使用して動作確認を行った．筆圧の取得には，また，指使用時とペン使用時の運筆データには差があ

JavaScript の TouchEvent オブジェクトの force プロパティ

ると予想されることから，指使用時であれば指使用時のデを使用した．拡大・縮小はブラウザに備わっている機能をータのみを学習に使用した指専用判別モデルを，ペン使用用いて行う．

時であればペン使用時のデータのみを学習に使用したペン

ページめくりを行うときはページめくりモードに設定

専用判別モデルを使用する方が判別精度は高くなると考えし，書き込みを行うときは書き込みモードに設定してドラられる．これらの専用判別モデルは，入力方法を判別でき

ッグ操作を行うと，そのドラッグ操作の運筆データとともるデバイスを使用する場合や，入力方法が定まっている場に，設定中のモードがデータファイルに出力されるように合であれば使用できる．一方，入力方法が定まっていない

なっている．設定中のモードがページめくりモードの場合

場合や，入力方法を判別できないデバイスを使用する場合

は「page」，書き込みモードの場合は「pen」をデータファも多く，そのような場合には，指使用時とペン使用時のデイルに出力することでラベルづけを行った．

ータを混合したデータで作成したモデルが適している可能

3.2.3 運筆データの単位性がある．そこで，二つの判別タイミング（初動，終了時）

運筆データは 10 ミリ秒間隔でサンプリングし，各運筆それぞれに対し，三つの入力方法（指，ペン，混合）を組

データの単位は速度（px/ms），加速度（px/ms2 ），経過時

み合わせた計 6 種類のモデルを構築する．

間（ms），ドラッグ時間（ms），座標（px），変位（px），

4.2 特徴量の選定

ストローク外接矩形幅（px）とした．筆圧は 0～1 の値を6 種類のモデルそれぞれで使用する特徴量を前章で選定

取る．

した運筆データから選定する．各判別モデルで使用する特3.3 データ収集

徴量は，収集した運筆データから，目的変数と各特徴量と本来は実際に教育現場で学習者用デジタル教科書・教の相関係数を計算し相関が弱い特徴量を除いた後，VIF材を使用している児童・生徒を参加者とすべきであるが，（Variance Inflation Factor）の値が多重共線性がないとさ

今回は初期検討として，社会人 5 名，大学院生 2 名，大学れる 10 未満になるまで VIF 最大の特徴量を一つずつ除いⓒ2024 Information Processing Society of Japan4

情報処理学会研究報告
IPSJ SIG Technical Report

Vol.2024-HCI-207 No.32
2024/3/13

4.2.3 選定された特徴量の考察て選定した．
4.2.1 初動判別モデルの特徴量選定

物理座標系の値と紙面座標系の値は，拡大・縮小をし目的変数と各特徴量との相関係数を求めた結果，弱い

ない限りほぼ同じ値になるため強い相関がある．また，速相関があるとされる絶対値が 0.3 以上の特徴量は少なく，度は変位をデータ取得間隔で割ったものであり，変位と速ほとんどの特徴量は相関が無いと判断される値であった．

度の間には強い相関がある．このような強い相関があり，

しかし，特徴量が少なくなりすぎることから，相関係数の同じような役割を持つ特徴量は一つに絞られた．

絶対値が 0.15 未満のものを除くことで特徴量を選定した．

初動判別モデル（ペン）には筆圧が特徴量として選定

表 1 に示す通り，初動判別モデル（指），初動判別モデされているが，初動判別モデル（指）では選定されていな

ル（ペン），初動判別モデル（混合）全てにおいて 7 個のい．ペンで入力したときの筆圧の値は 0～1 の幅広い値を特徴量が選定された．

取っているが，指で入力したときの筆圧の値はほとんどが4.2.2 終了時判別モデルの特徴量選定

0.98 程度の似たような値になってしまい，初動判別モデル

目的変数との相関係数の絶対値が 0.3 未満のものを除く
ことで特徴量を選定した．

（指）の特徴量として残らなかったと考えられる．
終了時判別モデルにおいて，すべての入力方法で共通

表 2 に示す通り，終了時判別モデル（指）では 8 個，終して選定されている特徴量に，物理座標系の最終速度があ了時判別モデル（ペン）では 13 個，終了時判別モデル

る．書き込みは「とめ」が多く，ページめくりは「はらい」（混合）では 8 個の特徴量が選定された．

の動作であり，ドラッグ操作終了時付近にその特徴が出ると考え取得したものである．実際に収集したデータを見る

表1と，ページめくりのデータでは平均 2.1，書き込みのデー

初動判別モデルの特徴量
項目

指

ペン

筆圧
前回ドラッグ操作終了時からの経過時間〇

紙面座標系の変位（X 成分）
紙面座標系の変位（Y 成分）〇

物理座標系の変位の大きさ

〇

〇

〇

終了時判別モデルにおいて，ストローク外接矩形幅（X〇〇軸方向）は特徴量として選定されているが，ストローク外〇〇接矩形幅（Y 軸方向）は残っていない．ページめくりのドラッグ操作は横線を引くような動作であり，ドラッグ操作

紙面座標系の変位の大きさ〇

物理座標系の速度（X 成分）〇

物理座標系の加速度

〇

X 座標

〇

Y 座標

〇

タでは平均 0.2 であり，書き込みとページめくりのドラッ
グ操作の違いがこの値に出ていると考えられる．

〇

物理座標系の変位（Y 成分）

表2

混合

〇

の縦幅に特徴が出ると考えてストローク外接矩形幅（Y 軸方向）を取得した．しかし，限られたスペースに書くこと〇が多い書き込みよりも，その点気にする必要のないページ〇〇

めくりは書き込みよりも大きくドラッグ操作を行うことが〇〇多い．完全に X 軸に平行なドラッグ操作が行えるわけではないため，ドラッグ操作が大きくなるにつれて Y 軸方

終了時判別モデルの特徴量
項目

向の幅も大きくなり，書き込みの幅と同程度になったため

指

ペ

混

ン

合

紙面座標系の速度の最大値〇

物理座標系の速度（X 成分）の最小値〇

物理座標系の平均速度（X 成分）〇

物理座標系の平均速度〇

物理座標系の速度（X 成分）の中央値
物理座標系の速度の中央値

れないデータとしてドラッグ角度が考えられる．

〇〇

4.3 判別モデルの学習手法〇〇

今回収集した運筆データは，書き込みのサンプル数が〇

紙面座標系の速度の中央値〇

物理座標系の最終速度（X 成分）〇

物理座標系の最終速度〇

11087，ページめくりのサンプル数が 734 と不均衡なデー
タとなっており，学習手法によっては多数派クラスである
書き込みに偏って判定するモデルとなる可能性がある．
そこで，各判別モデルの構築には，不均衡データの影〇〇らなかったと考えられる．ドラッグ操作の大きさに影響さ〇〇物理座標系の最終速度（Y 成分）に，ストローク外接矩形幅（Y 軸方向）が特徴量として残〇響を受けづらい教師あり学習手法の一つである勾配ブース

紙面座標系の平均加速度〇

ティングを用いる．勾配ブースティングとは，勾配降下法

物理座標系の加速度（X 成分）の最大値〇とブースティング，決定木の 3 手法を組み合わせた手法で紙面座標系の加速度（X 成分）の最大値〇

紙面座標系の加速度の最大値〇

物理座標系の加速度の最小値〇

物理座標系の加速度の中央値〇

物理座標系の初加速度
物理座標系のストローク外接矩形幅（X 軸方向）

ⓒ2024 Information Processing Society of Japanあり，高い精度を得やすい．

〇

5. 判別モデルの実装と判別性能評価〇

5.1 判別モデルの実装

〇
〇

〇

〇

前 3 章で収集した運筆データを使用し，6 種類の判別モ

5

情報処理学会研究報告
IPSJ SIG Technical Report

Vol.2024-HCI-207 No.32
2024/3/13

デルを構築した．

表3

プログラミング言語は Python3.9 を使用し，データセッ

初動判別モデルの結果
指

ペン

混合

トの整形には Pandas ライブラリを用いた．勾配ブーステ

正解率

0.97220.9792

0.9761

ィングによる判別モデルの構築には，scikit-learn モジュー[pen]適合率

0.97830.9846

0.9814ルで提供されている GradientBoostingClassifier を用い，ハ[pen]再現率

0.9921

0.99350.9933

イパーパラメータはデフォルト値とした．

[pen]F1 値

0.98510.98910.9873

データの前処理として，収集したデータのうち，欠損[page]適合率0.87200.86750.8771

値を含むデータや意図せずドラッグ操作を行ってしまった[page]再現率

0.71170.73180.7153[page]F1 値

0.78380.79390.7880MCC

0.7736

0.78620.7799ときのデータは削除した．
5.2 判別モデルの判別性能評価
本節では，前節で述べた実装方法で構築した 6 種類の判

表4

別モデルの判別性能評価を行う．
5.2.1 評価指標

終了時判別モデルの結果
指

ペン

混合

正解率

0.98900.99340.9907

本判別モデルでは，ドラッグ操作を，書き込みをあら[pen]適合率

0.99390.99650.9948わす「pen」とページめくりをあらわす「page」に分類す[pen]再現率

0.9941

0.9966

0.9952

る二値分類を行う．説明のため「pen」を陽性（Positive）[pen]F1 値

0.99400.99650.9950とし「page」を陰性（Negative）とし，実際のクラスが[page]適合率0.93230.94420.9339[page]再現率

0.92980.94300.9284[page]F1 値

0.93100.9436

0.9311MCC

0.92510.94010.9262「pen」で判別結果も「pen」だった場合が TP，実際のクラスが「pen」で判別結果が「page」だった場合が FN，実際のクラスが「page」で判別結果が「pen」だった場合がFP，実際のクラスが「page」で判別結果も「page」だった
場合が TN とする．
六つのモデルによるドラッグ操作判別結果の評価では，
正しく判別できるかが重要であり，指標としては，実際が書き込みのデータを書き込みであると判断できた割合である[pen]再現率，実際がページめくりのデータをページめくりであると判断できた割合である[page]再現率，書き込
みであると判断し実際に書き込みのデータであった割合である[pen]適合率，ページめくりであると判断し実際にページめくりのデータであった割合である[page]適合率があげられる．これらの指標に重要度の差はないため，適合率と再現率のバランスを取った指標である F1 値も用いる．

初動判別モデルの MCC はどの入力方法でも 0.77 以上であり，判別性能は良好である．終了時判別モデルの MCC
はどの入力方法でも 0.92 以上であり，優れた判別性能を有していることがわかる．
初動判別モデルより終了時判別モデルの方が各指標の値が高い理由は，初動判別モデルではドラッグ操作開始直後のデータしか使用できないが，終了時判別モデルでは 1ストローク全体のデータを使用できるためだと考えられる．
F1 値から，初動判別モデル，終了時判別モデルともに，書き込みのデータに対する判別性能よりも，ページめくりのデータに対する判別性能の方が低く，ページめくりのデータの判別に課題があることがわかる．

また，マシューズ相関係数（MCC：Matthews Correla-

初動判別モデル，終了時判別モデルともに，異なる入tion Coefficient）は混同行列 TP，FN，FP，TN の全要素を力方法であっても各指標の値は同程度であり，指かペンか考慮しており，「pen」と「page」の両クラスに対する判別
性能が高くない場合 MCC の値は大きくならず，両クラスに対する判別性能をバランス良く評価できる．偏った判定をする判別モデルに対しても適切に評価が可能なため，二混合かの入力方法による性能差は見られなかった．
これらのことから，デジタル教科書ビューアにおけるドラッグ操作自動判別手法（モデル）としては，入力方法の制限がなく特徴量も少ない，初動判別モデル（混合）と値分類モデルの総合的な評価指標として適している．そこ終了時判別モデル（混合）が最も実用的であると考える．

で F1 値に合わせて MCC も求める．

また，この二つの判別モデルは筆圧に関する運筆データを正解率，[pen]適合率，[pen]再現率，[pen]F1 値，[page]

特徴量として持たないため，筆圧を取得できない端末にお適合率，[page]再現率，[page]F1 値は 0～1 の値を取り，1いても同程度にドラッグ操作を判別できる可能性がある．

に近いほど良好である．MCC は，-1～1 の値を取り，完璧

6. 実機評価に分類ができているときに 1，ランダムな分類と同等であるときに 0，完全に真逆に分類しているとき-1 となる．
5.2.2 結果
5 分割交差検証を各 5 回行った結果の平均を初動判別モ
デルは表 3 に，終了時判別モデルは表 4 に示す．

ⓒ2024 Information Processing Society of Japan

6.1 概要判別モデルの判別性能と判別時間の評価を目的として，
リアルタイムに入力されるデータに対する判別性能の客観的評価と，大学生 4 名，大学院生 2 名，社会人 2 名の計 86情報処理学会研究報告
IPSJ SIG Technical Report名を対象としたアンケートによる主観的評価を行った．
実機評価で使用するモデルは，汎用性の高い初動判別
モデル（混合）と終了時判別モデル（混合）とした．前章

Vol.2024-HCI-207 No.32
2024/3/13

しい．そのため，本実機評価ではその都度判別結果を確認しながらドラッグ操作が行えるよう，自分のペースでドラッグ操作を行ってもらうこととした．

ではデータ収集で得たデータの約 4/5 を学習データとしてタスク終了後に，被験者には各モデルに対して，「正し構築したモデルを評価したが，ここでは，全サンプルを使く判別が行えていたか」，「判別結果が表示されたタイミン

用してモデルを構築した．

グで誤操作が修正されると想定して判別結果が表示される

6.2 実機評価環境

までにかかった時間（初動判別モデル（混合）の評価時に実機評価に使用したデバイスは，データ収集時と同じはドラッグ操作開始時から判別結果が表示されるまでの時

ものを使用した．実機評価用 Web アプリケーションとし間を，終了時判別モデル（混合）の評価時にはドラッグ操て，データ取得用デジタル教科書に判別モデルを搭載し，作終了時から判別結果が表示されるまでの時間）が適切で判別性能を客観的に評価するための判別結果出力機能，判あったか」について「とてもそう思う」「そう思う」「どち別精度と判別時間を主観的に評価するための判別結果表示

らでもない」「そう思わない」「全くそう思わない」から選機能を加えた簡易的なビューア（以下，判別結果出力機能

択してもらう五件法で調査し，その理由や誤って判別され付きデジタル教科書）を開発した．

た場面について自由記述で回答してもらった．

判別結果出力機能により，選択中のモード（実際のク

また，被験者に行ってもらったドラッグ操作に対するラス）と判別モデルによる判別結果を CSV 形式のデータ

実際の判別精度検証（以下，実機判別性能評価）を行った．

ファイルに出力し，実験後に判別性能を確認できる．判別

6.4 結果と考察

結果表示機能は，操作画面上に判別結果を表示する機能で，6.4.1 実機判別性能評価

被験者は自分が行ったドラッグ操作が正しく判別されたかを実験時に確認できる．判別精度，判別時間を主観的に評初動判別モデル（混合）と終了時判別モデル（混合）の結果を表 5 に示す．

価するために，ドラッグ操作を自動で判別し誤操作を修正

前章の判別性能評価の結果よりも各指標の値が低い．

する機能を付けたかったが，判別結果を JavaScript プログ

その理由として，データ収集時とシチュエーションが大きラムが受け取るまでの時間を高速化できず，この機能を付く異なるためにデータの特徴が変わり，判別が困難になっ

けるとドラッグ操作をしているときに前回のドラッグ操作た可能性がある．データ収集時とシチュエーションを揃えに対する修正が行われるなど著しく実験に支障をきたすた

たり，より多くの人のデータを学習に使用し，さまざまなめ，判別結果の表示とした．

パターンを学習させたりすることで改善できると考える．

判別結果出力機能付きデジタル教科書は，Python3.9，

表5

JavaScript，HTML，CSS を使用して開発した．JavaScript
プログラムでリアルタイムに取得したデータは Ajax 通信
で Python プログラムに送られ，構築しておいたモデルに入力する．得られた判別結果を JavaScript プログラムに渡実機判別性能評価の結果
初動判別モデル（混合）

終了時判別モデル（混合）

正解率0.61430.9174[pen]適合率

0.53000.9187[pen]再現率

0.97250.9549し，判別結果をデータファイルと操作画面上に出力する．

[pen]F1 値

0.68610.9365

6.3 実機評価方法[page]適合率0.94170.9149

被験者に対し，判別タイミングや誤操作修正イメージ[page]再現率

0.34040.8515など実機評価で使用するモデルについて説明した後，入力[page]F1 値

0.50000.8821

方法は制限せずに授業場面を想定しながら自由に書き込み

MCC

0.38420.8199やページめくりをするタスクを行ってもらった．なお，書き込みしたいときは書き込みモードを選択し，ページめく
りしたいときはページめくりモードを選択してからドラッ
グ操作を行ってもらった．
タスク中は，ドラッグ操作 1 回 1 回に対して表示される判別結果を見て，正しく判別されているかと判別結果表示
までにかかった時間を確認してもらった．実際の授業場面に近づけて実機評価を行いたかったが，今回作成した判別
結果出力機能付きデジタル教科書では，判別結果が操作画面に表示されるまでの時間を高速化できず，短時間で連続してドラッグ操作を行った場合，結果の表示が遅れ，ドラッグ操作一つひとつに対する判別結果を確認することが難ⓒ2024 Information Processing Society of Japan

図2

アンケートで取得した五件法による調査の結果

7

情報処理学会研究報告
IPSJ SIG Technical Report
6.4.2 アンケート評価
アンケートで取得した五件法による調査の結果を図 2 にVol.2024-HCI-207 No.32
2024/3/13

できた．判別時間についてはどちらのモデルも適切でないと回答する者が多かった．

示す．自由記述では，判別精度について，初動判別モデル

判別結果表示までにかかる時間を高速化し，授業場面（混合）に対しては「ページめくりを書き込みと誤って判に近い状況で実機評価を行う必要がある．また，ページめ

別された場面が結構あった．逆に書き込みをページめくり

くりのデータに対する判別に課題があることから，他の特と誤って判別された場面はほとんどなかった」「ページめ徴量や機械学習手法，ハイパーパラメータを検討して判別

くりの精度がかなり悪い印象．書き込みは問題なかった」

手法を改良したり，より多くの人からデータを収集したりなど，ページめくり時の判別精度が悪いという意見が多くして判別性能をより高める必要がある．

得られた．終了時判別モデル（混合）に対しては，全員から肯定的な回答を得ることができた．
判別にかかった時間については，初動判別モデル（混合），終了時判別モデル（混合）ともに否定的な回答が多かった．
判別モデルによる判別自体に時間がかかっているのか，
その他のところで時間がかかっているのかを調べるために，（ア）判別モデルへの入力から判別結果が出力されるまでの時間と（イ）判別モデルに入力するデータの取得が完了してから判別結果が操作画面上に表示されるまでの時間を，実機評価と同じ状況でドラッグ操作を 50 回行い計測した．
初動判別モデル（混合）では，（ア）は平均約 2.541 ミ
リ秒，（イ）は平均約 3575 ミリ秒であった．終了時判別モ
デル（混合）では，（ア）は平均約 2.524 ミリ秒，（イ）は
平均約 5844 ミリ秒であり，判別モデル自体の判別時間は短いが，判別モデルの読み込みやプログラム間のデータの受け渡しなどその他のところで時間がかかっていることがわかった．これは，処理速度の速いデバイスを使用したり，使用するプログラミング言語を揃えるなど工夫したりする
ことで改善できると考えられる．

7. おわりに本研究では，学習者用デジタル教科書・教材のユーザ
ビリティ向上を目的とし，学習者用デジタル教科書ビュー
アにおけるモードの切り替え忘れによる書き込みとページ
めくりの誤操作を修正する機能実装の前段階として，ドラッグ操作時に端末から取得できる運筆データを特徴量とする判別モデルによって，ドラッグ操作がそのどちらを行おうとしたものなのかを判別する手法を検討し，その実装と評価を通して，有用性を検証した．
判別性能評価から，ドラッグ操作開始直後までの運筆
データを使用してドラッグ操作初動時に判別するモデル（初動判別モデル）ではおおむね，ドラッグ操作終了時までに得られる運筆データを使用してドラッグ操作終了時に判別するモデル（終了時判別モデル）では高精度に判別可能であることがわかった．
実機評価では，判別精度について，初動判別モデルではページめくり時の判別精度に課題があるという意見が多かったが，終了時判別モデルでは，正しく判別できていたかという質問に対して全員から肯定的な回答を得ることがⓒ2024 Information Processing Society of Japan

参考文献[1] 三島剛，清山信正，今井篤，大出訓史，都木徹：リアルタイ
ムニュース字幕修正作業のための音声認識誤り自動検出法，
映像情報メディア学会誌，57（12），pp.1709-1716（2003）．
[2] 趙艶，高瀬治彦，北英彦：機械学習による日本語学習者の作文からの誤り検出―1 文節内の文法誤りの検出―，知能と情報，32（5），pp.887-890（2020）．
[3] 蜂巣吉成，東直希，三上比呂，長野滉大，吉田敦，桑原寛
明：複数のプログラミング言語の文法知識に起因する 制御
文の誤りの自動修正ツールの試作，コンピュータ ソフトウ
ェア，39（4），pp.4_38-4_48（2022）．
[4] Excel のオートコレクト機能，Microsoft サポート，
https://support.microsoft.com/ja-jp/office/excel-のオートコレク
ト機能-8fd2dc2d-ca25-4b9b-88a5-fea044b2fa11，（2024/01/03
アクセス）．
[5] 熊澤秀一，長谷川達人，南保英孝，木村春彦：タッチインタ
ーフェースを用いた指の種類識別，マルチメディア，分散，協調とモバイルシンポジウム 2016 論文集，pp.1670-1676（2016）．
[6] 池松香，山中祥太：ScraTouch: 静電容量方式タッチサーフェスにおける手指の爪を使用したタッチ入力拡張技法，第 27
回インタラクティブシステムとソフトウェアに関するワークショップ（WISS 2019）論文集，pp.85-90（2019）．
[7] 池松香，椎尾一郎：タッチサーフェスにおける押下圧と接触面積を組み合わせた直接操作技法，インタラクション 2017
論文集，pp.503-508（2017）．
[8] 小笠原直人，佐藤究，布川博士：携帯端末タッチスクリーンにおける指の接触状況に応じた操作切替の提案と評価，ヒューマンインタフェース学会論文誌，14（3），pp.271-282（2012）．
[9] 藤好宏樹，吉村和代，Kai Kunze，黄瀬浩一：英文問題解答時の視点情報を用いた英語能力推定法，信学技報，115（24），pp.49-54（2015）．
[10] 各務拓真，葛岡英明，原田悦子，田中伸之輔：ユーザの機器
操作時の音声情報を用いたとまどい推定手法の検討，研究報
告ヒューマンコンピュータインタラクション（HCI），2019HCI-183（10），pp.1-7（2019）．
[11] 江木啓訓，尾澤重知：学習者センシングのための筆記行為の検知手法と評価，日本教育工学会論文誌，36（Suppl.），pp.181-184（2012）．
[12] 高橋梓帆美，井本和範，山口修：オンライン筆記データを用いた書き写し行為の推定，情報処理学会研究報告. コンピュータと教育研究会報告，2015（17），pp.1-8（2015）．
[13] Kun Yu，Julien Epps，Fang Chen：Cognitive load evaluation of
handwriting using stroke-level features，Proceedings of the 16th
international conference on Intelligent user interfaces，pp.423426（2011）．
[14] 西村崇宏，土井幸輝，藤本浩志：タッチパネルでの指先によるドラッグを対象としたピーク速度に基づく運動特性解析，
日本感性工学会論文誌，19（3），pp.291-299（2020）．
[15] Lentrance（レントランス），https://www.lentrance.com/，（2024/01/15 アクセス）．

8