情報処理学会 インタラクション 2021
IPSJ Interaction 2021

INT21006
2021/3/10

Blavo：黒板への筆記に合わせてガイドを表示する
板書支援インタフェースの研究
秀徳祐太†1 加藤直樹†1†2
概要：
黒板は電子黒板などの大型提示装置の普及が進められた現在の学校現場でも多く利用されている．しかし初任者などの板書に不慣れな教員にとって，綺麗な板書を簡単に素早く書くことは容易ではない．本研究では，黒板上での図形描画と文・文章筆記に着目し，授業者が綺麗な板書を簡単に素早く書けるように支援するインタフェースを提案する．具体的には，図形の１辺や文章の１文字目など，板書の書きはじめの部分を取得し，その部分に重畳する形で黒板上にその後の板書を導くガイドを表示することで支援を行う．板書の書きはじめの部分の抽出では，複数の画像処理手法を組み合わせることでロバストな抽出を行えるようにした．本稿では，提案したインタフェースの設計とインタフェースを実装したシステムの試作，及び図形描画支援インタフェースを実装したシステムを用いて行った評価実験とそれに基づいた操作方法の改善，2度目の評価実験について述べる．評価実験を通して，提案したインタフェースが有用である可能性を示すことができた．

1.

はじめに日本の学校のほぼすべての教室には黒板が設置されている．社
会の情報化に伴う教育の情報化の中で教育現場における情報通信技術（ICT：Information and Communication Technology）を利用した機器の普及が進み，コンピュータの画面を大型提示装置に表示する授業も多くなった．しかし，黒板は板面が広いことによって複数の情報を同時に提示でき，必要な情報を授業中残しておき授業の流れを最初から最後まで見渡せるようにできるなどのメリットがあり，電子黒板等の大型提示装置の普及が進んでいる現在でも，多くの授業で用いられている．
文部科学省が提示する，「初等中等教育局教職員課初任者研修目標・内容例（小・中学校）」[1]では，研修内容の項目「授業実践に関する技術」内で「板書の工夫」，「授業の分析と診断」の項目で「資料提示や板書と反応」が挙げられており，同じく文部科学省の提示する，「補習授業教師のためのワンポイントアドバ
イス集」[2]では，板書の要件に，「授業準備の中で，板書計画も決定稿にしておくこと」，子ども達の望む板書（中学生からの調麗な図形を描くには相応の板書技術が必要であり，後者は前者に比べて綺麗な図形を描くことができるが，教具の扱いに慣れる必
要と，図形の描画だけに時間をかけてしまう，授業の進行を止めてしまう，といった欠点がある．文・文章の記述を綺麗に行うには，水平または垂直に並べて書く，文字の間隔を揃える，文字の大きさを揃える，行頭を揃える，行間を揃えるなどの要素があるが，フリーハンドで時間をかけずにこれらを守ることは難しく，綺麗に書くことを意識して時間をかけると授業の進行を止めてしまうといった問題がある．板書する時間を減らすために事前に板書内容を準備しプロジェクタ等で黒板上に掲示する方法も考えられるが，児童の理解度や発言に合わせて板書内容を変えることもあり，授業前に板書内容を完全に決定することは難しい．
そこで我々は，ICT を利用し，黒板上で綺麗な板書を簡単に素早く書けるように支援を行うインタフェースを提案する．本稿では，そのインタフェースの設計，それを実装したシステムの試作，試作システムを用いたインタフェースの評価について述べる．

2.

板書支援インタフェースの設計

査より）には，「続け字，大きさ...読みやすい字で書いてほしい。」と記述がある．これらのことから，授業では見やすい，わかりやすい板書が求められていることがわかる．また，学習時間の確保といった観点からは，授業の流れの中で時間をかけずに板

2.1. 基本コンセプト
本稿では，綺麗な板書を簡単に素早く行えることを目標に，使用者が図形もしくは文・文章の一部を黒板に書くと，次に続く板書を行う必要がある．しかし，見やすい板書を手間や時間をかけ書を導くガイドを黒板上に表示することで支援を行うインタフェ

ずに授業の流れの中で書くことは，特に経験の浅い教員や板書にースを提案する．

不慣れな教員にとって容易ではない．
たとえば，黒板上での図形描画と文・文章記述を考えてみる．

授業者の描いた板書に合わせてガイドを黒板上に表示することで，板書する場所や大きさを素早く決定できるようにする．たと黒板上で図形を描画する際はフリーハンドもしくは定規のみを用えば，正三角形を描きたい場合に，正三角形全体を黒板上に表示

いて描く場合と，分度器，コンパス等の様々な教具を用いる場合するようにすると，正三角形を描きたい場所へ配置したり，大きに分けることができる．前者は黒板上の決められたスペースに綺さを決定したりする操作が必要になる．そこで，図形や文・文章の一部を書いた段階で，その一部分をもとにしてガイドを表示す†1 東京学芸大学大学院 教育支援協働実践開発専攻 教育AI 研究プログラム†2 東京学芸大学© 2021 Information Processing Society of Japanるようにする．

49

情報処理学会 インタラクション 2021
IPSJ Interaction 2021

INT21006
2021/3/10

図１ 図形描画支援ガイドの構成

図２ 文・文章筆記ガイド
2.2. 板書支援ガイドの設計
2.2.1 図形描画支援ガイドの設計
図形描画支援ガイドで対象とする図形は，小学校算数科で扱う図形のうち，直角三角形，二等辺三角形，正三角形，正方形，長方形，及び円とする．
基本設計に合わせ，授業者が一本の直線分を書いたところで，その線分に合わせて描画を支援するガイド（図１）を表示する．
対象とする図形のうち円以外の図形は最初に描いた辺 AB を 1辺として，直角三角形は P1，P2，Q いずれかの上の点を用いて，二等辺三角形は O，R1，R2 いずれかの上の点を用いて，正三角形
は R１と R2の交点を用いて，正方形はP1と R1 の交点とP2と R2 の交点を用いて，長方形はP1とP2上の点を用いて描画することができる．円は Q または R1,R2 をなぞることで，最初に描いた線を直径もしくは半径とした円を描くことができる．
そこで，ガイドは最初に描いた直線分を辺 AB として，その垂直二等分線(O)，辺ABの端点を通る二本の垂線(P1,P2)， 辺ABを直径とする円(Q)，辺 AB が半径で辺 AB の端点を中心とする二つの円(R1,R2)があればよいことになる．
また，描画時の見やすさのために，ガイドは各図形の描画に必要な要素だけを表示し，各図形についてのガイドを切り替えることができるようにもする．

© 2021 Information Processing Society of Japan

図３ 画像処理のフロー50

情報処理学会 インタラクション 2021
IPSJ Interaction 2021

INT21006
2021/3/10

2.2.2 文・文章筆記支援ガイドの設計
文・文章筆記支援ガイドは，基本設計に合わせ，授業者が黒板上に文・文章の一文字目を書くと，その文字に合わせて表示し，その後の文・文章の記述を導く．
文章を水平または垂直に並べて書く，文字の間隔を揃える，文字の大きさを揃えて書くためには，縦書きと横書きいずれの場合も，最初に書いた文字の高さと幅を基準として，水平方向に文字の上・中心・下を示す線，垂直方向に文字の左・中心・右を示す

図４ 透視変換後の画像線があればよい．そこで，最初に板書した文字に外接する正方形

する環境の明るさの変化，黒板上の変化に対してロバストな状態の辺と正方形のそれぞれ向かい合う辺の中点を結んだ線分を，そで，新たに板書された部分を抽出できるようにする．また，チョれぞれ右方向と下方向に２倍の長さに伸ばした線分をガイドとしークの色抽出の際に抽出に用いる画像をHSV色空間に変換するこて表示する（図２）．とで，RGB 色空間の値では区別が難しいチョークの白色と光や掲

また，筆記時の見やすさのために二文字目以降は文字列の方向のガイドだけを表示する．

3.

実装方法の設計

示物などの白色の違いを，彩度と明度の値を用いることで区別できるようにする．
画像 X 中の取得した白い部分が線の場合，太さを持った線分であり，そのままでは直線分検出の際に線分としてみなすことが難

本インタフェースを実装する環境としては，黒板面を画像として取得するためのカメラ，黒板上にガイドを投影するためのプロしいため，画像 X に輪郭検出をかけ，白い部分の輪郭を取得した
のちに．この輪郭情報に対して直線検出を行うことで，新たに描ジェクタを前提とする．

かれた白線を求める．また，画像 X に一定時間の変化がなかった

3.1. 新たな板書部分の検出方法

場合，背景差分法の初期画像として用いる画像 H を画像 I2 で差し授業者の描いた辺や文字に合わせてガイドを表示するために，替える．

その基準となる「授業者が新たに板書した部分」を抽出する必要

文字を検出する場合，画像 X では，検出された板書部分が白，がある．この抽出に用いるために，授業者や板書が映っていないそれ以外が黒の状態だが，光学文字検出を行うために，画像 X を状態の黒板面の画像 H，授業者がガイド表示の基準となる文字や二値化したのちに色反転処理を行い，検出された板書部分のみが線を書く直前の黒板の画像 I1，書いた直後の黒板の画像 I2 をそれ黒い画像（画像 Y）を生成する．画像 Y に光学文字検出を行うこ

ぞれ取得する．これらの画像を用いた具体的な処理の手順を次にとで，新たに書かれた文字を求めることができる．

示す（図３）．
まず，板書を書く直前の画像 I1 と書いた直後の画像 I2 を，それぞれ初期値となる画像 H との差分検出処理にかける．この処理で得られる部分がそれぞれの画像で授業の最初の段階から変化した部分（画像 J1 と画像 J2）であり，黒板上に常に映り込む光や物などを画像中から取り除くことができる．さらに画像 J1 と画像 J2 のフレーム間差分を求めることで，板書前と板書後で変化のあった部分（画像 K）を取得する．画像 K には板書が消された場合や授業者が動いた場合などに発生する前のフレームからの差も含まれる．
しかし，本研究で取得したい新たに板書された部分は，正確に3.2. ガイド表示のためのキャリブレーション方法の設計
前節で設計したガイドは，授業者の板書した部分に合わせて表示する．そのためにはプロジェクタの出力可能範囲内における板書部分の位置，大きさ，角度を踏まえてガイドの位置を決め，表示する必要がある．
そこでカメラの入力画像内におけるプロジェクタの出力範囲の座標から，透視変換を用いてプロジェクタの表示領域のみの画像を生成する（図４）．この画像に対して前項3.1で示した画像処理を行うことで，出力範囲内における相対的な板書部分の座標を求め，ガイドの作成時にその座標を用いることで，プロジェクタから黒板面に表示したときに板書部分と合うようにする．

は板書前と板書後の画像のフレーム間差分かつ，現在の黒板に存在するチョークの色の部分である．そこで板書後の画像をHSV色3.3. チョーク色のキャリブレーション方法の設計空間に変換し，その画像からチョークの白色の部分（画像 L）を教室の明るさ等によって，チョークの白線検出に用いる画像内抽出し，この画像 L と板書の前後の差分である画像 K との一致部の白線が持つHSV色空間における色相，彩度，明度も変わるため，分（画像 X）を求めることで，チョークと同色で，板書前の状態事前に取得，調整を行う必要がある．そこで，黒板の画像内からから新たに増加した部分を得ることができる．本研究ではこの画チョークで書かれた部分を選択することで，チョークの色を取得

像 X を新たに板書された部分とする．

する．

このように，背景差分法とフレーム間差分法を組み合わせて行い，加えてチョークの色抽出を行うことで，授業者の動きや使用

4.

操作方法の設計

本インタフェースの使用に必要な操作として，ガイド表示の基© 2021 Information Processing Society of Japan51

情報処理学会 インタラクション 2021
IPSJ Interaction 2021

INT21006
2021/3/10

図７ 動作環境5.
図５

携帯型デバイス端末の操作画面

①
③
④

②

①ガイド表示・非表示（押す操作）②画像の取得（押す操作）③図形種類切替（スクロール操作）④図形↔文字切替（押す操作）

図６ リングマウスのボタンと対応する操作

板書支援システムの実装

5.1. 動作環境
黒板面を撮影する web カメラとしてロジクール社の Webcam
Pro 9000 を使用し，黒板面にガイドを表示するためのプロジェク
タ型の大型提示装置としてリコー社の WX4141N を使用した．
Web カメラとプロジェクタを接続した制御用の PC の OS はWindows10 とし，操作は手元の端末から行い，制御用 PC と無線接続をする（図７）．
5.2. 開発環境
本システムは，Python を用いて実装し，3 章で述べた画像処理のために OpenCV を利用した．これにより HSV 色空間の使用，準となる線や文字の描画前と描画後の画像の取得タイミングの指色空間の変換，色抽出，差分抽出，一致部分抽出，直線検出，輪示，ガイドの表示非表示の切り替え，及び図形描画支援ガイドと郭検出，透視変換といった画像処理が行える．

文・文章筆記支援ガイドの切り替え操作がある．さらに，図形描また，光学文字検出を行うために TesseractOCR を利用した．

画支援のガイドでは各図形ガイドの切り替え操作があり，文・文これにより，画像中の文字の識別及び文字に外接する四角形を座章筆記支援ガイドでは 2 文字目以降を書いた際に文字列方向にの標情報として取得できる．

みガイドを表示するため再表示の操作がある．これらを手元の端末への操作によって簡単で素早く行えるようにする．また，チョークを片手に持った状態で指示を行えるように，片手に持った状

6.

予備評価実験

提案したインタフェース及びシステムの有用性を検証するため態で使用できる操作端末を用いる．に，被験者を東京学芸大学に通う大学 1 年生 2 人，2 年生 2 人，3(1) 携帯型デバイスでの操作

年生 3 人，4 年生 3 人，合計 10 人として，予備評価実験を行った．

本システムでは当初，操作端末を携帯型デバイスとして，画面上に複数のボタンを表示し，ボタンに対するタップ操作を行う設

6.1. 調査方法
提案した図形描画支援インタフェースの有用性を検証するため計とした（図５）．に，本インタフェースを使用した場合と使用しなかった場合につ(2) リング型マウスでの操作いて，図形を描いてもらった．描画する図形は，直角三角形，二後述する予備的評価実験の結果を受け，手持ちのトグルボタン等辺三角形，正三角形，正方形，長方形，円とした．また，操作への操作で，操作端末を見ることなく操作できるよう変更した．

方法は 4 章(1)に示した操作端末の画面上に配置したボタンに対す

画像取得，表示非表示，図形描画と文字列筆記ガイドの切り替える操作とした．の操作をリング型マウスの３つのボタンに割り当て，図形ガイド

各図形について，システムを使用して描いた場合と，使用しなの種類の切り替えをリングマウスのマウスホイールに対する操作いで描いた場合の両者で，図形を簡単に描くことができたか，描に割り当てることで，手元を見ずに操作できる設計とした（図いた図形が綺麗だったかについて，システムの使用全体で，ガイ

６）．

ドの選択操作が簡単であったか，ガイドの表示・非表示の操作が© 2021 Information Processing Society of Japan52

情報処理学会 インタラクション 2021
IPSJ Interaction 2021

INT21006
2021/3/10

表 1 簡単さと綺麗さについての評価の平均点（分散）描いた図形が綺麗だった

たものを次にまとめる．

図形を簡単に描くことができた

ガイドあり

ガイドなし

ガイドあり

ガイドなし

直角三角形

1.9(0.09)

0.9(0.69)

1.5(0.25)

0.8(0.56)

二等辺三角形

1.9(0.09)

0.2(1.36)

1.8(0.16)

0.2(0.76)

正三角形

1.8(0.16)

0.2(0.96)

1.7(0.21)

0.1(0.69)

長方形

1.9(0.09)

0.7(0.81)

1.4(0.24)

0.7(0.61)

正方形

1.9(0.09)

0.7(0.81)

1.5(0.25)

0.8(0.76)

円

1.7(0.21)-1.2(1.36)

1.3(0.61)-0.7(1.21)

そう思う

どちらでもない 非表示と描画終了の言葉の違いが分かりにくかった
 デバイスの問題かもしれないが，ボタンの認識が若干遅く気になった ボタンを探すことと押す順番に少し迷った 画面を見ずに操作することは難しかった．黒板を見ながらは使いづらいかもしれない
6.3. 考察6.3.1 ガイドに関する考察
6.2 節から，ガイドを使用した場合としなかった場合の主観的評

とてもそう思う

そう思わない価の点数を比較すると，ガイドを使用することで図形を簡単に，とてもそう思わない綺麗に描けるという評価が多かった．また，直角三角形以外の図ガイドの表示・非表示を切り替える操作が簡単にできた

72

1 0形ではガイドを使用したほうが描画にかかる時間が短かった．こ（平均：1.6，分散：0.44）のことから図形を簡単に，綺麗に，素早く描くことにおいて提案ガイドを選択する操作が簡単にできた

5（平均：1.4，分散：0.44）

41 0

したインタフェースが有用である可能性が示された．
直角三角形に関しては，ガイドを使用した場合としなかった場

012345678910

図８ 操作についての主観的評価（回答人数）
ガイドを使用した場合ガイドを使用しなかった場合合で図形の描き方がほぼ変わらないため，描画のための操作が増える分，ガイドを使用した場合にかかった時間のほうが長くなったと考えられるが，簡単に，綺麗にという点では有用性があるといえる．

直角三角形

32.35
26.09

二等辺三角形

29.76
35.08

6.3.2 操作に関する考察
システムの操作に関する主観的評価では，平均点が高いため簡単に操作できるインタフェースであると言える．

26.86

正三角形

38.95

36.53

正方形

47.13

38.54
42.52

長方形

30.80
39.52

円
0.0

5.0 10.0 15.0 20.0 25.0 30.0 35.0 40.0 45.0 50.0 55.0
時間（秒）図９ 描画にかかった時間（平均）一方で，自由記述にはボタンの種類や押す順番が分かりづらいといった意見や，画面を見ながらの操作が難しいといった意見があるため，操作手順や方法を検討する必要がうかがえた．この結果から，4 章で述べた通り，操作端末と操作方法を変更した．

7.

評価実験

予備評価実験が学生に対するものであったことと，操作方法の変更を行ったことから，被験者を教員経験年数 3 年未満の教員 10

簡単であったかについて，アンケートによる調査を実施した．回

人として，２度目の評価実験を行った．

答は，「とてもそう思う」を 2 点，「そう思う」を 1 点，「どち7.1. 調査方法

らでもない」を0点，「そう思わない」を－1点，「とてもそう思提案した図形描画支援インタフェースの有用性を検証するためわない」－2 点とした点数で主観的評価をしてもらった．加えて，に，本インタフェースを使用した場合と使用しなかった場合につ各図形を描くのに必要とした時間を計測した．また，各図形のガいて，図形を描いてもらった．描画する図形は，直角三角形，二イドとシステムについて改善点等を自由記述で回答してもらった．

等辺三角形，正三角形，正方形，長方形，円とした．また，操作

6.2. 結果

方法は 4 章(2)に示したリング型マウスを用いる操作として，描画描画対象とした直角三角形，二等辺三角形，正三角形，正方形，長方形，円について，それぞれの描画に関しての主観的評価の平均点を表 1 に，システムの操作に関しての主観的評価を集計したものを図８に示す．
また，ガイドを使用した場合と使用しなかった場合で各図形の描画にかかった時間の平均を図９に示す．
自由記述のうち，インタフェースの改善点について書かれてい© 2021 Information Processing Society of Japan

時のガイド表示は，すべてのガイドを表示する方法と，描く図形によってガイドを切り替える方法のどちらも行ってもらった．
ガイドを使用した場合と使用しなかった場合の両者で，図形を簡単に描くことができたか，描いた図形が綺麗だったか，システ
ムの操作が簡単であったかについて，アンケートによる調査を実施した．回答は，「とてもそう思う」を 2 点，「そう思う」を 1点，「どちらでもない」を0点，「そう思わない」を－1点，「と53情報処理学会 インタラクション 2021
IPSJ Interaction 2021

INT21006
2021/3/10

表 2 簡単さと綺麗さについての評価の平均点（分散）描いた図形が綺麗だった

リング型マウス

図形を簡単に書くことができた

ガイドあり

ガイドなし

ガイドあり

ガイドなし

2.0(0.00)

0.8(0.76)

1.5(0.25)

0.7(0.81)

20.4

直角三角形

32.3

19.8

二等辺三角形

直角三角形
二等辺三角形

1.7(0.21)

0.1(1.09)

1.8(0.16)

0.1(0.69)

正三角形

1.9(0.09)

0.1(0.69)

1.8(0.16)-0.8(0.76)

長方形

1.9(0.09)

0.7(1.01)

1.4(0.24)

0.5(0.25)

29.7

18.4

正三角形

26.8

20.1

正方形

正方形

2.0(0.00)

0.8(0.56)

1.7(0.21)

1.0(0.40)

円

1.5(0.25)-0.4(1.04)

1.6(0.24)-0.4(0.64)

36.5
23.2

長方形

38.5
22.7

円

とてもそう思う

そう思う

どちらでもない

そう思わない30.8
0.0

とてもそう思わない

携帯型デバイス

5.0

10.0

15.0

20.0

25.0

30.0

35.0

40.0

45.0

時間(秒)

図１３ （ガイド切り替えありの場合における）操作デバイスごとのガイドの表示・非表示を切り替える操作が簡単にできた55

描画時間（平均）の比較

0（平均：1.5，分散：0.25）

均点を表 2 に，システムの操作に関してガイドの切り替え操作をした場合とガイドを切り替えなかった場合についての主観的評価

ガイドを選択する操作が簡単にできた

0（平均：0.4，分散：0.84）

07

12304

567380910を集計したものをそれぞれ図１０，図１１に示す．
また，ガイドを切り替えずに使用した場合，図形によってガイドを切り替えて使用した場合，及びガイドを使用しなかった場合

図１０ 切り替え操作を含めた操作の評価（回答人数）

で各図形の描画にかかった時間の平均を図１２に示す．また，ガイド切り替え操作を行った場合における操作デバイスごとの描画

とてもそう思う

そう思う

どちらでもない

そう思わないとてもそう思わない

時間の平均を比較したものを図１３に示す．
自由記述のうち，インタフェースの改善点について書かれていガイドの表示・非表示を切り替える操作が簡単にできた

730たものを次にまとめる．

（平均：1.7，分散：0.21）

012345678910

 図形の違いでガイドを切り替える必要感がない

図１１ 表示・非表示操作のみの評価（回答人数）
ガイド切替なし

ガイド切替あり

直角三角形

20.3
20.4
19.4

二等辺三角形

16.2
19.8
16.3

正三角形

15.6
18.4
15.3

 ガイドをすべて表示していても問題ない

ガイドなし

7.3. 考察7.3.1 ガイドに関する考察
ガイドを使用した場合としなかった場合の主観的評価の点数を比較すると，すべての図形について，ガイドを使用することで図形を簡単に，綺麗に描けるという評価となった．また，描画にか

18.7
20.1
22.0

正方形

かった時間の平均は，ガイドを使用した場合のほうが短いか，ガイドを使用しない場合とほぼ変わらず，ガイドを使用する場合は，16.2
長方形

 マウスホイールで図形ガイドを切り替える操作が難しい

23.2

すべての図形のガイドを一度に表示する方法がすべての図形で描

32.613.2円

画時間が短くなった．

22.7
38.6
0.0

5.0

10.0

15.0

20.0

25.0

30.0

35.0

40.0

45.0

時間（秒）

図１２ 描画にかかった時間（平均）てもそう思わない」を－2 点とした点数で主観的評価をしてもらった．加えて，各図形を描くのに必要とした時間を計測した．また，システムについて改善点等を自由に記述してもらった．
7.2. 結果描画対象とした直角三角形，二等辺三角形，正三角形，正方形，長方形，円について，それぞれの描画に関しての主観的評価の平© 2021 Information Processing Society of Japan

このことから，綺麗な図形を簡単に素早く描くことにおいて，提案したインタフェースが有用である可能性を示すことができた．
自由記述では，ガイドの表示について描画する図形によってガイドを切り替える必要はないとの記述が多くあり，ガイドの表示方法としては 2.2.1 項で設計したガイドの要素をすべて表示するほうが良いことが明らかとなった．
7.3.2 操作方法に関する考察システムの操作に関する主観的評価では，平均点が高いため簡単に操作できるインタフェースであると言える．

54情報処理学会 インタラクション 2021
IPSJ Interaction 2021

INT21006
2021/3/10

一方で，自由記述からガイドの切り替え操作が行いづらいとい

対象としている図形はそもそも複雑な図形ではないが，立体などう意見が見受けられた．これに関しては 7.3.1 項から，すべての図のより複雑な図形を描くためのガイドとして，単純な図形の組み形のガイドを一度に表示する方法を取ることで操作自体をなくす合わせを表示する方法が示唆される．

ことができるため，改善できると考えられる．
また，図１３に示したとおり，描画にかかる時間が大幅に減っている．操作端末の画面を見ての操作よりもリング型マウスでの操作のほうが容易であり素早く操作できたことが示せた．しかし，実験の対象が学生から教員に変わった要因も否定できないため，実験対象者を揃えた比較実験を行いたい．

8.

関連研究

8.3. 文字を書くことの支援
中村らは，紙への文章筆記を対象に，紙上にプロジェクションマッピングを行うことにより，ユーザに対して文字位置・大きさの推薦を行うガイドを表示するmotebiを開発した[8]．ガイドはあらかじめ入力された文章や文字の大きさから算出し提示するが，実際に紙上に書かれた文章が当初の設定とずれていた場合，それらに応じてガイドの文字位置・大きさを修正する．この修正への考え方は，本研究の目指すところと同じである．motebi では，事8.1. 映像から板書を抜き出す手法

前に書く文章についての情報を入力するなどの手間が必要である

市村らは，黒板と講師が映っている映像から講師を切り抜いたのに対して，本研究はガイドを表示するための事前の準備を必要

動画像と板書の静止画を生成し配信する ChalkTalk を開発した[3]．としない点に利点がある．一方で，もし書こうとしている文章の板書の静止画を生成する方法として，講義映像の各フレームに対長さが推測できれば，それをもとにガイドを表示することで，たして背景差分法を用いて初期の状態との差分を求め，次にフレーム間差分法を用いて連続するフレーム間の差分を求め，さらに，とえば書ききれなかったという問題を防止できるなどの効果も期待でき，本研究の参考となる考え方を提供している．

講師映像除去画像に一定時間内で変化がなかった場合に，背景画竹川らは，臨書初級者を対象にした文字をバランス良く書くた像を講師映像除去画像で差し替える処理を行う方法を提案していめの学習支援として，手本を表示したタブレット上に半紙を乗せ，る．本研究では，市村らの板書の静止画を生成する手法に色相検

透けた手本をなぞるように文字を書く方法を提案している[9]．本

出を加え，チョーク部分をより高精度で検出することを試みた．

研究では，文字自体を綺麗に書くところまでは支援対象としてお浜口らは，Tabletop Computer へ書き込んだ手書きの文字を認らず，また，書こうとしているものを予測してそのガイドを表示識するために，書き込みの様子を記録した連続静止画像から筆点する本研究のコンセプトに沿うには，書いた数画から書こうとし列（インク）データを生成する手法を提案した[4]．この手法では，ている文字を正確に推測する必要があり現実的ではない．ただし，一文字の筆記の最終画像から特徴点を抽出し，連続静止画像と順授業の様々な情報から文字を推測することができれば，たとえば番に比較することで書いた順に特徴点を並び替え，筆点列を生成

文字を大きく表示して書き順や字形を学ぶ教材アプリに代わる使する．現在，画像から文字認識を行うオフライン文字認識技術のい方ができるかもしれない．

精度が高くなっており，本研究でもその技術を採用したため筆点列を生成する必要はないが，将来の文字認識技術の動向によっては，板書映像から筆点列を生成する技術が必要となるかもしれない．

8.4. 関連製品
プロジェクタ型大型提示装置を利用し，黒板に図や文字を投影することで様々な板書支援を行うソフトウェアとして Kocri[10]がある．Kocriはプロジェクタを用いてアプリケーション内に用意さ8.2. 図形を書くことの支援れている図形・文章・方眼を黒板上に表示することができる．ま五十嵐らは，既に描かれている図（の一部）に手書きで図形をた，黒板全体を電子黒板として使用できるようにする製品として描くと，元の図形との位置関係からユーザが意図したと考えられワイード[11]がある．ワイードには黒板上での図形描画，文・文る幾何学的制約を推測し，整形した図形の候補を提示するインタ

章筆記を支援する機能として，Kocriの機能のほか，黒板上に表示フェースを提案した[5]．また，松田らは，ユーザが重ね書きによした画面に IR ペンを用いて直接書き込める機能がある．

り図形の辺を複数回描くと，そこからユーザが意図する線を推測

しかし，これらでは，投影する画像を授業前に準備する手間やして提示する逐次清書法を提案した[6]．これらは実際に必要とな時間が必要であり，また，黒板上に投影する図形や画像の配置，る板書以外の情報を描くことになり，板書に適用すると，重ね書向き，大きさを手元の制御用端末上で操作する必要もある．本研

きした線を消すのに手間や時間がかかることから，本研究が目指

究では，授業前の準備が必要なく，また，描いたものから推測しすものとの親和性が低い．てガイドを表示するために，授業中の操作も最低限に抑えること黒滝らは，描こうとする複雑な図形を幾何学的な複数の単純なを試みた．

図形の組み合わせから構成できるとし，単純な図形を描画した後に不要となる線を消去することで正確に描画できるとした消去指

9.

おわりに向型描画スタイルを提案した[7]．評価実験からは描画の正確性に本稿では，授業者が黒板上で綺麗な板書を簡単に，素早く描くついて提案手法が優れているといった結果を得ている．本研究でことを支援することを目標に，授業者が黒板上の任意の位置に図© 2021 Information Processing Society of Japan55

情報処理学会 インタラクション 2021
IPSJ Interaction 2021

INT21006
2021/3/10形や文・文章の一部を書くと，それに合わせて次に続く板書を導[9] 竹川佳成，平田圭二：臨書初級者のための文字バランス学習

くガイドを黒板上に重畳して表示するインタフェースを提案した．
インタフェースが綺麗な図形を簡単に，素早く描くことにおいて支援システムの設計と実装, 情報処理学会論文誌, 2016，Vol.
57, No. 8, pp. 1861-1870.
[10] “Kocri”．http://kocri.com/，（参照 2021-1-12）．

有用である可能性を示すことができた．

[11] “ワイード”．https://www.sakawa.net/wiiide/features，（参そのインタフェースを実装したシステムを用いた評価実験からは，今後は，インタフェースの利用に必要な操作を減らし，より簡照 2021-1-12）．

単で素早く板書を書けるように，ガイド表示のために行う画像処理を連続的に行い，新たに板書された部分の取得を半自動的に行うことを検討する．また，文字列筆記支援ガイドや，図形と文章どちらも書く板書全体への支援についても評価実験を行い，有用性を検討する．
本研究での提案は，板書した情報をもとに続く板書を導くガイドを表示するものである．関連研究でも述べたが，板書した情報から次に書こうとするものを確実に推測する手法を開発することで，たとえば英文字に続く単語や「y=」に続く複雑な式の表示により板書間違いを無くすような支援や，授業全体の板書計画と照らし合わせた板書スペースの提示なども可能になる．このような可能性についても追求していきたい．

参考文献[1] “補習授業校教師のためのワンポイントアドバイス集 板書”．
https://www.mext.go.jp/a_menu/shotou/clarinet/002/003/002/005.htm，（参照 2021-1-12）．
[2] “初任者研修目標・内容例（小・中学校）”．
https://www.mext.go.jp/a_menu/shotou/kenshu/006.htm ，（参照 2021-1-12）[3] 市村哲，井上亮文，宇田隆哉，伊藤雅仁，田胡和哉，松下温．
ChalkTalk：講師動画と板書静止画の同時記録が可能な講義
自動収録システム．情報処理学会論文誌，2006，Vol.47，
No.3，pp.924-931．
[4] 浜口拡輝，加藤直樹，杉原敏昭．筆記の様子を記録した連続静止画像からのインクデータ生成手法の検討．ヒューマンイ
ンタフェースシンポジウム 2008，pp.195-200．
[5] 五十嵐健夫，W. Keith Edwards ，Anthony LaMarca ，Elizabeth D. Mynatt．自由ストロークに基づく電子白板シス
テムのためのソフトウェアアーキテクチャ．情報処理学会シンポジウム インタラクション 2000，pp.213-220．
[6] 松田浩一，近藤邦雄，佐藤尚，島田静雄．手書き図形入力のための時系列情報を利用した逐次清書法．情報処理学会論文
誌 1997，Vol.40，No.2，pp.594-601．
[7] 黒滝理帆，竹川佳成，平田圭二．描画形状把握のための消去
指向型描画スタイルの提案と有用性の検証．研究報告エンタ
テインメントコンピューティング（EC），Vol.2018-EC-50，No.11，pp.1-8．
[8] 中村優文，山口周悟，森島繁生．motebi～文字を手書きで美しく書くための支援ツール～．第 24 回インタラクティブシス
テムとソフトウェアに関するワークショップ (WISS 2016)．

© 2021 Information Processing Society of Japan56