情報処理学会 IoT 行動変容学研究グループ（SIG-BTI）

コラボレーションの定量・定性分析を接続する IoT システムの一検討
山口 隼平 †1 大島 律子 †2 大島 純 †3 木崎 一廣 †4 藤橋 卓也 †5 猿渡 俊介 †6
大阪大学
静岡大学
静岡大学 大阪大学
大阪大学
大阪大学

概要

渡辺 尚 †7
大阪大学

察することで正確かつ詳細な学習分析を実現している [3]．

学習科学の分野では，協調学習と呼ばれる他者と協調 (コ近年，協調学習の定性分析における記録・観察の対象を高ラボレーション) しながら創造的な問題解決に取り組む能力速かつ容易に抽出するための手法として協調学習の定量分を育む学習形態が研究対象として注目されている．これま析を実現する Internet of Things (IoT) システムが開発さで学習科学の分野で実施されてきた協調学習の定性分析をれている [4, 5, 6, 7, 8, 9]．たとえば文献 [7] では，小型カサポートするための手法として，近年では協調学習の定量メラを用いて視線やボディランゲージといった学習者の視分析を実現する Internet of Things (IoT) システムが提案

覚情報に加えて，生体信号センサを用いて心拍や呼吸数とされている．しかしながら，定量分析で得られる情報と定いった学習者の非視覚情報を抽出する IoT システムが開発性分析で得られる情報を正確に接続するうえでデバイス間されている．文献 [4, 5, 6, 8, 9] では，名刺型センサを用いの時刻同期誤差が課題となる．本稿では，協調学習の定量て学習者の対面や学習フェーズ，発話者，学習者の活動量と分析に向けてセンサデータを収集する名刺型センサ，協調いったマルチモーダルな情報を抽出する IoT システムが開学習の定性分析に向けて学習映像を記録するカメラデバイ発されている．定性分析の利点である正確かつ詳細な学習

ス，両デバイスの時刻同期を実現して定量・定性分析を正確分析に定量分析の利点である高速かつ容易な学習分析を融に接続するセンサデバイスからなる IoT システムを提案す合することで新たな学習法則の理解に寄与することが期待る．実機を用いた同期精度の評価から，各デバイスのサンされる [10]．

プリングレートやフレームレートに基づく許容誤差以内のしかしながら，定量分析で得られる情報を定性分析で得時刻同期を満たすこと，デバイスを長時間稼働させた場合られる情報と正確に接続するにはデバイス間の時刻同期誤でも同期性能が安定することが推察された．

差が課題となる．具体的には，定量分析で用いられる IoTセンサ群と定性分析で用いられるビデオカメラのクロッ

1. はじめにクがずれることで得られる時系列データの整合性がとれず分析結果が意味をなさないものとなってしまう．既存研

協調学習とは，他者と協調 (コラボレーション) しながら究 [4, 5, 6, 7, 8, 9] においても，定量分析で用いられる IoT

創造的な問題解決に取り組む能力を育む学習である．他のセンサ群で時刻同期を実現する研究が一部なされている一

学習者と協調しながら問題解決に取り組むことで，他の学習方で，IoT センサ群を用いて得られたセンサデータと定性者から新たな知識を吸収したり学習者間の社会的関係を調分析で用いられる映像データとの同期をとる仕組みは実現

整する能力を会得したりすることができる．協調学習におされていない．正確な定性分析を実現するうえで映像デー

けるグループの知識進展や学習者個人の貢献の様相を明ら

タに求められる時刻同期精度としてはフレームレートの 10かにするために，学習科学の分野では映像データに基づい分の 1 以下が望ましい．たとえば，ビデオカメラのフレーた学習活動の定性分析がなされてきた [1, 2]．具体的には，ムレートが 1 s である場合には 100 ms 以下の精度で他のデ学習現場にビデオカメラを設置して視線やボディランゲーバイスと同期することが求められる．

ジ，表情，発話，筆記といった学習者のふるまいを記録・観2. 提案手法
A Preliminary Study on an IoT System to Connect Quantitativeand Qualitative Collaboration Analysis
†1
†2
†3
†4
†5
†6
†7

SHUNPEI YAMAGUCHI, Osaka University
RITSUKO OSHIMA, Shizuoka University
JUN OSHIMA, Shizuoka University
KAZUHIRO KIZAKI, Osaka University
TAKUYA FUJIHASHI, Osaka University
SHUNSUKE SARUWATARI, Osaka University
TAKASHI WATANABE, Osaka University

デバイス間の時刻同期誤差に関する課題を解決する手法
として，本稿では協調学習の定量分析と定性分析を正確に接続することを目的とした IoT システムを提案する．提案
システムは，学習活動のセンサデータを記録する Sensor-based Regulation Proﬁler Badge (SRP Badge) ，学習活動の映像を記録する Sensor-based Regulation Proﬁler Video1

情報処理学会 IoT 行動変容学研究グループ（SIG-BTI）

Learning environment
User1

User2

Quantitative approach

SRP Badge

User3

SRP Video
Synchronizer
Qualitative approach

Researcher

Extract

Sync

ProvideAnalyze & feedback
図1

提案 IoT システムを用いた協調学習分析の全体像(SRP Video)，定期的に同期パケットを送信することで両デバイスの時刻同期を図る Sensor-based Regulation ProﬁlerSynchronizer (SRP Synchronizer) からなる．SRP Badge
は，学習者の胸元に装着することを想定した名刺型センサである．SRP Video は，学習環境に設置することを想定した小型のカメラデバイスである．SRP Synchronizer は，同期パケットを全デバイスに対して定期的に送信して各デバイスに受信・転送させることでデバイス間の時刻同期を実現する．図 1 に，提案システムを用いた協調学習分析の全(a) 概観

体像を示す．提案システムを用いた協調学習分析は以下の順序で実施される．

1. 学習者に SRP Badge を装着
2. 学習環境に SRP Video および SRP Synchronizer を設置

Chargeunit

Powercircuit

LipobatterySlideSWRF
moduleSynchronization
signalCPU Sensor Unit

3. 学習者による協調学習を実施

StatusLED

4. 学習者および学習環境から SRP Badge, SRP Video,
SRP Synchronizer を回収

ACCsensor

5. SRP Badge からセンサデータを抽出・可視化

SPsensor

CPUMicroSD

IR
LED

IRsensor(b) ブロック図

6. SRP Video から映像データを抽出
7. 得られたデータを用いて学習科学の研究者が協調学習

Wireless Unit

Power Control Unit
USBcharge

図2

Sensor-based Regulation Proﬁler Badge

を定量的かつ定性的に分析

8. 分析結果を学習現場にフィードバック
2.1. Sensor-based Regulation Proﬁler Badge
図 2 (a) および (b) に SRP Badge の概観およびブロック図を示す．本バッジは，電源制御部・CPU センサ部・無線部からなる．
電源制御部では，センサノードを動かすためにリチウムイオン電池が搭載されている．リチウムイオン電池から電源スイッチと Micro Controller Unit (MCU) に電源が供給されている．バッジの連続稼働時間は 24 時間である．

CPU セ ン サ 部 で は ，STMicroelectronics 社 のSTM32L476RGT6 を MCU と し て ，TDK 社 の 音 圧
セ ン サ で あ る INMP510 (SP sensor)，ANALOG DE-

VICES 社の加速度センサである ADXL362 (ACC sensor)，
OptoSupply 社 の 赤 外 線 LED で あ る OSI5LAS1C1A(IR LED)，KODENSHI CORP. の赤外線受光器である
PIC79603 (IR sensor) が搭載されている．音圧センサは
100 Hz 12 bit，加速度センサは 100 Hz 3 軸 12 bit，赤外線センサは高々 30 Hz でサンプリングする．各センサデータは SRP Badge のスロットに差し込まれた microSD カードにバイナリで保存される．得られたセンサデータを学習分
析プログラム [8] にかけること学習者の対面や学習フェー2

情報処理学会 IoT 行動変容学研究グループ（SIG-BTI）

図4(a) 概観
Synchronouspacket

RFmoduleStatusLED

SRP Badge

MCU

Camera

リープを実行することで Python の処理時間安定化を図っている．

Single-board computer(b) ブロック図

図3

Sensor-based Regulation Proﬁler Synchronizer

Sensor-based Regulation Proﬁler Video

2.3. Sensor-based Regulation Proﬁler Synchronizer
図 4 に SRP Synchronizer の 概 観 を 示 す ．SRP Syn-ズ，発話者，学習者の活動量といった定量分析結果を得るchronizer は， 節および 節で述べた SRP Badge およびことができる．

SRP Video 間の時刻同期を実現するための同期パケット

無線部では，Texus Instruments 社の無線モジュールでを各デバイスに対して定期的に送信する．同期パケットはある CC2650 が搭載されている．無線モジュール上では，IEEE 802.15.4 の規格に基づいた信号で 1 s ごとに無線送信

SRP Badge 間の高精度時刻同期を実現する同時送信型フされる．SRP Synchronizer から SRP Badge および SRP

ラッディングプラットフォーム UNISONet [11] が動作しVideo への片方向通信を通じて，SRP Synchronizer から定ている．SRP Badge 間の時刻同期において親機に相当する期送信される同期パケットを各デバイスが受信・処理する

SRP Synchronizer から 1 s ごとに送信される同期信号を各ことで SRP Sychronizer とのクロックのずれを認識して各バッジの無線モジュールが受信・転送することでバッジ間デバイスがセンサデータに付与するタイムスタンプを補正の時刻同期を実現する．

する．

2.2. Sensor-based Regulation Proﬁler Video
図 3 (a) および (b) に SRP Video の概観およびブロック図を示す．SRP Video は， 節で述べた SRP Badge とカメラ搭載のシングルボードコンピュータ (SBC) からなる．
図 (a) に示す通り，SBC の上に有線接続した SRP Badgeが搭載されている．本稿では，カメラを搭載した SBC として Raspberry Pi Camera V2 をフラットケーブルで接続した Raspberry Pi 4 Model B を用いている．Raspberry Piの動作をソフトウェアで制御するにあたって Python 3.9 を用いている．SRP Synchronizer から 1 s ごとに送信される同期信号を受信するためのデバイスとして SRP Badge を用いる．SRP Badge は，無線モジュールで同期信号を受信するとバッジ本体に搭載された LED を即座に点灯させる．SRP Badge の無線モジュールから LED に点灯を指示する電気信号を同期信号とみなして SBC 上の汎用入出力(GPIO) に有線で引き込む．SBC は，GPIO で電気信号を受信した直後に MCU を介して接続されたカメラへ撮影を指示する．カメラは最終的に SRP Synchronizer から SRP

Badge および SBC を介して転送された同期信号に基づいて 1 s ごとに映像を記録する．各撮影処理後に 1 ms のス

3. デバイスの処理時間および安定性の評価
SRP Video を構成する SRP Badge の同期精度は，1 時間連続で稼働させた場合でも処理時間のばらつきが ±30 µs で安定することが示されている [4]．本稿では，SRP Badge から同期信号を受信して撮影処理を終えるまでに Raspberry

Pi が要する処理時間の安定性を評価した．より正確な時間計測を目的として，Raspberry Pi の GPIO に STMicro-electronics 社の SBC である STM32F446 を繋いで処理時間の計測を行った．具体的には，SRP Badge の同期信号をRaspberry Pi が受信した直後から Raspberry Pi のカメラが撮影処理を終了するまでの時間に Raspberry Pi の GPIO
ピンから STM32F446 に電気信号を出力することで処理時間を計測した．STM32F446 は 100 µs ごとに電気信号の有無を検知することで高精度な処理時間計測を行った．2.3 節で述べたとおり，SRP Video による撮影頻度は同期信号の受信頻度に合わせて 1 s とした．毎秒の撮影を 1 時間継続して得られる計測時間の最大・最小・平均・範囲を算出して処理時間の安定性を評価した．
図 5 に SRP Video の撮影処理に要する時間を示す．図 53

情報処理学会 IoT 行動変容学研究グループ（SIG-BTI）

レートを明らかにすると同時にフレームレートを上げた場合に増大しうる同期誤差の評価と同期誤差を抑制する手法の提案があげられる．

3URFHVVWLPH>PV@

謝辞 本研究は，JSPS 科研費 (JP19H01714, JP22J20391)

および JST さきがけ (JPMJPR2032) の支援の下で行った．



参考文献

1 fps であること，フレームレートの 10 分の 1 の同期精度[1] Haller, C. R., Gallagher, V. J., Weldon, T. L. and Felder,
R. M.: Dynamics of Peer Education in Cooperative
Learning Workgroups, Journal of Engineering Education,
Vol. 89, No. 3, pp. 286–293 (2000).
[2] Barron, B.: When Smart Groups Fail, Journal of theLearning Sciences, Vol. 12, No. 3, pp. 307–359 (2003).
[3] Ochoa, X.: Multimodal Learning Analytics, The Handbook of Learning Analytics (Lang, C., Siemens, G., Wise,A. and Gaševic, D., eds.), Society for Learning Analytics
Research, pp. 129–141 (2017).
[4] 山口隼平，大多和修介，大島律子，大島 純，藤橋卓也，猿渡俊介，渡辺 尚: コラボレーションを抽出するためのセンサが要求されることを考慮すると，撮影処理時間の誤差範囲

ネットワーク実現に向けた時刻同期精度に関する検討，電子である 118.0 ms は本稿の許容誤差である 100 ms を満たさ

情報通信学会ソサイエティ大会，pp. 1–1 (2019).
[5] Yamaguchi, S., Ohtawa, S., Oshima, R., Oshima, J., Fujihashi, T., Saruwatari, S. and Watanabe, T.: Collaborative Learning Analysis Using Business Card-Type Sensors, International Conference on Quantitative Ethnography, pp. 319–333 (2021).
[6] Yamaguchi, S., Oshima, R., Oshima, J., Shiina, R., Fujihashi, T., Saruwatari, S. and Watanabe, T.: Speaker
Identiﬁcation for Business-Card-Type Sensors, IEEE
Open Journal of the Computer Society, Vol. 2, pp. 216–
226 (2021).
[7] Ouhaichi, H., Spikol, D. and Vogel, B.: MBOX: Designing a Flexible IoT Multimodal Learning Analytics System, 2021 International Conference on Advanced Learning Technologies (ICALT), pp. 122–126 (2021).
[8] Yamaguchi, S., Ohtawa, S., Oshima, R., Oshima, J., Fujihashi, T., Saruwatari, S. and Watanabe, T.: An IoT
System with Business Card-Type Sensors for Collaborative Learning Analysis, Journal of Information Processing, Vol. 30, No. 3, pp. 13–24 (2022).
[9] Yamaguchi, S., Nagano, M., Ohira, S., Oshima, R., Oshima, J., Fujihashi, T., Saruwatari, S. and Watanabe,T.: Web Services for Collaboration Analysis With IoT
Badges, IEEE Access, Vol. 10, pp. 121318–121328 (2022).
[10] David Williamson Shaﬀer: Quantitative Ethnography,Cathcart Press (2017).
[11] Suzuki, M., Liao, C.-H., Ohara, S., Jinno, K. andMorikawa, H.: Wireless-Transparent Sensing, International Conference on Embedded Wireless Systems andNetworks, pp. 66–77 (2017).







RIVKXWWHUV

図5

SRP Video の撮影処理に要する時間の横軸は撮影されたシャッタ数を，縦軸は各撮影の処理時間 (s) を表している．各撮影の処理時間の最大，最小，平均，範囲はそれぞれ 597.5 ms, 479.5 ms, 512.7 ms, 118.0 msとなった．現状の SRP Video におけるフレームレートがない．一方で，撮影処理がイメージセンサによる記録および JPEG ファイルへの現像処理から構成されること，撮影処理時間の誤差として現像処理はデータ上影響を及ぼさないことを考慮すると，撮影処理時間の誤差範囲はより小さ
く許容誤差を下回る可能性が示唆される．

4. 結論
本稿では，協調学習の定量分析に向けてセンサデータを収集する SRP Badge，協調学習の定性分析に向けて学習映像を記録する SRP Video，両デバイスの時刻同期を実現して定量・定性分析を正確に接続する SRP Synchronizer から構成される IoT システムを提案した．実機を用いた同期精度の評価から，各デバイスのサンプリングレートやフレームレートに基づく許容誤差以内の時刻同期を満たすこと，デバイスを長時間稼働させた場合でも同期性能が安定することが推察された．
今後の取り組みとして，SRP Video で収集した映像データの時刻同期誤差を厳密に計測するために撮影処理に要する時間をより細かいスケールで観察することがあげられる．
具体的には，撮影処理の構成プロセスであるイメージセンサによる記録および JPEG ファイルへの現像処理の時間計測をプロセスごとに行うことで撮影処理の同期誤差に影響するイメージセンサによる記録のぶれを明らかにする．また，映像を用いた定性分析で求められる SRP Video のフレーム

4