フォトレジスタアレイを用いた学生の姿勢判別―周囲の照度の影響に関する検討―
坂口豪・高瀬治彦・北英彦
Email: 424m216@m.mie-u.ac.jp
三重大学大学院工学研究科電気電子工学専攻◎Key Words

姿勢判別，フォトレジスタ，機械学習

1. はじめに授業は教育の中心的存在であり，教師はその授業の質を向上させることを追求している．授業の質を向上させ

2. 光センサを用いた姿勢検出
先行手法

るために教師は，授業中の学生の態度や行動を観察し，そ有馬らは，フォトレジスタアレイ(図 1)を机の縁に設置の学生の集中度や理解度を把握，推測，それぞれの学生にし，腕の影を測定することで学生行動を判別する手法を対応した授業をする．だが，多人数授業においては，教師提案した(3)．図 1 の赤丸を付した素子が，フォトレジスタ

一人では全学生の行動把握が困難である．そのため，学生であり，光の強度に応じて電気抵抗値が変化する．これを一人ひとりに対応した授業や指導が困難である．

約 2.5cm 間隔で直線状に並べ，フォトレジスタアレイを教師が多人数授業を受ける全学生の行動などを把握す構成している．これを図 2 に示すように，机の縁に設置るために，さまざまな試みがされてきた．例えば，カメラする．図では被測定者の右半身を 15 個のフォトレジスタを使い授業中の学生の顔の表情を読み取り，非言語行動を用いて測定するように設置している．最終的には，左半を識別する方法 がある．動画を処理するために，高性能身にも同様に設置し，被測定者の体(腕)が落とす影を測定な計算機が必要であり，多人数講義に適用するにはコスする．

(1)

トがかかる．また，この方法にはカメラの使用により学生の心理的ストレスや，プライバシーの問題が発生する．他に，椅子の座面と背もたれに圧力センサを取り付け学生が学習タスクを行う際の関心度を姿勢分析から検出する
方法(2)もある．
この方法では，圧力分布を測定するために，
図 1 フォトレジスタアレイ

座面・背もたれにまんべんなく圧力センサを配置する必要があり，設置・運用コストの点で問題がある．また，フォトレジスタアレイ(光の強さを計測するセンサ（フォトレジスタ）を直線状に並べたセンサ)を机の端に設置し，学生の影を測定することで姿勢の推定を行う研究(3)，(4)がある．この手法は，他の手法と比べ使用するセンサ数が少なく，設置・運用コストの点では好ましいが，安価なセンサを用いるため，姿勢の判別精度を高い水準で保つことは困難である．

図 2 フォトレジスタアレイの設置

本研究では，文献(3)，(4)のフォトレジスタアレイによる姿勢判別法について，その頑強さについて簡単な実験を通じ検討する．特に，フォトレジスタは影による明るさの変化を検出するために用いているので，周囲の明るさ・被測定者の変化に着目し検討する．

文献(4)では，以下の手順による姿勢の判別法が提案された．
1.

各フォトレジスタの電気抵抗を測定する．実際には，フォトレジスタによる電圧降下の大きさを測定する．

2.

測定値に対し前処理を施し，特徴量を得る．具体的

には，測定値からあらかじめ決めておいた基準に

3.

3. 実験基づいて異常値を取り除き，各センサの測定値を

この章では，前章で指摘した不明な点を明らかにする

あらかじめ決めたルールに従い標準化した値を特ため，測定対象・環境の変化に対する頑強性について，実徴量とする．

験を通じ検討する．

特徴量をあらかじめ学習しておいた判別器に与え，判別する．

実験条件など
本稿では，文献(4)の手法をさまざまな条件（測定対象

手順 2 の異常値検出基準・標準化の規則，および 手順の人・周囲の明るさ）のもとで取得したデータに適用し，3 の判別器の学習は，推定に先立ち行う必要がある．これ

その頑強性について議論する．有馬は，複数人のデータをらは，あらかじめ収集した測定結果に姿勢のラベルを付１種類の明るさのもとで取得し，分類の成否について論与したもの（学習データ）を用いて以下のように行う．

じていた．本稿では，学習データ取得時の条件とは異なる

・ 異常値の検出基準は，センサ毎に学習データ内で第条件のもので取得したデータを分類することで，文献(4)

1, 第 3 四分位数 (𝑄1 , 𝑄3 )を求める．次に，正常範囲の下限を𝑄1 − 1.5(𝑄3 − 𝑄1 ) − 10に，上限を𝑄3 +1.5(𝑄3 − 𝑄1 ) + 10に定める．の手法の頑強性について議論する．
実験では，測定対象の人を４人，周囲の明るさを２種類変化させデータを取得した．

・ 標準化の規則は，センサ毎に学習データの平均が 0，被測定者には，授業中の演習中に区別したい行動 4 種

分散が 1 となるように各データの値を調整する変換(紙面に筆記する，本を読む，タブレットを用いて調べる，規則とする．

スマートフォンを用いて調べる)を行ってもらい，卓上で・ 判別器の学習は，SVC(サポートベクター分類器)を，照度計(サンワサプライ CHE-LT1)を用い周囲の明るさ前処理後の学習データを用いて学習する．なお，を測定すると共に，フォトレジスタアレイを用い測定を

SVC は 2 分類を行うものなので，特定の姿勢をして行った．各被験者には，(1) 各行動を 30 秒連続して行う

いるか否かを分類する SVC を，識別する姿勢の数こと，(2) 各行動の間に設けた 10 秒の間隔で，次の行動だけ用意し，すべてを用いて判別する．に移ること，(3) 4 種の行動を順に 3 周行うこと，(4)測定実運用に向けた懸念点

器具から大きく外れる（のけぞって本を読むなど）姿勢を文献(4)では，簡単な実験によりフォトレジスタアレイ取らないことを，あらかじめ文書にて指示した．

による姿勢判別の可能性を論じた．実験では，3 人の被測各被験者について，まず，最初の行動をする直前に，照定者に対し，12 分の間に，事前に与えた課題に解答しな度計による明るさの測定をし，その後，各行動時のフォトがら，指示した姿勢をしてもらい，データの収集を行った．

レジスタアレイによる測定をした．学習用・識別結果評価

収集したデータについて，行動毎にデータを分類し，80%用のラベルとして，各行動をしている 30 秒間について，を学習データ，残りを評価データに分割した．このデータ当該行動のラベルを付与した．また，各被験者は 4 種のを用いた結果，どの姿勢も 90%以上の精度で判別できた．

行動を 3 周しているが，1 周分のデータを 1 セットとし，しかし，実際の授業で使用するのには，以下の点が不明

1 被測定者あたり 1 回の測定で 3 セット分のデータを収である．第 1 に，3 人の被測定者のデータを用いて学習し，同じ 3 人のデータに対して判別している．そのため，集した．

測定対象の変化に対する頑強性

未学習の被測定者に対する判別性能が不明である．第 2

この節では，測定対象が変化した際の頑強性についてに，各被測定者に対して，12 分間の測定しか実施してい検討する．具体的には，学習用データを測定した際の被測ない．授業時間はこれより長く，その間に周囲の明るさが定者と，異なる被測定者のもとで測定したデータに対し変化するだろう．また，学習用のデータを準備した時点とて分類精度を評価する．

異なる明るさのもとで判別する場合もあるだろう．この行動データは測定器具周囲の明るさ約 1000Lux の環境観点から，周囲の明るさが変化した際の判別性能が不明で測定した．データは被測定者 A,B,C,D(いずれも男性大である．

学院生)とした．

これらの不明な点について，次章で簡単な実験をつうじ検討する．

ここでは学習用データとして被測定者 A,B,C の行動データ用い，学習にはそれぞれの被測定者データの 2 セット分の行動（計 6 セット）を学習させた．また，評価用のデータは以下の 2 種類を用意し，それらの識別性能を比較した．

・ 学習データとして採用した被験者A,B,C の行動デーの結果は，ほぼ同じ明るさのもとで，同一被測定者が同じタの未学習の各 1 セット分（計 3 セット）の行動行動をした際の測定結果であることを考えると，測定対・ 学習データとして非採用の被験者 D の行動データ

象の変化に対する頑強性に乏しいと言える．の 3 セット分の行動結果を表 1，2，3 に示す．それぞれ，４種の行動それぞれの適合率，再現率， F 値を示す．これらの結果から，まず，学習した被測定者の未学習のデータに関して，文献(4)と比べ全体的に低い性能となった．また，学習しなかった被測定者のデータ対しては，さらに性能が低下した．
特に筆記・タブレットの行動については，全く検出に成功しなかった．
図 3 筆記のセット別の各センサの測定値の平均
表 1 測定対象変化時の識別結果の適合率
被測定者A,B,C被測定者D

筆記

53.5

0.0

読書

6.2

53.9

タブレット

93.70.0

スマートフォン

49.0

57.6

表 2 測定対象変化時の識別結果の再現率
被測定者A,B,C筆記

被測定者D

90.1

0.0

読書

2.3

56.6

タブレット

21.1

0.0

スマートフォン

98.7

54.9

図 4 筆記のセット別の各センサの測定値の分散

環境の変化に対する頑強性
この節では，環境（周囲の明るさ）が変化した際の頑強性について検討する．具体的には，学習用データを測定した際の明るさと，異なる明るさのもとで測定したデータ

表 3 測定対象変化時の識別結果の F 値
被測定者A,B,C被測定者Dに対して分類精度を評価する．

筆記

67.10.0

行動データは測定器具周囲の明るさ約 1000Lux または

読書

3.356.7

6000Lux の環境で測定した．データは被測定者 A (男性大タブレット

34.40.0

学院生)とした．6000Lux では 2 回，1000Lux では 1 回のスマートフォン

65.556.2

測定を行った．なお，いずれの明るさも書籍を読むのに環境としては十分な明るさであった．

この性能低下の原因を検討するために，学習データのここでは，学習用データとして，6000Lux の環境で収筆記のセット別の各センサの測定値の平均と分散を図 3，集した同一人物の行動データ 2 組から各 2 セット，計 44 にそれぞれ示す．これは，文献(4)の手法では，今回のセット分を使用した．また，評価用のデータは以下の 2 種

実験における 1 セット分の測定データを学習用と評価用類を用意し，それらの識別性能を比較した．に分割することで評価を行っていたが，今回の実験では，・ 学習データと同等の明るさ（6000Lux）で測定した複数セット分のデータを使用し，セット単位で学習デー2 組の各1 セット分(学習データに使用しなかったもタ・評価データを分けている点が異なるためである．の)，計 2 セット分の行動データ

この結果より，腕の位置に相当するセンサ 6 から 12 の間でセットごとの平均が大きく異なることが分かる．ま・ 学習データと異なる明るさ（1000Lux）で測定した1 組分(3 セット分)の行動データ

た，ほとんどのセンサで，セット間で分散が大きく異なる．

しかし，前処理の結果，評価データのサンプル数が極端平均が異なることは，影の位置（腕の位置）がセット毎にに減少する事態が発生したため，識別性能ではなく，前処異なることを示唆する．また，分散が異なることは，腕が理前の測定値について議論する．

動いていた位置（範囲）が異なることを示唆する．これら

まず，2 つの評価用データについて，前処理前後でのデ

ータのデータ数・減少率を表 4 に示す．6000Lux の場合

れを用いて判別する必要があるだろう．

は，学習データと同等の明るさのもとでの測定であり，4. まとめ

1000Lux の場合は，それよりも暗い状況での測定である．

本研究では教師が授業中の学生の情報を把握する支援

明るさが，学習時から変化することで，前処理により異常をすることの一環として提案されたフォトレジスタアレ値と判定され除去されたデータがほとんどであった．

イを用いて学生の姿勢を検出するシステムの頑強さについて検討した．特に，授業中に使用することを想定し，測表 4 評価用データの前処理前後のサンプル数
前処理前[個]前処理後[個]減少率[%]

同等の明るさ

29436

24322

17.4

異なる明るさ

57358

5372

90.6

定対象と環境の変化を発生させたときの姿勢を識別し，それらの比較をつうじ検討した．
これらの実験の結果から，文献(4)の手法は，測定対象・環境(周囲の明るさ)の変化に対する頑強性に乏しいこと

このような状況が発生した原因を検討するために，学習用データ・1000Lux で測定した結果について，その分布を図 5 に示す．ここでは，最も外側にあるセンサの測が明らかにした．
今後は，本研究での検討結果を生かし，測定対象・環境の変化に対する頑強性の向上を行う．

定値の値についてのヒストグラムを示す．いずれも，影かほとんど乗らないセンサなので極めて狭い範囲に測定値

参考文献が分布している．そのため，四分位範囲(𝑄3 − 𝑄1 )が極め

(1)

Tingting Liu, Jixin Wang and Bing Yang and Xuan Wang：て小さくなり，ほとんどの評価用データが異常値である“Facial expression recognition method with multi-labelと判定された．

distribution learning for non-verbal behavior understanding
in the classroom”, Infarared Physics & Technology, Vol.112,（2021）(2)

Selene Mota and Rosalind W. Picard： “Automated Posture
Analysis for detecting Learner’s Interest Level”, IEEE,Computer Vision and Pattern Recognition Workshop,Madison, WI, pp. 49-49（2003）(3)

有馬寛太：“フォトレジスタを用いた学生の姿勢推定―腕の左右位置の検出の試み―”，2022PC Conference 論文集，
pp.215-216（2022）

図 5 Sensor15 の測定値の分布(4)
このことから，単純に学習データにおける各センサの値の範囲に基づいて異常値判定・標準化を行う手法は，環境（周囲の明るさ）の変化に対する頑強性を損なうと言える．

頑強性の向上に向けて測定データの前処理に関して，明るさが変化すると，測定値の分布が変化する．そのため，各センサ独立に異常値の範囲の決定・標準化を行うのではなく，隣接センサの情報を使用することも必要だろう．
また，識別器に関して，被測定者の違いだけでなく，同一被測定者の繰り返し行動でも，識別性能が低下する要因となった．機械学習全般の性質として，データを増やすことでこのような違いに対する頑強性を得ることはできる．それだけではなく，人や着座位置の移動による腕の位置の変化に追従できるように，適切な特徴量を抽出し，そ有馬寛太：“学生の着座姿勢推定のためのフォトレジスタアレイの構成法”，三重大学大学院工学研究科修士論文（2023）