計測自動制御学会東北支部 第 337 回研究集会 (2022.6.27)
資料番号 337-6

無段階コントローラの開発
A Study of Unrestrictable Controler Device○田嶋優斗 ∗ ，松野静也 ∗ ，末永貴俊 ∗○ Yuto Tajima∗ , Seiya Matsuno∗ , Takatoshi Suenaga∗*仙台高等専門学校*National Institute of Technology, Sendai College
キーワード : 画像処理 (Image processing)，機械学習 (Machine learning)，支援技術 (Assistivetechnology)，HID (Human Interface Device)

連絡先 : 〒 989-3128 仙台市青葉区愛子中央 4–16–1 仙台高等専門学校
末永貴俊，Tel.: (022)391-5531，Fax.: (022)391-6144，E-mail: sue@sendai-nct.ac.jp

1.

はじめに2.

提案手法

今日家庭用ゲーム機が娯楽として普及していFig. 1 に本研究で提案するアナログスティッるが，障害により手や指を自由に動かすことがクの構造を示す．化粧用パフで支えたストロー出来ない人にとって, 従来のコントローラは操作するのが難しい．その原因は 2 つあると考える．

をアナログスティックとして使い，ストローの様子を UnitV AI Camera2) で底面から撮影し，アナログスティックを傾ける際に常に中央に戻YOLO(You Lock Only Once)3) を用いてストる力が働くため手や指先に力が入らないとアナローの先端を検出する手法を実現する．

ログスティックを傾けることが難しい．アナロ
グスティックの傾きを検出するために x 軸用と y軸用に可変抵抗器を 2 つ使っているため 1) ，構
造上アナログスティックを倒した際の方向が決まってしまう．これにより手や指先を自由に動かすことが出来ないと倒すことが難しい方向が発生する．そのため本研究では小さな反発力でアナログスティックが中央に戻り，物理的な接触のあるセンサーを用いることなくアナログスティックの傾きを検出できるコントローラを開発することで，手に障害を抱えている人でも満足に操作できるようにすることに取り組む．

–1–Fig. 1

アナログスティック全体の構造

3.

実験

3.1

予備実験

30 回倒したときの動きを撮影し，アナログスティックが中央に戻ったときの画像を合わせて学習を行い，作成された学習モデルを UnitV AI

アナログスティックを開発するためには．スト

Camera で実行した際の検出率と推論の正確性をローの動きを追う際のフレームレートが重要な表す値 (value) を確かめた．実験の結果を Table

数値となる．フレームレートが高いとアナログ2 に示す．

スティックの動きを繊細に追うことが可能にな
項目

Table 2 動作結果
上
下
左
右

中央

検出率 [%]
value[%]

89.5
69.1

45.6
37.0

るが，フレームレートが低いとアナログスティッ
クの動きを大まかにしか追うことが出来ずモーションブラーが発生しやすくなる．そのため本研究を進める前に UnitV AI Camera で写真を

82.7
78.2

42.7
48.1

29.0
33.4撮影したり，学習モデルを実行した際のフレームレートを調査した．フレームレートの調査に

本実験により，y 軸方向は安定して検出を行

は写真を撮る命令とフレームレートを取得するうことが可能であったが，x 軸方向では検出が命令を繰り返すことで計測を行う．

安定せず右方向は左方向と誤検出されることが500 回の計測を行った結果を Table 1 に示す．

平均値
[fps]

10.39

わかった（Fig. 2）．

Table 1 計測結果
中央値 最小値 最大値
[fps]
[fps]
[fps]
10.39

11.76

9.90

UnitV AI Camera で画像を撮影した際に得られるフレームレートは約 10fps であったが，手や指先に力が入らなかったり，手や指先を自由

Fig. 2

誤検出例に動かすことが出来ない人では，健常者が動かすときと同様の速度で動かすことは難しいと考える．そのため，ゆっくりな動きであればこの程度のフレームレートでもモーションブラーは3.3

学習データセットの検証実験

発生せずアナログスティックの動きを追うこと

本研究で開発しているコントローラはある方が可能であるためこのフレームレートで問題な向に倒している画像を回転させることで別な方いと判断し，以後の実験を進める．

向に倒している画像とみなすことが出来る．前述
した実験結果より y 軸方向の学習に用いていた

3.2

画像が優秀なデータであったことからこのデー傾斜方向の検出実験提案した手法でアナログスティックの動きを追うことが可能か判断するために実験を行った．
本実験では，従来のコントローラと同じ入力
方向 (上，下，左，右) にアナログスティックをタをもとに y 軸を 90 度回転させ x 軸方向を作成
したデータセット (モデル A)，-90 度回転させ x軸方向を作成したデータセット (モデル B)，上から全ての方向を作成したデータセット (モデ–2–

ル C)，下から全ての方向を作成したデータセッ

3.4

ト (モデル D)，元データセットにモデル A の x軸方向を加えたデータセット (モデル E) を作成
し同様の実験を行い，動作結果の改善を試みた．
各々のデータセットを用いて実験を行った結果を Table 3，Table 4 に示す．

Table 3

考察

検証実験により，指を動かす速度が検出率に影響を及ぼすこと，UnitV AI Camera と学習環境で画像などに何かしらの差があることが分かった．加えて，学習データセットの検証実験において，学習データの質で学習結果に差が生まれることが分かった．

1000 回動作での検出率 [%]本研究では 8Epoch で学習を行っていたが，使学習モデル

上下

左右中央用している画像の特徴量が少なく, これ以上の学

モデル A
モデル B
モデル C
モデル D
モデル E

96.1
90.2
74.2
76.3
76.5

97.4
88.9
60.3
54.6
93.4

59.1
27.1
0.0
0.0
3.1

60.1
0.0
29.3
0.0
30.6

30.5
0.0
5.4
0.0
72.2

習は過学習を引き起こす可能性があるため、学習回数を増やすことでの精度の向上は期待できない.

4.

今後の方針

これまでの実験で得られたことから, スティッ

Table 4value 平均値 [%]クの先端の読み取りには YOLO は適していない

学習モデル

上下左右中央

モデル A
モデル B
モデル C
モデル D
モデル E

62.0
57.9
40.3
59.4
75.1

72.0
61.5
58.1
40.5
76.4

47.2
37.9
0.0
0.0
36.5

48.4
0.0
36.8
0.0
34.2

35.3
0.0
32.6
0.0
49.9と考える. そのため, 今後は画像処理によるスティック先端の読み取りと機械学習によるスティッ
ク軌道の読み取りを目標として研究に取り組む.
ストロー先端の読み取りに対して背景の色とスティックの色が異なることを利用して OpenCVを用いて方向を判別する手法. そして, スティッ
ク軌道の読み取りに対しては,YOLO を用いてモデル A では第三象限が右と誤検出または非事前に学習した軌道から入力された軌道の方向検出となるが x 軸方向をどちらも検出することを判別する手法について実験を行っていく. まが可能になった．また成績が良かったモデル A

た, コントローラ自体の構造についても改良をに対し指の動きで差が出るかを確かめるために行う.

被験者を変え実験を行ったが左方向の検出率に大きく差は出るが value は変わらない結果となっ参考文献

た．これは動かすときの速度が被験者により異なることが原因であると考える．成績が良かったモデル A に対し，実機環境で学習時の画像を読み込ませ，実機環境と学習環境での差が表れるか確かめる実験も行った．その結果，前述した学習データセットの検証実験で得られたモデル

A の結果と同様の結果を示した．この結果から実機環境と学習環境で画像などに何かしらの差が生まれることで推論が上手くいったと考える．

–3–1) 具志堅翔 他: 肢体不自由児に対する多方向入力レバーの有用性の検証，電子情報通信学会
総合大会講演論文集, 情報・システム (1), 165(2011/02/28)
2) UnitV AI Camera,https://shop.m5stack.com/products/
3) Joseph
Redmon,Ali
Farhadli,“YOLO9000:Beter,Faster,Stronger”,
https://arxiv.org/abs/1612.08242 [Accessedon June 24, 2022]