情報処理学会 インタラクション 2023
IPSJ Interaction 2023

2B-212023/3/1

姿勢推定に基づく情報提示による靴の整頓を促すための教育システム
廣川 七海1,a)

佐藤 周平2,b)

高 尚策1,c)

唐 政1,d)

概要：コロナ禍において人と接する機会が減少した昨今，子どもたちがよりよく生きるためのライフスキ
ルを身に付けることは身近な問題となっている．本研究では，ライフスキルのなかでも，玄関での靴の整頓を促す情報提示について検討する．上方に設置したカメラの映像から靴の姿勢を推定し，その結果に応じて靴を置くべき目標位置に誘導するガイドを画面に表示する．靴の姿勢推定には学習ベースの既存手法を利用する．しかし，既存手法では靴の位置や向きを推定できる一方，靴が横に倒れているかどうかは判定できないため，粗い二値画像を利用して判定する方法を提案する．本システムを用いることで，靴の整頓を習慣化させやすくすることを目指す．

1. はじめに新型コロナウイルス感染症の流行に伴い，感染拡大防止を徹底した新たな生活様式への転換を余儀なくされている．
日本においても，不要不急の外出を避け，ソーシャルディスタンスの確保をする自粛生活が続き，人と交流する機会が減少している．コロナ禍の社会的影響は多岐に渡り，その一つとして，人との相互交流によって身に付けられる，ライフスキル獲得に与える影響が懸念されている．ライフスキルは，日常生活に生じる様々な問題に建設的かつ効果的に対処するための技術や能力であり，意思決定能力や対人関係スキルが該当する [1]．平成 29 年告示の学習指導要
領 [2] では，生きる力を育むことが求められ，そのスキル

図 1

提案システムの概要．

を磨くためのライフスキル教育が，学校教育に導入される等，子どもたちが早い段階から身に付けられるよう実践さステムの開発を行っている．提案システムの概要を図 1 にれてきた．ライフスキルのなかでも，身の回りの整理整頓示す．上方に設置した Web カメラを用いて，靴が置かれは，物を大切に扱う心遣いへとつながることから重要な意る床面を撮影する．カメラの撮影範囲に靴が置かれると，味を持つ．特に，履物を揃えると心も揃うという教えがあ

靴を検出し姿勢を推定する．靴の検出と姿勢の推定には，るように，靴の脱いだ後に一度振り返って靴を揃えるなど，単眼カメラから取得した一枚の RGB 画像から 6 次元物体

小さなことを繰り返すことが他人への思いやりを持つ心を姿勢推定を行う CenterPose のネットワーク [3] を用いる．

磨くことにつながると言われている．

CenterPose では，靴の位置と向きを推定できるが，靴が本研究では，その玄関で靴を揃える行為に着目し，靴を横に倒れているかどうかという情報までは得られない．そ自発的に整理整頓するライフスキルの教育を目的としたシこで，CenterPose の情報を利用して粗い二値画像を生成し，倒れているかどうかを判定する．そして，上記により

1
2a)
b)
c)
d)

富山大学
法政大学
s2179204@ems.u-toyama.ac.jp
ssato@hosei.ac.jp
gaosc@eng.u-toyama.ac.jp
ztang@eng.u-toyama.ac.jp© 2023 Information Processing Society of Japan

得られた情報から靴の置く場所や向きが正しいかどうかを判定し，その結果に応じて靴を揃えるためにどうすればよ
いかを示すガイドをカメラの映像へ重畳して画面上に表示する．このシステムを利用することで，玄関での靴の整頓

550

情報処理学会 インタラクション 2023
IPSJ Interaction 2023

2B-21
2023/3/1を習慣化させやすくすることを目指す．

2. 関連研究
子どもたちを対象とした，教育を支援する仕組みが数多く研究されている．

2.1 教育支援ロボット
ロボットへの導入を目的とした，対象物を検出する画像認識技術を活用する研究がされている．Goulart らは，子どもとロボットのインタラクションのなかで感情を推測するための，感情認識システムを提案した [4]．RGB カメラと赤外線カメラの両方で顔画像を記録し，感情を推測する．

図 2

CenterPose [3] での検出結果．

人間とソーシャルロボットとのコミュニケーションをより良くするためのシステムである．Castellano らは，子どもたちのリサイクルに対する意識を高め，適切なリサイクルについて学ぶ支援をすることを目的とした，ロボットの活用について言及している [5]．廃棄物を検出して分類できる，画像認識モジュールが搭載されたロボットを使うことで，対話的に子どもたちのリサイクルのスキルの習得を支援する仕組みである．

2.2 教育支援アプリケーション
子どもたちに知識や技術を身に着けてもらうことに役立
つアプリケーションが提供されている．Winarni らは，地震災害の被害を防止することを目的とした教育用ゲームを提案した [6]．地震発生前、地震最中、地震発生後のステージに分かれており，ゲームを通して，安全に身を守る方法を身に付け，備えることができる．子どもたちが楽しく学
びながら，災害時の対応に関する知識と洞察力を高められる．Castellano らは，画像認識と音声認識に基づく英語学習のためのシステムを開発した [7]．対象物体をカメラで撮影すると，物体の名称とその例文が表示され，加えて単語の発音が確認できる．子どもたちが積極的に学習に取り組めるよう促す，新しい初期教育のプラットフォームである．
生活行動の向上に目を向けた事例として，市村の研究が

図 3

靴が倒れているかどうかの判別処理の流れ．

ある [8]．これは，子どもが楽しく歯磨きを行なえるようにするための歯ブラシ動作計測機能付きアプリケーション

させるためのガイドを AR として映像に重畳する．まず，である．磁石と装着した歯ブラシと，スマートフォンの磁Web カメラでの映像から，水平面内における靴の位置と気センサを用いて，磨き箇所を特定する．磨いた付近の歯向きを推定する．推定には CenterPose [3] の靴カテゴリのが綺麗になってゆく様子をアニメーション表示し，ゲーミ事前学習済みモデルを用いる．ただし，CenterPose では靴フィケーション化することで，楽しんで歯磨きができるよが横に倒れているかどうかを判定するのは難しいため，テうなシステムとなっている．

ンプレートマッチングによりそれを判定する．そして，得本研究では，靴を並べる行為に着目し，靴の整頓を促す教育支援システムを目指す．

3. 提案システム
本システムでは，上方に設置した Web カメラの映像から靴の姿勢を判別し，現在の状態から正しい状態へ靴を整頓© 2023 Information Processing Society of Japanられた姿勢判定結果をもとに，正しい状態となるようなガイドを画面に表示する．ただし，毎フレーム上記の処理を実行するとリアルタイムな情報提示が難しくなる．そのため，靴は高速には移動しないという仮定から，一定フレーム毎に処理を実行することでこれを解決する．以下では各処理の詳細を述べる．

551

情報処理学会 インタラクション 2023
IPSJ Interaction 2023

図 4

テンプレートの画像の例．

2B-21
2023/3/1

図 5

テンプレートとの比較用に切り取った靴の画像の例．

3.1 靴の姿勢判別
まず，カメラから得られた映像に対して CenterPose [3]を用いて水平面内での靴の位置，向きを推定する．Cen-terPose では，検出対象の靴を囲うようにバウンディングボックス（図 2 の赤線）が算出される．このバウンディン
グボックスの頂点座標から水平面内での靴の位置と向きを求める．ただし，このバウンディングボックスからは靴が横に倒れているかどうかを判定できる情報は得られない．
そこで，以下に示すテンプレート画像を利用した方法により靴が倒れているかどうかを判定する．
テンプレート画像を利用した靴が倒れているかどうかの判定処理の流れを図 3 に示す．この処理は初回の実行以
降，カメラから取得したフレームと，その一つ前のフレームで，バウンディングボックスの移動量が一定以上の場合に再度実行される．

図 6

粗い二値画像の例．

まず，対象となる靴のテンプレート画像を事前に用意する．テンプレート画像は，図 4 のように左右それぞれの靴較する領域を切り取る．まず，CenterPose により得られについて，正面と左側面，右側面の合計 6 枚である．ただるバウンディングボックスの頂点座標をもとに，靴の存在し，靴の形や模様によっては正面の画像において靴の左右する領域を関心領域として設定する．関心領域内で靴のシが異なっていてもテンプレートとの類似度に差がなく，まルエットを求め，切り取る領域を決める．靴のシルエット

た，靴の局所的な特徴が少ない黒系統の色の靴では前後のは，Canny 法によりエッジ抽出をした後，凸包で形状を識別が困難で，誤判定する場合がある．そのため，事前に近似し，その内部を塗りつぶすことで得る (図 5(c))．このWeb カメラの映像内の靴の前後左右を判別する必要があ時，事前にメディアンフィルタによる平滑化を行うことで，る．本システムではこれを靴検出開始時の足の位置によっ背景のノイズを抑制した．そして，求めた靴のシルエットて決める．使用者が履いていた靴を脱ぎ，靴の検出が開始の重心を中心として，テンプレート画像と同じサイズの領される前後で画像の差分をとり，差分の小さい方向，すな域を比較用の画像として切り取る．これらの処理により図

わち足の写っていない方向を靴の前方とし，その情報をも5(d) が得られる．とに左右を決定する．
続いて，Web カメラの映像からテンプレート画像と比© 2023 Information Processing Society of Japan

靴の前方向に対して右側にある靴を右足のテンプレート
画像と，左側にある靴を左足のテンプレート画像と比較す

552

情報処理学会 インタラクション 2023
IPSJ Interaction 2023

図 72B-21
2023/3/1

左足の靴が倒れているときの表示．

図 8

図 9

靴が倒れていないときの表示．

る．ただし，そのまま比較した場合，陰影や靴の模様など靴が正しく置かれたときの表示．

図 10

実験環境のイメージ．

3.2 AR による情報提示によって判定の精度が低くなることを実験により確認し表示はユーザが靴を並べるときに手助けになることと，た．そこで本システムでは，それぞれの画像をダウンサン楽しんでもらうことを目的とした．両足の靴が検出範囲内プルし，その後二値化した粗い二値画像により比較する方に出現すると，前節の判定結果に応じて靴を並べるよう促法をとる．まず，テンプレート画像および取得画像（いずす表示を開始する．左右それぞれの靴に対して，その姿勢れも 100x200 ピクセル）を，8x16 ピクセルにリサイズすに応じた表示が重ねられる．靴が横に倒れているときは，る．リサイズ後，画像全体の輝度の平均をしきい値として

図 7 左のように，倒れている靴に重畳して回転を示す円弧二値化する（図 6 の下段）．そして，テンプレート画像と状の緑色の矢印が表示される．靴が倒れていないときは，取得画像との間で，生成した二値画像におけるピクセルの図 8 のように靴の現在位置から目標位置に向かって，足一致率を求める．一致率が最も高い姿勢を取得画像の姿勢跡が動いていくような表示を行う（左足が赤色，右足が青として選択する．

色）．両足の靴が，位置と向きともに正しく置かれたとき

本システムでは，ユーザの手による遮蔽などにより，CenterPose での検出が一時的に中断される場合がある．そこで検出再開時に，検出中断前の位置と姿勢をもとに，靴の前後左右を判断する．ただし，検出が中断されてから再は，図 9 のように表示し，並べ方が良いことをユーザに知らせる．

4. 実験

開するまでの間に，靴の位置や方向が大きく変化すると姿提案システムを評価するための実験を行った．本実験で勢を正しく判別できない場合があり，今後改良が必要では，使いやすさや楽しさの観点からユーザの評価を収集しある．

た．実験は 20 代の男女 10 名を対象に実施した．

© 2023 Information Processing Society of Japan553情報処理学会 インタラクション 2023
IPSJ Interaction 2023

2B-212023/3/1

図 11

実行画面

4.1 実験条件
靴の種類はスニーカー等の足首より丈の短いもので，二値化した際に輝度差が得られるよう，背景色と靴の色が類似しないものを対象とした．床から 115cm の高さに，カメラをアームスタンドに固定して実験を行う（図 10 参照）．

表 1

アンケート項目

質問項目

Q1. 置き方のガイドは靴を並べる手助けとなったかQ2. 靴を揃えたいと感じたか
Q3. AR による提示は分かり易かったか
Q4. 楽しさや面白さを感じたか

また，Web カメラは 960 × 720 画素の解像度のものを用いた．

4.3 アンケート調査
4.2 実験手順
被験者に提案システムを評価してもらうための実験手順
は以下の通りである．
（1）事前準備として，提案システムを使用する場所の床の上に靴を置き，テンプレート用の画像を撮影する．
（2）靴を履いた状態で撮影範囲に入り，靴の検出を開始する．
（3）靴を脱ぐ．被験者によって靴は無作為に配置される．
（4）表示された置き方のガイドに従って，靴を並べてもらう．靴を置く場所の目安として，赤い三角の上に GOALと表示している．
（5）靴の並べ方が良いことを示す，”GOOD”の表示を確認し，実験を終える．
手順（1）から（5）の実行画面は図 11 のようになる．実
行画面左上に左右それぞれの靴の水平面内での傾きのバロメータを表示した．

被験者が本システムを利用して靴を並べた際の主観的評価として，5 段階評価と自由記述によるアンケート調査を行った．質問は表 1 に示す 4 項目である．
回答は，「1：そう思わない」，「2：あまりそう思わない」，「3: どちらともいえない」，「4：ややそう思う」，「5：そう思う」の 5 段階評価の形式を採用した．図 12 にアンケートの結果を示す．その結果，Q1 の置き方のガイドは靴を並べる手助けとなったか，については，「そう思う」「ややそう思う」と被験者全員が回答した．Q2 の靴を揃えたいと感じたかは，8 割が「そう思う」と回答した．靴を置く目標位置への表示により，靴を並べるよう誘導できたと考える．Q3 の AR による表示は分かり易かったかは，9 割が「そう思う」，また，Q4 の楽しさや面白さを感じたか，についても，9 割が「そう思う」「ややそう思う」と回答していた．システムを使い楽しく靴を並べてもらえたことが分かった．自由記述の回答では，左右の判別が不十分という意見があった．靴の一部が撮影範囲外に出た際には判定の© 2023 Information Processing Society of Japan554

情報処理学会 インタラクション 2023
IPSJ Interaction 2023

2B-21
2023/3/1

[4]

[5]

[6]
図 12

アンケートの結果．

精度が低下するため，左右の靴の位置関係を考慮し再検出するなどの工夫が必要であると考える．また，GOAL の表[7]示が子どもたちには分かりにくいのではないかという指摘もあった．今後は実際に子どもたちにも利用してもらい，表示の改善を検討したい．

5. まとめと展望[8]

Robotics and Automation (ICRA), (2022).
Christiance Goulart, Carlos Valadao, Denis Denis
Delisle-Rodriguez, Douglas Funayama, Alvaro Favarato,
Guilherme Baldo, Vinicius Binotte, Eliete Caldeire, Teodiano Bastos-Filho.: Visual and Thermal Image Processing for Facial Speciﬁc Landmark Detection to Infer
Emotions in a Child-Robot Interaction, Sensors 2019,19(13), 2844.
Giovanna Castellano, Berardina De Carolis, Francesca
D Errico, Nicola Macchiarulo, Veronica Rossano .: PeppeRecycle: Improving Children s Attitude Toward Recycling by Playing with a Social Robot, International
Journal of Social Robotics volume 13, pages97–111(2021).
Endang Widi Winarni, Endina Putri Purwandari,Yolanda Hervianti.: MOBILE EDUCATIONAL GAMEFOR EARTHQUAKE DISASTER PREPAREDNESSIN ELEMENTARY SCHOOL, ARPN Journal of Engineering and Applied Sciences, vol.13, No.7 (2018) 26122618.
Giovanna Castellano, Berardina De Carolis, Francesca
D Errico, Nicola Macchiarulo, Veronica Rossano .:An Intelligent Hybrid–Integrated System Using Speech
Recognition and a 3D Display for Early Childhood Education, Electronics 2021, 10(15), 1862.
市村 哲 .: migaco：子供が楽しく歯みがきが行えるようにするための歯ブラシ動作計測機能付きアプリケーショ
ン, 情報処理学会論文誌 61 (1), 95-102, (2020).

本研究では，ライフスキルのなかでも，玄関での靴の整頓を促す情報提示システムについて提案した．アームスタ
ンドに固定したカメラで靴を撮影し，その映像から靴の位置と姿勢を推定し，それに応じた情報提示を行った．そして，システムの評価実験から情報提示の有用性についての検証を行った．その結果，靴を並べるよう案内をする表示が，靴を並べることを意識してもらうために役立つ可能性が示唆された．また，楽しさを感じてもらえたところから，靴を整頓する行為のゲーム性が向上し，靴を整頓する教育の促進につながると考える．
一方で，要領をつかむと靴を楽しんで揃えてもらえたが，画面を見ながらの動作で靴を動かす向きが分からず手間取ることがあった．靴を揃えるべき目標位置を分かり易くするためプロジェクションなどにより目標位置を提示し，明確化する必要があることを確認した．また，現在は 20 代に対しての実験にとどまっており，実際に子どもを対象とした検証は行っていない．子どもたちの興味と関心を引き出すような情報提示ができるよう，今後は実践的な検証を実施する予定である．
参考文献
[1]

[2]
[3]

学 び の 未 来 研 究 所 ラ イ フ ス キ ル（life skills）と は, https://www.manabinomirailab.com/aboutlifeskill, (最終閲覧日 2022-11-28).
文部科学省，小学校 学習指導要領（平成 29 年告示）.
Lin, Yunzhi and Tremblay, Jonathan and Tyree, Stephenand Vela, Patricio A. and Birchﬁeld, Stan .: Single-Stage
Keypoint-based Category-level Object Pose Estimationfrom an RGB Image, IEEE International Conference on© 2023 Information Processing Society of Japan555