機械学習による室内における日常動作解析のための合成動画像データセット構築に向けて
礒井葉那

RU指導教員：小口正人Vはじめに

ディープニューラルネットワーク U.LLV により動画像から人間の行動を分析することが可能になり- 一般家庭における老人や子供の見守りなどへの応用が期待されている (R)X .LL を用いた学習では- 大量かつバリエーション豊富なラベル付き学習データが必要となるが- そのようなデータセットは現在存在しておらず- また- データセットを現実の画像で作成するには多大なコストを要するX 物体検出などの一部のコンピュータビジ
ョンタスクにおいては- 現実のデータ収集の問題に対応するために *: により合成画像を生成して学習データとする試みが行われているが- 動画像分類のための合成データ生成に関してはほとんど知られていないX
本研究では- 人間の室内行動解析ためのデータセットの構築- および現実の動作解析のための合成動画像生成の方法を確立することを目指し- lMBiv を用いて合成動画像データセットを作成・評価したXk

図k ぼかし・ノイズを施した R フレーム

作成した合成動画像データセット

合成動画像データセットを作成するため- lMBiv による動画像の作成- 作成した動画像内の照明条件の変更および画像の劣化を模したノイズ・ぼかし処理 (k) を施すX
行動解析のためのデータセットの作成に lMBiv h2+?@MQHQ;B2b 社が提供するゲームエンジン lMiBv(j) を使用
したX 作成した動画像は- 部屋の中を人型モデルがランダムに歩き回る・立ち止まるという動作をし- ソファ前に来ると座り- 数秒後に立ち上がる動作を部屋の四隅上部から k8e k8e ピクセル- 87Tb で撮影したものであるX
図 R に座って立ち上がる様子を示すX
照明条件の変更を表現するため- 動画像内の k つの照明についてランダムに明るさを変更・移動させたX ノイ
ズ・ぼかしはガウスノイズ・ガウスフィルタを用いて表現するX まず- ノイズ処理は式 URV のようにモデル化
したX

図j 作成したデータによる動作判別の精度

次に- ぼかし処理を式 UkV で表すX Iblur (x, y) は処理後の位置 (x, y) の画像の値- K(m, n) は二次元ガウス分布に基づくカーネルであるXIblur (x, y) =mI(x + m, y + n)K(m, n)

UkVn

作成した動画像の R フレームにぼかし・ノイズを加えた画像を図 k に示すX

Inoise (x, y) = max(min(I(x, y)+ηgauss , 0), 255) URVj

評価jXR

実験 R

本実験では- 作成した合成データで学習したモデルで合成データについての動作判別ができるかどうかを確認するX また- 照明条件のランダム化等により精度が向上することを確かめるために- それぞれの有無を変更したデータで学習を行い- テスト精度を比較するX 入力データは- 作成した Re フレームの画像をまとめて R つの動画像としたものを 9yyy 個用意し- 学習用・検証用・テスト用に Ry,j,j に分割したX テストデータには- 照明
条件のランダム化と一定の強さのノイズ・ぼかしを施した合成動画像データを用いたX 学習モデルには R3 層
_2bL2ij. (9) を用いて歩く・立ち止まる・座る・座っている・立ち上がるという 8 つの動作の分類を行うX 計
算には :26Q`+2 :hs N3y :Sl を備えたサーバ機を用いたX
学習データの条件を変化させて学習させ- テストを行

ここで Inoise (x, y) は処理後の位置 (x, y) における画像の値- I(x, y) は元の画像の位置 (x, y) の値- ηgauss はガウス分布に基づく値であるX

図R!!

座って立ち上がる様子kN

図9 ahA_@+iBQMb による動作判別の精度なった結果を図 j に示すX 図 j から- 作成した合成動画像によるテストにおいて- 照明条件のランダム化を行うと精度が高くなること- ノイズ・ぼかし処理による影響はあまり見られないことがわかったX 照明条件を変化させたデータで学習したモデルでは約 NyW- そうでないモデルでは約 ey@dyW の精度で動作判別ができることがわかったX

図8 データサイズと精度の比較

立ち止まる・座る・座っている・立ち上がるという 8 つの動作を行うもので- さらに- 現実の動画像との差分を減らすために照明条件のランダム化- ノイズ・ぼかし処理を施したX 実写データを用いた評価にて- 現段階では作成したデータでは現実と *: とのギャップを埋められていないことが示されたが- ある程度は現実の動作と同等な特徴を持っていること- 実写データでファインチューニングを行うことで- 実写データのみで学習するのと同等な精度でより安定的に動作判別するモデルを構築できることがわかったX また現段階では- 照明条件のランダム化- ノイズ・ぼかしの付与による実写データ解
析への影響は確認できなかったX
今後は実写画像を用いなくても十分に実写画像を判別できるように- 動作・人・背景を多様化し- データセットの拡張を行うX また- データ拡張やドメイン適応を調査および評価し- 合成データによる動画像認識タスクのためのより高精度なモデルを構築することを目指すX

jXk 実験 k本 実 験 で は- 実 写 動 画 像 デ ー タ セ ッ ト ahA_@
+iBQMb(8) を用いて作成したデータセットを評価するX
まず- 作成したデータセットで学習したモデルをそのまま用いてテストするX 次に- ahA_@+iBQMb を用いて作成したデータで学習したモデルの線形層の再学習を行うX さらに- 学習データの量を変化させて- テスト精度を比較するX 実験の条件は実験 R と同じであるX
Rd3j 個のデータでの実験結果を図 9 に示すX オレン
ジ色の横棒は作成したデータのみで学習したモデルでの精度を- 青色の横棒は作成したデータで事前学習した
後に ahA_@+iBQMb でファインチューニングしたモデルでの精度を表すX 図 9 より- 作成した合成動画像で学習したモデルではランダムに判別するのと同等な kyW程度の精度となり- ahA_@+iBQMb の動作をほぼ判別できていないことがわかるX しかし- ahA_@+iBQMb でモデルを学習する場合の 39X8eW には及ばないが- ファインチューニングを行うと- 約 ey@dyW の精度で判別しているX このことから- 作成したデータは- ある程度は現実の動作の特徴と共通する特徴を持っていることがわ
かるX いずれの場合も- 合成データへの照明変化・ノイズ・ぼかし等による影響は見られなかったX さらに- データ量を変化させた結果を図 8 に示すX 図 8 より- R8yy個程度のデータを用意できる場合は ahA_@+iBQMb のみで学習したモデルの方が高精度であるが- それより少ない場合は- 本データセットで事前学習したモデルでファインチューニングした場合と同等の精度であり- 事前学習モデルの方が安定した学習結果になることがわかったX これらから- 利用できる実写データが少ない場合には- 作成したデータセットによる事前学習が有用であるとことがわかったX

9謝辞
この成果の一部は，CaSa 科研費 CSRN>y9y3N および国立研究開発法人新エネルギー・産業技術総合開発機
構 UL1.PV の委託業務の結果得られたものですX

参考文献(R) *?BFFQ hFbFB- ibmFQ hF27mb- >B/2KQiQ
LF/- M/ JbiQ P;m+?X  bim/v Q7 +iBQM`2+Q;MBiBQM mbBM; TQb2 /i iQr`/ /Bbi`B#mi2/
T`Q+2bbBM; Qp2` 2/;2 M/ +HQm/X(k) H2tM/` *`HbQM- Ei?2`BM2 X aFBMM2`- _Kobm/2pM- M/ Jii?2r CQ?MbQM@_Q#2`bQMX
JQ/2HBM; +K2` 2z2+ib iQ BKT`Qp2 pBbmH H2`M@BM; 7`QK bvMi?2iB+ /iX AM 1**o qQ`Fb?QTbkyR3X(j) lMBivX ?iiTb,ffmMBivX+QKX(9) .m h`M- >QM; tBm qM;- GQ`2MxQ hQ``2bMBCKB2 _v- uMM G2*mM- M/ JMQ?` SHm`BX
 +HQb2` HQQF i bTiBQi2KTQ`H +QMpQHmiBQMb 7Q`
+iBQM `2+Q;MBiBQMX kyR3 A111f*o6 *QM72`2M+2
QM *QKTmi2` oBbBQM M/ Sii2`M _2+Q;MBiBQM- TTX
e98yĜe98N- kyRdX(8) umv uQb?BFr- CB[BM; GBM- M/ FBFxmhF2m+?BX aiB` +iBQMb,  pB/2Q /ib2i Q7 2p2`v@/v ?QK2 +iBQMbX `sBp- oQHX #bfR3y9Xy9jke- -まとめと今後の取り組み

本研究では室内における人間の行動解析のための合成動画像データセット作成を目指し- lMBiv で *: アニメーションをキャプチャしてラベル付き動画像データセットを作成したX 動画像は R 人の人型モデルが歩く・jy