身体動揺の時系列深度画像における時間手掛りを用いた手荷物の軽重認識
山口 優太 ∗∗ ，中山 晴貴 ∗∗ ，神谷 卓也 ∗∗ ，西山 正志 ∗∗ ，岩井 儀雄 ∗∗ ，櫛田 大輔 ∗∗Baggage weight classiﬁcation by extracting temporal features of body sway acquired from depth image sequences
Yuta YAMAGUCHI, Haruki NAKAYAMA, Takuya KAMITANI, Masashi NISHIYAMA, Yoshio IWAI and Daisuke KUSHIDA
We propose a method for classifying the weight of baggage carried by a person in an upright posture by ﬁnding temporalcues of body sway from depth image sequences. When a standing person is viewed from an overhead depth camera, bodysway, which is a slight movement that naturally occurred in the human body, is observed. We consider body sway as
discriminative cues for baggage weight classiﬁcation because it varies depending on the weight of baggage carried by astanding person. To ﬁnd the cues of body sway from depth image sequences, we can use the existing feature extraction 1) .
However, the accuracy of baggage weight classiﬁcation is reduced if the existing feature extraction is simply performed.
The existing feature extraction causes this problem by seeing both the motion and the shape representing each person’s
cue to identify people. We consider that the shape of a person does not change even if the weight of the baggage changes.
To this end, we design a novel feature extraction that suppresses spatial cues of the shape of a person and emphasizes
temporal cues of the motion using the head region’s center position. The experimental results show that our feature
extraction improves baggage weight classiﬁcation accuracy compared to the existing feature extraction.
Key words: Baggage weight classiﬁcation, body sway, depth camera, feature extraction, temporal cue.

1.

はじめに

も自然に発生する．本論文では，手荷物の重さを認識するために，身体動揺を表す手掛りを，時系列の画像から捉えることをカメラから撮影された画像の中に存在する人物を対象とし，狙う．なお，人物は，直立姿勢を維持し，片手で手荷物を所持

様々な属性を認識する技術の開発が進んでいる．人物の属性とするとし，深度カメラから撮影される条件で議論を進める．立して，性別，年代，服装を認識する手法 2, 3, 4) が提案されていち止まる人物を撮影した場合，時系列の深度画像から，身体動る．近年では，手荷物を所持しているかどうかの属性を判別す

揺を表す空間手掛りと時間手掛りとを捉えることができる．空る手法 5, 6) が注目されつつある．ここで述べる手荷物とは，人間手掛りとは，ある時刻における人物の形状である．時間手掛物が片手で所持するケースや袋を指し，その中に物体が入ってりとは，人物の形状が，時間が経過するとともに，連続的に微いるとする．手荷物の所持の有無だけでなく，さらに詳細な人

小移動する様子である．

物の属性を収集するため，所持する手荷物の重さを認識する手

身体動揺を表す空間手掛りと時間手掛りについて，手荷物の法 7) が提案されている．この既存手法では，歩く人物を対象

軽重認識にどう有効であるかを考える．まずその前に，身体動とし，手荷物の重さを，時系列の画像から認識している．ただ揺に関する既存の特徴抽出 1) の考え方について述べる．このし，人物は常に歩いている訳ではない．例えば，エレベータの特徴抽出は，人物対応付けを目的とし，身体動揺を表す空間手

到着を待つ時や，ショッピングの清算を待つ時に，人物は歩く

掛りと時間手掛りの両方を捉える設計となっている．人物対応

ことを止め，その場に立つ．

付けにおける空間手掛りでは，形状について，人物間の差を捉

本論文では，立ち止まる人物を対象とし，片手で所持する手えている．また時間手掛りでは，形状の時間方向の微小移動に

荷物の重さを，時系列の画像から認識する手法について議論す

ついて，人物間の差を捉えている．既存の特徴抽出を，そのまる．この手荷物の軽重認識を実現できれば，様々な応用に繋がま軽重認識に用いる場合，荷物の重さに関する差を考慮していると考えられる．例えば，エレベータ前で，不自然に重い手荷ないため，高い精度を期待できないと考えられる．特に，人物

物を所持し，立ち止まっている不審人物を検出するセキュリ

対応付けでは重要であった空間手掛りは，手荷物の軽重認識にティ応用が考えられる．他にも，ショッピングモールのレジ前

おいて，有用な特徴ではない可能性があると考えられる．そので，重い手荷物を持ち，並んでいる人物を手助けする代行応用

理由として，手荷物の重さが変化したとしても，個人ごとの形が考えられる．

状は変わらないことが挙げられる．一方，時間手掛かりは，手手荷物の軽重認識のために，立ち止まる人物から，手がかり

荷物の軽重認識において重要であると考えられる．その理由ととして何が捉えられるかについて考える．立ち止まる人物は，して，手荷物の重さに応じて身体の 3 次元的な重心位置が変わ

身体の動きを完全に静止させることはできず，前後左右の様々るため，微小移動の様子に変化が生じるからと考えられる．手な方向に微小に揺れ動いている．この身体の微小な動きは，身荷物の軽重認識の精度を高めるためには，時系列の深度画像か

体動揺 8) と呼ばれ，人物が意識的に身体を静止しようとしてら捉えられる空間手掛りを抑止する必要があり，時間手掛りのみを捉える必要があると想定される．

∗

原稿受付 令和 3 年 5 月 11 日
∗ 掲載決定 令和 3 年 9 月 15 日∗∗ 鳥取大学大学院工学研究科 (鳥取市湖山町南 4 丁目 101)

そこで本論文では，片手で手荷物を所持し立ち止まる人物を対象とし，時系列の深度画像から，身体動揺を表す時間手掛り

を捉える特徴抽出を行い，手荷物の重さを認識する手法について述べる．実験結果より，提案手法は，空間手掛りと時間手掛りの両方を捉える既存の特徴抽出 1) を用いた認識手法と比べ

Depth
cameraLightbaggageて，軽重認識の精度を向上させることを確認した．また，深層学習を用いる手法 9, 10, 11) ，および，時系列画像に対する特徴抽
出 12, 13, 14) と識別器とを組合わせる手法と比べても，軽重認識の精度を高めることを確認した．本論文は，我々の先行研究 15)

BaggageHeavybaggageStanding
personを発展させたものであり，時間手掛かりを捉える特徴抽出を新Person 1

たに開発し，実験および考察を拡充させたものである．以下では，2. で関連研究を述べ，3. で提案手法について述べ，4. で手荷物の軽重認識の精度について述べる．最後に5. でまとめる．

Person 2

Person 3

Fig. 1 Examples of depth images of standing people carrying baggage acquired
from the overhead depth camera. Black color represents near regions
from the camera, and white color represents far regions.

2. 関連研究2.1 手荷物の重さに関する知見
身体運動学の分野において，手荷物の重さに関する分析研
究16, 17, 18)が実施されている．これらの文献では，歩行中の人物を対象とし，その人物が所持する手荷物の重さが変化した場
合，動きに差異が生じるかどうかをモーションキャプチャを用いて分析している．歩行する人物が手荷物を片手で所持する
時，もう一方の手の動きが，手荷物の重さに応じて大きくなっていくことや，骨盤の動きが制限されていくことが報告されている．児童や女性など特定の人物カテゴリに属する歩行者について，手荷物の重さに関する分析 19, 20) が実施されており，同様の結果が報告されている．
理学療法の分野では，立ち止まる人物の身体動揺が，手荷物の重さによって，どのように変化するかについて，圧力センサ
を用いて分析した研究が実施されている．文献 21) では，本人の背筋力限界に合わせた重い手荷物を保持した場合，身体動揺の高周波成分に変化が生じることが報告されている．具体的な周波数帯は明記されていないものの，背筋力限界の 50% の負荷により，人間の姿勢制御が大きく変化し，高周波帯の揺れが増加すると述べられている．人間工学の分野では，人物が所持する手荷物の重さと，人物が履いている靴の違いにより，身体動揺が変化することが，文献 22) で報告されている．ただし，立ち止まる人物が所持する手荷物の重さを，自動で認識する手法
については，これらの文献では議論されていなかった．このため，本論文では，手荷物の軽重認識の手法を構築し，その精度を評価する．

3. 身体動揺の時系列画像から手荷物の重さを認識する手法
3.1

概要

片手で手荷物を所持し立ち止まる人物から，身体動揺を観測するために，深度カメラをどこに設置すればよいかについて考える．このためにまず，身体動揺の時間手掛りである形状の微小移動に着目し，その移動量の大きさについて考える．観測される移動量の大きさは，頭や足などの身体部位によって異なる．具体的には，床と接触している足に近づくほど移動量は小さくなり，頭に近づくほど移動量は大きくなる．本論文では，頭の移動量を安定に捉えるため，人物の頭上に設置された深度
カメラを採用する．このカメラの設置条件には，視野内に複数の人物が立つ場合において，相互遮蔽の影響を受けない副次的な利点もある．頭上に設置された深度カメラを用いることで，手荷物を持つ人物を撮影した場合の例を Fig. 1 に示す．画像中の主な面積を人物の頭が占めており，左右の肩の一部が見えていることが分かる．
深度カメラから観測された人物の頭を，計算機上でどのように表すかについて議論する．一般的に深度カメラからは，3 次元の点群を得ることができる．点群の深度値を用いることで，画像中の頭を簡単に見つけられる利点がある．ただし，頭の表面から得られた点群には，毛髪の影響により，深度値にノイズが含まれることが多い．身体動揺の移動量は非常に小さいため，点群をそのまま用いた場合，その移動量を安定に捉えることは難しいと考えられる．そこで本論文では，頭の形状を，32.2 カメラを用いた身体動揺の観測

次元の点群で表すのではなく，2 次元のシルエットで表すこと

近年，非接触センサであるカメラを用いて，人物の時系列画で，深度値のノイズの影響を抑えることを考える．各時刻の深像から身体動揺を観測する試みが行われている．文献 23) では，

度画像において，頭領域のみを指すシルエット画像を生成した

転倒防止のリスクアセスメントを目的とし，複数カメラを用い

例を Fig. 2 に示す．なお，シルエット画像の生成の詳細は3.2て身体の重心位置を推定し，その時間方向の微小移動を計測しで述べる．

ている．文献 24, 25) では，身体バランスの臨床調査を目的とし，頭領域のシルエット画像を対象とする場合，見かけの大きさ

深度カメラを用いて身体の関節位置を推定し，その時間方向

が，人物間で変化することを考慮しなければならない．先に示の微小移動を計測している．文献 26) では，ヒューマンインタした Fig. 2 では，身長の異なる 3 名の人物を撮影対象としていフェースに用いるアバタ映像の自動生成を目的とし，正面に取る．図中の左側に，身長が低い人物のシルエット画像を示し，り付けた RGB カメラから撮影された映像を用いて，揺れの中右側に，身長が高い人物のシルエット画像を示している．また心を推定している．これらの先行研究の成果からも分かるよう

図中の上側では軽い手荷物を持つ場合，下側では重い手荷物をに，立ち止まる人物から，身体動揺を，カメラを用いて非接触持つ場合を撮影条件としている．頭領域の見かけの大きさは，で観測することは可能であると言える．本論文では，カメラか

人物間の身長差による影響を大きく受けており，手荷物の重さ

ら身体動揺を観測した後の新たな応用の一つとして，手荷物のによる影響をほぼ受けないことが分かる．よって身長差の影響

重さを，身体動揺の時系列画像から認識する手法の開発に取りは，手荷物の軽重認識において有用ではないと考えられる．そ組む．

こで本論文では，頭領域の見かけの大きさについて，人物間のAcquisition of
depth image sequencesLight
baggage

Generation ofsilhouette images ofhead regions

Heavybaggage

Normalization of
apparent sizes ofhead regions
Person 1

Person 2

Person 3

Fig. 2 Examples of silhouette images of head regions generated from the depth
images. On the left is a silhouette image of a short person, and on theright is a silhouette image of a tall person.

Extraction of
temporal features

Prediction of weight class

Depth camera

Standing
personBaggageDepth
images

Beforenormalization

Afternormalization

Distance between
center positions

FeatureClassifier

𝑀% weight

Fig. 4 Overview of our method for baggage weight classiﬁcation.

Lightbaggage

応する 3 次元点について，人物領域または背景領域に属するかを判別する．背景である床面は，撮影中に動かないと仮定でHeavybaggage

きるため，3 次元点の深度値に対する固定閾値を設けることで除去する．次に，身長に基づく深度値の閾値を用いて，人物領
Person 1

Person 2

Person 3

Fig. 3 Examples of silhouette images with the normalization of the apparent
size of the head regions.

域の中から，頭領域の画素のみを判別する．人物毎に身長は異なるため，深度値の閾値を適応的に設定する必要がある．このため本論文では，人物領域における深度値ヒストグラムを用いる．頭上に深度カメラを設置した場合，頭はカメラに近くなり，肩はカメラから遠くなるため，深度値ヒストグラムは二つのピークを持つと想定される．観測された深度値ヒストグラム

身長差の影響を抑えるため，シルエット画像に対して頭領域のの例を Fig. 5 に示す．図中 (a) では身長が低い人物の深度値ヒ正規化を適用する．正規化が適用された頭領域のシルエット画

ストグラムの例を，図中 (b) では身長が高い人物の深度値ヒス像の例を Fig. 3 に示す．なお，正規化の詳細は3.3 で述べる．

トグラムの例を表す．人物の身長が異なると，深度値ヒストグ

正規化された頭領域のシルエット画像から，身体動揺の時間

ラムはそれぞれ異なることが分かる．各ヒストグラムに応じて手掛りを表す移動量を，どのように捉えるかについて議論す閾値を適応的に設定するため，本論文では大津の手法 27) を適る．ここでは，時系列の複数枚のシルエット画像が，同一人物用する．適応的に設定された閾値よりも，深度値が小さい画素から獲得されているとする．まず既存の特徴抽出 1) のように，の集合を頭領域とする．最終的に提案手法では，頭に対応するシルエット画像間で形状差分を求めることが考えられる．ただ画素値を 1，それ以外を 0 とするシルエット画像を生成する．

し，先に述べた見かけの大きさの正規化を適用したとしても，適応的に閾値を設定する利点について述べる．髪型の影響に頭領域のシルエット画像には，人物毎の輪郭形状の影響が含まより，身長が変化したとしても，閾値を安定に決めることがでれている．このため，シルエット画像間の形状差分を各時刻できる点が挙げられる．また，距離センサで発生する奥行方向の求めた場合，空間手掛りである形状の影響を抑えることはでき

ノイズに対して，閾値を頑健に決めることができる点が挙げらない．そこで本論文では，形状差分ではなく，頭領域の中心位

れる．

置の差分を用いることで，時間手掛りを表す特徴量を抽出する

3.3

ことを考える．各時刻で獲得された頭領域の中心位置と，全時頭領域の見かけの大きさの影響を抑止するため，シルエット

刻から平均化された頭領域の中心位置との間で距離を算出し，画像に対し空間方向の正規化を適用する．この正規化のためその距離の時系列変化を表す信号を周波数解析する．なお，特に，文献 28) で述べられている手法を用いる．以下，その手法

徴抽出の詳細は3.4 で述べる．

の流れを説明する．生成されたシルエット画像において，頭領

頭領域の見かけの大きさの正規化

身体動揺を用いて手荷物の軽重認識を行う提案手法の流れを域を囲むように，縦幅が H ′ ，横幅が W ′ の範囲を設定する．

Fig. 4 に示す．ここまでに述べた特徴抽出を行い，得られた特その際，各時刻において，頭領域が範囲外にはみ出さないよう徴量を識別器に入力し，手荷物の重さを認識する．識別処理にに，マージンを設ける．このマージンは，時系列に生成された

ついては3.5 で詳細を述べる．次節より，提案手法の具体的なシルエット画像の中で，頭領域の移動量の最大値を基に決定さ処理について説明していく．

れる．なお W ′ と H ′ は，それぞれの時系列シルエット画像で3.2 頭領域のシルエット画像の生成設定され，一つの時系列シルエット画像の中では固定の値とす獲得された深度画像から，頭領域のシルエット画像を生成す

る．設定された範囲を，縦幅が H ，横幅が W の画像へ変換する処理の詳細について述べる．まず，深度画像中の各画素に対る．正規化前のシルエット画像の画素位置を x′ で表し，正規

Histogram

Depth image

𝒎𝑡

Numberof pixels

Many

𝐵1

𝐵4

𝐵2

𝐵3

𝒎𝑟

Head region oftime 𝑡Few
Small(Near)

(a)

𝐵2

𝐵3

XOR
𝐵4

𝐵1

Histogram

Many

𝐵4

Head region ofreference time 𝑟

Large
(Far)

Depth value

𝐵1

Counting the numberof pixels 𝑑𝑖,𝑡for each block 𝐵𝑖

Depth image
𝐵2

𝐵3

Numberof pixels(𝑖 = 1, … , 𝐼)

Distance between head regions(a) LM feature

Few
Small
(Near)

𝒎𝑡

Large
(Far)

Depth value
(b)

𝒎𝑟

𝐵

Fig. 5 Examples of the histograms of the depth values in the whole body regions of people.

𝐵

Head region oftime 𝑡Head region ofreference time 𝑟
XOR

𝒙!

𝑊!

𝑊!

𝑊!
𝐻!

𝐻!

𝐵

Counting thenumber of pixels 𝑑𝑡
for the block 𝐵

𝐻!

Distance between head regions
𝒙

𝑊

𝑊

𝐻

𝐻

(b) ILM feature

𝑊

𝐻

𝒄𝑡

Fig. 6 Examples of the normalization of the apparent size of the head regionsin the silhouette images.

Center positon ofhead region of time 𝑡𝒄𝑎
Center position ofhead regions of all time

Subtraction
𝐵

化後のシルエット画像の画素位置を x で表すと，この画像変Computing the
distance 𝑑𝑡′

換は x = Sx′ となる．なお，S = diag(W /W ′ , H /H ′ ) とす
る．シルエット画像において，頭領域の見かけの大きさが正規化される例を Fig. 6 に示す．

Distance between center positions(c) CM feature

3.4 時間手掛りを捉えるための特徴抽出
手荷物の軽重認識で用いる時間手掛りを，時系列に獲得

Fig. 7 Computation of temporal changes from silhouette images using the existing methods and our method.

されたシルエット画像から，特徴量として抽出する処理の詳細を説明する．提案する特徴抽出を説明する前に，既存の特徴抽出 1) を先に説明する．この既存の特徴抽出では，Local movement (LM) 特徴量が算出される．LM 特徴量は，1.
でも述べたように，人物対応付けを目的とし，身体動揺を表す
空間手掛りと時間手掛りとの両方を捉える設計となっている．
空間手掛りを捉えるために，LM 特徴量では，頭領域を，放射状に I 個のブロック Bi (i = 1, . . . , I) に分割する．次に，時間
手掛りを捉えるために，各ブロックにおいて，式 (1) を用いて移動量を算出する．

di,t =∑

全時刻のシルエット画像と最も類似するシルエット画像が獲得された時刻とする．LM 特徴量における移動量の算出の概要をFig. 7(a) に示す．各時刻 t(t = 1, · · · , T ) において，移動量 di,tを算出し時系列信号を得る．最後に，移動量の時系列信号から Power spectral density (PSD) を求め LM 特徴量を抽出する．

PSD を Welch 法で求めるため，時系列信号を短時間セグメン
トにオーバーラップありで分割し，各セグメントで離散フーリ
エ変換を適用した後，それらの出力をセグメント間で平均す|mt (x) − mr (x)|

(1)

x∈Bi

る．これにより，各周波数の対数パワースペクトル密度を安定に推定できる効果がある．

ここで，x は各ブロック中の画素位置を表し，| | は絶対値を

既存の LM 特徴量では，人物対応付けを目的としているた

表す．mt (x) は，時刻 t のシルエット画像 mt における位置

め，シルエット画像をブロックに分割することで，人物間のx での画素値を表す．mr (x) は，参照時刻のシルエット画像
mr における位置 x での画素値を表す．なお参照時刻 r は，

形状差を空間手掛りとして捉えていた．ただし，手荷物の軽重認識において，空間手掛りである人物間の形状差は，精度低下を招く要因になると考えられる．そこで，既存の LM 特徴量に対して，軽重認識を目的とした改良を加えることを考える．ここでは，ブロック分割を適用せず，シルエット画像の全体を表すブロック B から移動量を算出する．この特徴量をImproved-LM (ILM) 特徴量と呼ぶ．ILM 特徴量では，身体動揺から観測される移動量を，式 (2) を用いて算出する．

∑

dt =

|mt (x) − mr (x)|

(a)

(2)

(b)

(c)

Fig. 8 Baggage (attache case) carried by the participants in our experiments.

x∈B
ILM 特徴量における移動量の算出の概要を Fig. 7(b) に示す．
各時刻 t において移動量 dt を算出し，時系列信号を得る．最後に，移動量の時系列信号から PSD を求めることで ILM 特徴
量を抽出する．

Person1

ここまでに述べた ILM 特徴量では，移動量を算出する際，シルエット画像間における画素値の差分を用いていた．シルエット画像には，3.1 で述べたように頭領域の輪郭形状が残るため，ILM 特徴量は，空間手掛りである形状の影響をなお受けていると考えられる．そこで本論文では，頭領域そのものでPerson2

はなく，頭領域の中心位置を用いることで，空間手掛りの影響をさらに抑えることを狙う．この中心位置を用いる特徴量をCenter movement (CM) 特徴量と呼ぶ．CM 特徴量では，身体動揺から観測される移動量を，式 (3) を用いて算出する．
d′t = ∥ct − ca ∥2(3)Weight

𝑀"

𝑀#$

𝑀#"

𝑀%$

𝑀%"

5%

10%

15%

20%

25%

Fig. 9 Examples of the participants carrying an attache case when changing theweight class of baggage.

ここで，∥ ∥2 は L2 ノルムを表す．ct は，各時刻 t においてmt (x) = 1 を満たす全ての画素位置 x ∈ B から求めた平均位
置を表す．ca は，全時刻において mt (x) = 1 を満たす全てのx ∈ B から求めた平均位置を表す．CM 特徴量における移動量の算出の概要を Fig. 7(c) に示す．各時刻 t において移動量 d′tを算出することで，時系列信号を得る．最後に，移動量の時系
列信号から PSD を求めることで CM 特徴量を抽出する．

3.5 識別処理
本論文では，ここまでに述べた特徴量を，識別器の入力とすることで，軽重認識を行う．手荷物の重さクラスを設定し，その分類問題として解くことを考える．以下では，手荷物の重さの軽重認識に用いる重さクラスとして，3.5 で述べたパラメー
タ M を変化させた以下の 5 個を設定した．

• M5 ：各人物の体重 5% の重さ• M10 ：各人物の体重 10% の重さ• M15 ：各人物の体重 15% の重さ• M20 ：各人物の体重 20% の重さ• M25 ：各人物の体重 25% の重さ
重さクラス M10 では，例えば体重 66 kg の人物は 6.6 kg の手を，どのようにクラスとして設定するかについて述べる．単純荷物を所持し，体重 54 kg の人物は 5.4 kg の手荷物を所持しに考えた場合，計量された重さの値そのものを離散化するこた．なお，体重 30% の重さとした場合，一部の人物は手荷物とで，重さクラスを設定することが考えられる．ただし，人物を所持し続けることができなかった．

間で筋肉量が異なるため，所持できる限界の手荷物の重さが本論文では，手荷物として，Fig. 8(a) のアタッシュケースを異なる．よって本論文では，人物の体重に対する手荷物の重さ準備した．そのケースの中に物体を入れ，手荷物の重さを調整の割合を指標として，重さクラスを設定する．この体重に対すした．具体的には，大磯砂利を袋詰めにした物体で調整した．

る割合を用いる指標は，厚生労働省通達 29) や，理学療法の分アタッシュケースに重りを詰めた例を Fig. 8(b) に示す．重りで用いられている．手荷物を所持していなが内部で移動しないよう，ケース中を緩衝材で固定した．ケー

い時の体重を計測し，その M % の重量を，手荷物の重さとす

スに入れる物体の重さを調整する様子を Fig. 8(c) に示す．重る．離散的に M を設定することで，手荷物の重さクラスを設さを調整した手荷物を人物が片手で持った場合の例を Fig. 9 に定する．なお分類問題を解くために様々な識別器が存在して示す．手荷物の重さクラスが変わったとしても，同じ人物であ野の分析研究22, 30)いるが，本論文では，線形 Support vector machine (SVM)

31)

，

32)

Random forests (RF) ，および，Gradient boosted decision trees(GBDT) 33) を用いる．提案する CM 特徴量と，相性のよい識

れば見え方が変わらないことが分かる．
実験協力者は 15 名 (男性 15 名，平均身長 168.4 ± 3.7 cm，平均体重 60.6 ± 6.7 kg，平均年齢 22.6 ± 1.5 歳) とした．な提案手法の有効性を確認するため，片手で手荷物を所持し立

お体重を計測するために，撮影直前に体重計 (タニタ体組成計
BC-314) を用いて測定した．実験協力者が所持した手荷物の重さの平均を Table 1 に示す．実験協力者が立つ位置と深度カメラの設置位置との関係を Fig. 10 に示す．深度カメラとしてMicrosoft 社の Kinect v2 を用いた．カメラ光軸が床面と垂直とち止まる人物について，時系列の深度画像を撮影した．手荷物なるようにキャリブレーションを行った．深度画像のサイズを別器を実験的に定める．

4. 実験
4.1 評価データセット

M5

5%

3.0 ± 0.3 kg

M10

10%

6.1 ± 0.7 kg

M15

15%

9.1 ± 1.0 kg

M20

20%

12.1 ± 1.3 kg

M25

25%

15.2 ± 1.7 kg

DepthcameraDepth images**：p<.01

**
**

20

LM feature

ILM feature

CM feature

(a)

Timer
Participant
1.6 m

Baggage****：p<.01

**

2.8 m

Fig. 10 Experimental setting of the depth camera and the participant.

512×424 画素とし，サンプリング周波数を 30 Hz とした．カメラから床面までの距離を 2.4 m とした．撮影する前に，床面のマーカに土踏まずを合わせるよう実験協力者へ指示した．ま20
SVMた，手荷物を右手で持つように指示した．その際，手荷物が脚に密着しないこととした．各人物について，時系列の深度画像を撮影する際の時間長を 160 秒とした．撮影開始から終了まで，直立姿勢 (ロンベルク肢位) を維持することとし，正面に**50

Accuracy (%)

2.4 m

**

50

Accuracy (%)

Table 1 Average weight of baggage carried by the participants.
Weight class label
Percentage of body weight
Baggage weight

RF

GBDT

(b)
Fig. 11 Accuracy of baggage weight classiﬁcation. In (a), we evaluated the accuracy when using the LM, ILM, and CM features. In (b), we evaluatedit when using the SVM, RF, and GBDT classiﬁers.

設置された時計を見ることとした．時計の配置位置は，実験協力者から 2.8 m 先とした．時計の下端が，床から 1.6 m の高さとなるよう設置した．時計は丸形で，その直径は 33 cm であった．手荷物を所持した時の疲労の影響を少なくするため，軽4.2.2 実験結果

い手荷物から順番に撮影を行った．各重さクラス M5 ，M10 ，

手荷物の軽重認識についての実験結果を述べる．認識精度

M15 ，M20 ，M25 において，各実験協力者の時系列画像を 1 回撮影した．時系列の深度画像の合計個数を 15 × 5 = 75 個との評価指標として，重さクラスが正しく出力されたかどうした．

かを表す 1 位正解率を用いた．精度を求める際，Leave-one-

4.2 提案手法における CM 特徴量の効果の確認

participant-out を適用した．具体的には，実験協力者 1 名から獲得した頭領域の時系列シルエット画像をテストに用い，他 14

4.2.1 実験条件

名の時系列シルエット画像を識別器の訓練に用いた．この訓練

本論文にて新しく提案した CM 特徴量が，軽重認識においてとテストとを，実験協力者の人数分だけ繰り返した．

有効であるかどうかを評価した．比較する特徴量として3.4 でFig. 11(a) にて，LM 特徴量，ILM 特徴量，または，CM 特

述べた LM 特徴量，ILM 特徴量，および，CM 特徴量を用い

徴量と，識別器とを組み合わせた時の認識精度を示す．図中のた．特徴量の有効性は，どの識別器を用いるかで変わると考え棒グラフでは，特徴量を固定し，識別器とそのパラメータとのられるため，特徴量と識別器との組み合わせを変えた場合の認

全組み合わせで試行した時の平均精度を用いた．また，棒グラ

識精度を比較した．識別器として3.5 で述べた SVM，RF，おフに付属するバーは標準偏差を表す．LM 特徴量を用いた場合

よび，GBDT を用いた．なお，頭領域の見かけの大きさの正規は 30.7 ± 8.0%，ILM 特徴量を用いた場合は 39.1 ± 5.1%，CM化の効果については4.3 で評価し，シルエット画像として頭領

特徴量を用いた場合は 42.2 ± 6.3% であった．認識精度の間に域を用いた場合の効果については4.4 で評価する．

有意差があるかどうかを確認するため，ウィルコクソンの符号精度評価にあたり，設定した特徴抽出のパラメータを列挙

付順位和検定，および，ボンフェローニ補正を適用した．有意する．3.3 で述べた見かけの大きさの正規化において，縦幅を水準は p < 0.01 とした．その結果，LM 特徴量と ILM 特徴量

H = 100 画素，横幅を W = 100 画素とした．LM 特徴量に用いるブロック分割数は，文献 1) で述べられていた 25 を用いた．
次に，識別器のパラメータを列挙する．線形 SVM では正則化項の係数を 0.1, 1.0 または 10.0 とし，RF では森を構成する決定木の数を 100, 200 または 300 とし，GBDT では弱識別器の木の数を 100, 200 または 300 とした．特に RF と GBDT はラとの間で，LM 特徴量と CM 特徴量との間で，および，ILM 特

ンダムサンプリングによる木の選び方の影響が大きいため，同

次に，Fig. 11(b) にて，識別器として SVM，RF，または，GBDT と，各特徴量とを組合わせた時の認識精度を示す．こじパラメータでの試行回数を 10 回とした．

徴量と CM 特徴量との間で，精度に有意差が見られた．提案した CM 特徴量は，既存の LM 特徴量，および，その改良である

ILM 特徴量と比べて，認識精度が高いと言える．以上より，空間手掛りを抑止し，時間手掛りを捉えるよう設計された CM 特
徴量は，軽重認識の精度を高める効果があることが分かった．

4

80

𝑀!

0

PSD (log scale)

Accuracy (%)

𝑀"#

𝑀!
Weight 5%

𝑀"#

𝑀"!

𝑀$#

-10

𝑀$!

Weight 10% Weight 15% Weight 20% Weight 25%

Weight class

𝑀"!
𝑀$#
𝑀$!

DC

2

Frequency (Hz)15

Fig. 13 CM features averaged between the participants for each weight class.

Fig. 12 Accuracy of each weight class of baggage. We used our method thatincorporates the CM feature into the GBDT.

の組み合わせを全通りで試行した時の平均精度と標準偏差を用いた．SVM を用いた場合は 28.9 ± 6.4%，RF を用いた場合は40.2 ± 3.8%，GBDT を用いた場合は 42.9 ± 5.9% であった．

True weight classの棒グラフでは，識別器を固定し，そのパラメータと特徴量とTable 2 Confusion matrix of baggage weight classiﬁcation among M5 , M10 ,M15 , M20 , and M25 weight classes.
Predict weight class
M5
M10
M15
M20
M25
M5
11
1
2
1
0
M10
4
6
2
2
1
M15
3
3
5
2
2
M20
2
2
1
7
3
M25
1
0
0
4
10

認識精度の間に有意差があるかどうかを確認するため，ウィル
コクソンの符号付順位和検定，および，ボンフェローニ補正を適用した．その結果，SVM と RF との間，SVM と GBDT との見かけの大きさの正規化の効果

間，および，RF と GBDT との間に有意差が見られた．この検4.3

定結果より，手荷物の軽重認識において，GBDT が，SVM とシルエット画像中の頭領域の見かけの大きさについて，3.3

RF と比べて，認識精度が安定になることが分かった．
ここまでに述べた評価結果より，提案した CM 特徴量とGBDT とを組わせた手法が，手荷物の軽重認識の精度を高めると言える．実際に GBDT の木の数を 300 とした時，CM 特徴
量と組み合わせた認識手法の精度が 49.2 ± 2.1% と最も高かっで述べた正規化を適用することの効果について評価した．提た．さらに評価を進めるため，手荷物の重さクラス毎の認識精

ま，画像変換を行うことが挙げられる．この実験では．頭領域度を評価した結果を Fig. 12 に示す．重さクラス M5 と M25 のの縦幅のみを揃えるために S = diag(H /H ′ , H /H ′ ) を用いて認識精度は，他の重さクラスの精度と比較すると，高いことが画像変換を行う場合，および，頭領域の横幅のみを揃えるため分かった．一方で，M10 ，M15 ，M20 の認識精度は低いことがに S = diag(W /W ′ , W /W ′ ) を用いて画像変換を行う場合に分かった．中でも M15 の精度は，チャンスレートの 20% の精

ついて評価した．さらに，正規化を適用しない場合についても度を上回っているものの，認識精度が大きく低下していた．

評価した．認識手法として，CM 特徴量と GBDT とを組み合それぞれの重さクラスにおいて，CM 特徴量を人物間で平均案した特徴抽出における正規化では，頭領域の縦幅と横幅とを，一定の大きさ W = 100, H = 100 画素となるように，

S = diag(W /W ′ , H /H ′ ) を用いて画像変換を行っていた．他の処理として，正規化前の頭領域のアスペクト比を固定したま

わせたものを用いた．その他の実験条件は4.2.2 と同じとした．

した結果を Fig. 13 に示す．PSD の値は，2 Hz を中心とした帯

シルエット画像における頭領域の見かけの大きさについ

域において，M5 から M25 になるにつれ大きくなることが分て，正規化の処理を変更した場合の認識精度を以下に示す．

かる．ただしこの結果は，人物間で特徴量を平均したものであ

提案手法の正規化である縦幅と横幅との両方を揃える場合

り，実際には個人間で特徴量のばらつきが大きかった．個人間は 49.2 ± 2.1% であった．一方，縦幅のみを揃える場合はのばらつきは，手荷物の軽重認識において，クラス内変動とな

39.2 ± 2.2% であり，横幅のみを揃える場合は 39.5 ± 1.5% であった．なお，正規化を適用しない場合は 37.7 ± 1.2% であっるため，誤認識を引き起こす原因になると考えられる．次に，CM 特徴量と GBDT とを用いた認識手法において，精度が最も高かった時の混合行列を Table 2 に示す．正解が M5 の時，
誤認識は他クラスで僅かに発生した．正解が M10 の時，誤認
識は M5 で多く発生した．正解が M15 の時，および，正解がM20 の時，誤認識はどの重さクラスでも似た割合で発生した．
正解が M25 の時，誤認識は M20 に集まった．これらの結果より，重さクラス M10 や M15 や M20 の CM 特徴量は，他の重た．提案手法で用いた正規化は，他の処理と比較して，高い認さクラスの特徴量と類似することが多いと考えられる．提案し揃える正規化により，人物間の形状差を抑える効果が生じて，た CM 特徴量の限界であるため，中間の重さクラスでも安定に認識精度が向上したと考えられる．以上より，CM 特徴量を用認識できる特徴量の開発が今後は必要である．

いた手荷物の軽重認識において，縦幅と横幅とを揃える正規化

識精度を得ることができた．頭領域の縦幅と横幅の両方を一定に揃える正規化により，精度が高まる理由を考察する．3.1 で述べたように，手荷物の軽重認識において，人物間の形状差は，手掛かりとして有用である可能性は低いと考えられる．このため，軽重認識の特徴量を抽出する際，人物間の頭の形状差を極力抑えた方がよいと本論文では想定した．縦幅と横幅を一定にたり 160 秒の時系列シルエット画像から，10 秒間の短映像をランダムに生成した．各重さクラスにつき生成された 4200 個の短映像を訓練サンプルとした．なお，各時刻のシルエット画
Head region

Shoulder region

Whole body region

Fig. 14 Examples of the head region, shoulder region, and whole body region.

像のサイズを 100 × 100 画素とした．Table 3 で示したように，

C3D を用いた場合の認識精度は 27.7±2.5% であった．これらの結果より，提案手法の認識精度は，深層学習を用いる LSTM，GRU，および，C3D の精度と比較して，高いことが分かった．
次に，時系列画像から特徴量を抽出し，識別器と組合わせを用いることは効果があると考えられる．

4.4 頭領域のシルエット画像の効果ることで，手荷物の軽重認識を行う手法を設計した．具体的には，特徴量として，Spatio-temporal histogram of oriented

頭上に設置されたカメラから獲得される深度画像の中には，頭gradients (STHOG) 12) ，Gait energy image (GEI) 13) ，および，Dynamic image (DI) 14) を用いた．特徴量を算出する際，ここまでの実験条件と同様に，1 人あたり 160 秒間の時系列シル

以外の身体部位も観測される．そこで，他の身体部位を指す領

エット画像を用いた．各時刻のシルエット画像のサイズを域を用いた場合の認識精度を評価した．具体的には，深度画像

100 × 100 画素とした．識別器として，4.2.2 で述べた GBDT

提案した特徴抽出では頭領域のシルエット画像を用いたが，中の人物について，肩のみを指す領域，または，全身を指す領を用いた．以下で，それぞれの特徴量のパラメータについて域を用いて，時系列のシルエット画像を生成した．生成された

詳細を述べる．STHOG では，セルサイズを 25(画素)×25(画シルエット画像の例を Fig. 14 に示す．なお，肩領域と全身領素)×300(フレーム)，ブロックサイズを 2(セル)×2(セル)×2(セ域とでは，横幅が縦幅と比べて大きくなるため，シルエット画

ル)，ウィンドウサイズを 2(ブロック)×2(ブロック)×8(ブロッ像のアスペクト比を図中のように横長とした．各領域においク)(100(画素)×100(画素)×4800(フレーム)) とし，特徴量を抽て，時系列のシルエット画像から CM 特徴量を算出し GBDT出した．なおパラメータ記述の仕様は文献 34, 35) に従った．

を適用することで，軽重認識の精度を算出した．その他の実験

GEI では，160 秒間の時系列シルエット画像において，各画
素で時間方向に画素値を平均し 1 枚の平均画像を求めること
で，特徴量を抽出した．DI では，160 秒間の時系列シルエット
画像に対して，Rank SVM 36) を適用することで，特徴量を抽条件は4.2.2 と同じとした．
頭領域，肩領域，または，全身領域のシルエット画像を用いた場合の認識精度を以下に示す．頭領域を用いた場合は49.2 ± 2.1% であった．肩領域を用いた場合は 32.0 ± 6.5% であった．また，全身領域を用いた場合は 31.6 ± 1.5% であっ出した．各特徴量を用いて得られた認識精度を以下で述べる．

よび肩領域から特徴抽出を行った場合と比較して，認識精度がTable 3 で示したように，STHOG の場合は 37.6±3.1% であり，
GEI の場合は 24.7±2.8% であり，DI の場合は 27.6±5.2% であった．これらの結果より，提案した CM 特徴量と識別器とを高かった．以上の結果より，手荷物の軽重認識において，頭領

組合わせる手法の認識精度は，時系列画像から抽出された特徴

域を用いることは有効であると考えられる．

量と識別器とを組合わせる手法の認識精度と比較して，高いこた．頭領域のみを用いて特徴抽出を行った場合は，全身領域お4.5

深層学習を用いた手法，および，いくつかの既存の特徴抽出と識別器とを組合わせた手法との比較とが分かった．
上記で述べた STHOG，GEI，および，DI は，時間手掛り

深層学習を用いた手法，および，文献 1) 以外の既存の特徴抽のみでなく，空間手掛りも合わせて捉える特徴抽出の設計に

出と識別器とを組合わせた手法について，手荷物の軽重認識のなっている．ここでは比較のため，STHOG について，空間手精度を評価した．その結果を Table 3 に示す．表中では，提案掛かりを抑え時間手掛りを捉える設計に変更し，手荷物の軽した CM 特徴量と GBDT とを組合わせた手法を Ours とする．

重認識の精度を算出した．具体的には，STHOG のパラメー比較した各手法について，詳細を以下で述べる．
まず，時系列信号を扱う深層学習を用いることで，手荷物のタを，セルサイズを 100(画素)×100(画素)×300(フレーム)，ブ
ロックサイズを 1(セル)×1(セル)×2(セル)，ウィンドウサイズ

軽重認識を行う手法を設計した．具体的には，Long short-term

を 1(ブロック)×1(ブロック)×8(ブロック)(100(画素)×100(画memory (LSTM) 9) および Gated recurrent unit (GRU) 10) を用いた．まず，3.4 で述べた各時刻における中心位置の移動量 d′t
を，1 人あたり 160 秒間で時系列に並べた信号を準備した．この時系列信号から，10 秒間の短信号をランダムに生成した．各
重さクラスにつき生成された 4200 個の短信号を訓練サンプルとした．訓練時には，隠れ状態の次元数を 128 とした．損失項素)×4800(フレーム)) とすることで，特徴量を抽出した．この特徴量を THOG と呼ぶことにした．Table 3 で示したように，THOG を用いた場合の認識精度は 18.9±3.0% であった．

STHOG 特徴量について時間手掛りのみを捉える設計に変えたとしても，提案した CM 特徴量は高い精度を得ていた．
シルエット画像のサイズの影響について調査した．ここでとして多クラス交差エントロピー，最適化アルゴリズムとしては，Table 3 において，提案手法以外で最も精度が高かった比較

RSMProp を用いた．Table 3 で示したように，LSTM を用いた場合の認識精度は 22.5±1.8% であり，GRU を用いた場合の認識精度は 18.0±2.5% であった．次に，時系列画像を扱う深層手法である STHOG を対象とした．各時刻のシルエット画像の学習を用いることで，手荷物の軽重認識を行う手法を設計しル)，ウィンドウサイズを 2(ブロック)×2(ブロック)×8(ブロッ

た．具体的には，三次元畳み込み層を用いる C3D 11) を用いた．

ク)(200(画素)×200(画素)×4800(フレーム)) とし，特徴量を抽ネットワーク構造として，三次元畳み込み層 4 個と三次元プー出した．その結果，認識精度は 31.9 ± 2.9% となり，サイズをリング層 4 個を用いた．損失項として多クラス交差エントロ

100 × 100 画素とした時の精度から 5.7 ポイント低下した．

ピー，最適化アルゴリズムとして RSMProp を用いた．一人あ

サイズを 200×200 画素とした．セルサイズを 50(画素)×50(画素)×300(フレーム)，ブロックサイズを 2(セル)×2(セル)×2(セ以上の結果より，深層学習を用いた手法，および，いくつか

Table 3 We compared the accuracy of baggage weight classiﬁcation between
methods using deep learning techniques or several combinations of theexisting feature extraction and the classiﬁer.
MethodAccuracy
Ours

49.2±2.1%

LSTM

22.5±1.8%GRU

18.0±2.5%

C3D

27.7±2.5%

STHOG

37.6±3.1%

GEI

24.7±2.8%DI27.6±5.2%

THOG

18.9±3.0%

Display 1

Display 2

Training
sampleObserverTraining
sampleWeight class

Weight class(a) Training

Display 1

Display 2

Display 3の既存の特徴抽出と識別器とを組合わせる手法と比較して，提案する特徴抽出と識別器とを組合わせる手法は，手荷物の軽重
認識の精度を高めることを確認した．

Observer4.6 人が判定した時の精度
Test sample

提案手法で得られた認識精度の妥当性を確認するため，手荷物の重さを，人が目視で判定した時の精度を評価した．以下で(b) Test

は目視で判定する人を観察者と呼び，15 名 (男性 13 名，女性 2

Fig. 15 Setup of the visual inspection of baggage weight classiﬁcation by theobservers.

名，平均年齢 22.0 ± 1.0 歳) の観察者が実験に参加した．観察者に提示する刺激として，4.1 で述べた深度カメラ (Kinect v2)で同時撮影された 15 名の実験協力者のカラー動画を用いた．
識別器と観察者との間で学習条件を可能な限り合わせるため，

GBDT とを組み合わせた認識手法の精度である 49.2 ± 2.1% と14 名の実験協力者の動画を，訓練サンプルとした．訓練サン
プルと異なる 1 名の実験協力者の動画を，テストサンプルとし比べると，低いと言える．以上の結果より，提案手法の精度は，た．訓練サンプルとテストサンプルに含まれる実験協力者を，られる．

人が判定した時の精度を超えており，妥当な結果であると考え観察者ごとでランダムに変更した．観察者の学習時とテスト時

4.7の実験風景を Fig. 15 に示す．学習時には，観察者の手前に設

手荷物の重さについて，体重の相対的な値でなく，重さの値

手荷物の重さの値そのものをクラスとする場合置された 2 枚のディスプレイを利用し，テスト時には 3 枚のそのものをクラスとして認識する場合を評価した．4.1 で述べディスプレイを利用した．ディスプレイを BenQ 社の 24 イン

たアタッシュケースの中に入れる物体の重さを調整すること

チ (型番 EW2430V) とした．以下で，観察者の学習とテストので，1.7 kg と 4.7 kg と 8.7 kg と 11.7 kg の手荷物をそれぞれ

詳細を述べる．

準備した．実験協力者は 23 名 (男性 22 名，女性 1 名，平均身

学習時には，訓練サンプルの動画を，重さクラスの正解ラベル付きで観察者に提示した．一つの重さクラスに属する 14 名

長 169.0±6.2 cm，平均年齢 22.5±2.2 歳，平均体重 60.1±10.1kg) とした．各実験協力者について，各重さの手荷物を所持しの実験協力者の訓練サンプルを，1 台目のディスプレイで一覧た場合の時系列深度画像を撮影した．手荷物を持つ腕の疲労を表示した．他の重さクラスの訓練サンプルと見比べることがで少なくするため，まず 1.7 kg の手荷物を所持した場合を撮影きるように，2 台目のディスプレイを用いた．学習のための観し，順に 4.7 kg，8.7 kg，11.7 kg の手荷物を所持した場合を撮察者の持ち時間を最大 800 秒とし，その時間内であれば，観察影した．撮影と撮影の間に 1 時間の休憩を設けた．ある重さの者はどの重さクラスの訓練サンプルを見てもよいとした．観察

時系列深度画像を撮影する際の時間長を 160 秒とし，撮影環境

者は持ち時間の終了を待たずともよいとしたが，200 秒以上のを Fig. 10 とした．識別器として GBDT を用いた．以下では，学習を必ず行うこととした．
テスト時には，ある重さクラスのテストサンプルの動画を提LM 特徴量，ILM 特徴量，CM 特徴量を用いた場合の認識精度を比較した．

示した．この際，学習時とは別のディスプレイを用いた．観察

手荷物の重さの値そのものをクラスとする場合の認識精度

者は，テストサンプルを見た後，どの重さクラスと判定したかは，LM 特徴量で 37.7±1.8%，ILM 特徴量で 40.7±1.5%，CMについて，口頭で回答した．それぞれの重さクラスのテスト

特徴量で 47.2±1.2% であった．4.2.2 の結果と同様に，CM 特

サンプルを表示する順番はランダムとした．1 名の観察者につ徴量が，他の特徴量と比べて，高い精度を得ることができた．

き，全部で 5 個のテストサンプルを用いた．1 個のテストサン

また，チャンスレートである 25% よりも，高い精度を得るこ

プルにつき，回答までの観察者の持ち時間を最大 160 秒としとができた．以上の結果より，提案手法は，手荷物の重さの値た．テストサンプルを 40 秒以上見た後に回答するよう指示しそのものをクラスとする場合にも，適用できる可能性があるとた．なおテスト時には，3 台のディスプレイを用いて，学習時言える．

の訓練サンプルとテストサンプルとを見比べてもよいとした．
観察者が動画を目視することで，重さクラスを判定した時の5. まとめ

精度は 32.0±25.1% であった．これは，チャンスレートの 20%

本論文では，片手で手荷物を所持し立ち止まる人物を対象とより高い精度と言える．ただし，4.2.2 で述べた CM 特徴量とし，身体動揺の時系列深度画像を用いて，その手荷物の重さク

ラスを認識する手法について述べた．頭上に設置されたカメラで撮影された深度画像を用いることで，微小移動する頭領域の時系列シルエット画像を生成した．身体動揺を表す時間手掛かりを捉える特徴抽出を行うため，頭領域の見かけの大きさを正規化し，その領域の中心位置の時系列信号を求め，周波数解析を適用した．実験結果より，提案した CM 特徴量を用いる認
識手法は，空間手掛りと時間手掛りの両方を捉える既存の LM
特徴量を用いる認識手法と比べて，手荷物の軽重認識の精度が向上すること確認した．また，深層学習を用いた手法 (LSTM,

GRU, C3D)，および，その他の特徴抽出 (STHOG, GEI, DI) と識別器とを組合わせる手法と比べても，軽重認識の精度を高めることを確認した．
人物の立ち位置が，カメラの真下からずれた場合について考察する．我々の先行研究 37) において，立ち位置が真下から前後左右のいずれかに 15 cm 移動すると，人物対応付けの精度が 97.1% から 85.6% へ低下することが分かっている．本論文の目的である手荷物の軽重認識においても，同様の精度低下が発生すると想定される．この原因として，カメラと人物との間で，相対的な位置関係が変わると，頭領域のシルエットが変形することが挙げられる．今後の課題として，人物の立ち位置変化に頑健な特徴量の開発が必要である．
さらなる今後の課題として，手荷物の種類が変わった場合
や，その持ち方が変わった場合の影響調査が挙げられる．また，提案した特徴抽出の限界であった重さクラスに対する精度向上の技術開発が必要である．さらに，個人の筋力差による身体動揺への影響の調査や，高齢者など様々な年代の実験協力者
を含むデータセットでの評価が必要である．
参
1)

考

文

献

T. Kamitani, H. Yoshimura, M. Nishiyama, and Y. Iwai. Temporal andspatial analysis of local body sway movements for the identiﬁcationof people. IEICE Transactions on Information and Systems, Vol. 102,
No. 1, pp. 165–174, 2019.
2) Y. Lu, A. Kumar, S. Zhai, Y. Cheng, T. Javidi, and R. Feris. Fullyadaptive feature sharing in multi-task networks with applications inperson attribute classiﬁcation. In Proceedings of IEEE Conference on
Computer Vision and Pattern Recognition, pp. 1131–1140, 2017.
3) M. S. Nixon, P. L. Correia, K. Nasrollahi, T. B. Moeslund, A. Hadid,and M. Tistarelli. On soft biometrics. Pattern Recognition Letters,Vol. 68, pp. 218 – 230, 2015.
4) Y. Zhu, Y. Li, G. Mu, and G. Guo. A study on apparent age estimation.
In Proceedings of the IEEE International Conference on Computer
Vision Workshops, pp. 25–31, 2015.
5) D. Damen and D. Hogg. Detecting carried objects in short video sequences. In Proceedings of European Conference on Computer Vision,
pp. 154–167, 2008.
6) T. Senst, A. Kuhn, H. Theisel, and T. Sikora. Detecting people carrying objects utilizing lagrangian dynamics. In Proceedings of International Conference on Advanced Video and Signal-Based Surveillance,
pp. 398–403, 2012.
7) M. G. Wittman, J. M. Ward, and P. J. Flynn. Visual analysis of the effects of load carriage on gait. In Proceedings of Biometric Technology
for Human Identiﬁcation II, pp. 15–22, 2005.
8) A. Bottaro, M. Casadio, P. G. Morasso, and V. Sanguineti. Body sway
during quiet standing: Is it the residual chattering of an intermittent
stabilization process? Human Movement Science, Vol. 24, No. 4, pp.
588 – 615, 2005.
9) S. Hochreiter and J. Schmidhuber. Long short-term memory. NeuralComputation, Vol. 9, No. 8, pp. 1735–1780, 1997.
10) J. Chung, C. Gülçehre, K. Cho, and Y. Bengio. Empirical evaluationof gated recurrent neural networks on sequence modeling. CoRR, Vol.
abs/1412.3555, pp. 1–9, 2014.
11) D. Tran, L. Bourdev, R. Fergus, L. Torresani, and M. Paluri. Learning
spatiotemporal features with 3d convolutional networks. In Proceedings of the IEEE International Conference on Computer Vision, pp.

4489–4497, 2015.
12) C. Hua, Y. Makihara, and Y. Yagi. Pedestrian detection by using aspatio-temporal histogram of oriented gradients. IEICE Transactions
on Information and Systems, Vol. 96, No. 6, pp. 1376–1386, 2013.
13) J. Han and B. Bhanu. Individual recognition using gait energy image. IEEE Transactions on Pattern Analysis and Machine Intelligence,Vol. 28, No. 2, pp. 316–322, 2006.
14) B. Fernando, E. Gavves, J. Oramas, A. Ghodrati, and T. Tuytelaars.
Rank pooling for action recognition. IEEE Transactions on PatternAnalysis and Machine Intelligence, Vol. 39, No. 4, pp. 773–787, 2016.
15) Y. Yamaguchi, T. Kamitani, M. Nishiyama, Y. Iwai, and D. Kushida.
Extracting features of body sway for baggage weight classiﬁcation. In
Proceedings of the IEEE 9th Global Conference on Consumer Electronics, pp. 345–348, 2020.
16) M. Lee, M. Roan, B. Smith, and T. E. Lockhart. Gait analysis toclassify external load conditions using linear discriminant analysis.
Human movement science, Vol. 28, No. 2, pp. 226–235, 2009.
17) B. Smith, M. Roan, and M. Lee. The effect of evenly distributed load
carrying on lower body gait dynamics for normal weight and overweight subjects. Gait & posture, Vol. 32, No. 2, pp. 176–180, 2010.
18) E. J. Hyung, H. O. Lee, and Y. J. Kwono. Inﬂuence of load and carrying method on gait, speciﬁcally pelvic movement. Journal of Physical
Therapy Science, Vol. 28, No. 7, pp. 2059––2062, 2016.
19) E. Orantes-Gonzalez, J. Heredia-Jimenez, and V. M. Soto-Hermoso.
The effect of school trolley load on spatiotemporal gait parameters ofchildren. Gait & posture, Vol. 42, No. 3, pp. 390–393, 2015.
20) R. Hardie, R. Haskew, J. Harris, and G. Hughes. The effects of bagstyle on muscle activity of the trapezius, erector spinae and latissimus
dorsi during walking in female university students. Journal of humankinetics, Vol. 45, No. 1, pp. 39–47, 2015.
21) 内山応信, 出村愼一, 山次俊介, 山田孝禎, 池本幸雄, 宮口和義. 直立姿
勢制御に及ぼす荷物保持の影響. 日本体育学会大会号, p. 430, 2004.
22) 佐藤健, 中島みづき, 村野良太, 加藤麻樹. 荷物保持の形態・重量による姿勢動揺への影響. 人間工学, Vol. 56, pp. 2G3–01, 2020.
23) F. Wang, M. Skubic, C. Abbott, and J. M. Keller. Body sway measurement for fall risk assessment using inexpensive webcams. In Proceedings of Annual International Conference of the IEEE Engineering in
Medicine and Biology, pp. 2225–2229, 2010.
24) L. F. Yeung, K. C. Cheng, C. H. Fong, W. C. Lee, and K. Y. Tong.
Evaluation of the microsoft kinect as a clinical assessment tool of bodysway. Gait & posture, Vol. 40, No. 4, pp. 532–538, 2014.
25) Z. Lv, V. Penades, S. Blasco, J. Chirivella, and P. Gagliardo. Evaluation of kinect2 based balance measurement. Neurocomputing, Vol.
208, pp. 290–298, 2016.
26) M. Nishiyama, T. Miyauchi, H. Yoshimura, and Y. Iwai. Synthesizing
realistic image-based avatars by body sway analysis. In Proceedingsof the Fourth International Conference on Human Agent Interaction,
pp. 155–162, 2016.
27) N. Otsu. A threshold selection method from gray-level histograms.
IEEE transactions on systems, man, and cybernetics, Vol. 9, No. 1,
pp. 62–66, 1979.
28) T. Kamitani, Y. Yamaguchi, S. Nakatani, M. Nishiyama, and Y. Iwai.
Gender classiﬁcation using video sequences of body sway recordedby overhead camera. In Proceedings of 25th International Conference
on Pattern Recognition, pp. 9196–9202, 2021.
29) 厚生労働省. 職場における腰痛予防対策指針. 厚生労働省通達基発第 547 号, 1994.
30) 松野悟之, 明見匡人, 大道柊人, 鈴木みのり, 浜岡克伺, 国宗翔. 荷物
所持方法の相違が足圧中心および上半身重心の動揺に与える影響.
理学療法科学, Vol. 35, No. 6, pp. 785–789, 2020.
31) C. Cortes and V. Vapnik. Support-vector networks. Machine learning,
Vol. 20, No. 3, pp. 273–297, 1995.
32) L. Breiman. Random forests. Machine learning, Vol. 45, No. 1, pp.
5–32, 2001.
33) J. H. Friedman. Greedy function approximation: a gradient boostingmachine. Annals of statistics, pp. 1189–1232, 2001.
34) 川合諒, 槇原靖, 八木康史ほか. Sthog 特徴を用いた複数カメラ間での人物照合. 研究報告コンピュータビジョンとイメージメディア(CVIM), Vol. 2011, No. 10, pp. 1–8, 2011.
35) 柏本雄士朗, 村松大吾, 八木康史ほか. カメラ間人物照合におけるsthog 特徴の可視化と解析. 研究報告コンピュータビジョンとイメー
ジメディア (CVIM), Vol. 2017, No. 17, pp. 1–8, 2017.
36) A. J. Smola and B. Schölkopf. A tutorial on support vector regression.
Statistics and computing, Vol. 14, No. 3, pp. 199–222, 2004.
37) 神谷卓也, 安形俊輝, 吉村宏紀, 西山正志, 岩井儀雄. 身体動揺を用いた人物対応付けにおける立ち位置変動の影響調査. 信学技報,
BioX2018-8, 第 118 巻, pp. 5–10, 2018.