電気学会論文誌 C（電子・情報・システム部門誌）

IEEJ Transactions on Electronics, Information and Systems
Vol.140 No.6 pp.1–10
DOI: 10.1541/ieejeiss.140.1

論 文

天井カメラを用いて観測された身体動揺における自己遮蔽の影響を考慮した人物対応付け
非会員

神谷

卓也∗

非会員

山口 優太∗

非会員

西山

正志∗

非会員

岩井 儀雄∗

Identification of People by Measuring Body Sway with Self-Occlusion
using Top-View Camera
Takuya Kamitani∗ , Non-member, Yuta Yamaguchi∗ , Non-member,
Masashi Nishiyama∗ , Non-member, Yoshio Iwai∗ , Non-member

We propose a method for identifying people using body sway measured from head regions under a condition that a
top-view camera observes bodies disturbed by self-occlusion. In order to correctly represent identities of body sway,
it is necessary that the appearances of people are accurately acquired from the camera. However, the deficits of theappearances are contained when occuring self-occlusion. The deficits cause a problem that the identification performance of an existing method is wrongly degraded because the method uses whole-body regions to represent identities.
To overcome the problem of self-occlusion, we represent identities of body sway by using head regions acquired froma top-view camera. Our method computes the silhouette images of the head regions by applying a segmentation technique. To represent identities of body sway, we temporally measure the movements of the head regions by spatiallydividing them into local regions. The experimental results show that the identification performance improved from
17.3 % using the whole-body regions of the existing method to 57.9 % using the head regions of our method.
キーワード：身体動揺, 自己遮蔽, 人物対応付け

Keywords: Body sway, Self-occlusion, Identification

1.

身体の僅かな動きであり，立ち状態の人物の個人性を捉えはじめにる上で有効な手掛かりとなる．例えば，工場内のセキュリ
ティ―ゲートや自動ドアの前で立ち止まる人物を対応付け

安心安全な社会を実現するために，様々な場所に設置されがるために，身体動揺の活用が期待される．工場で働く人物

求められている．高精度な対応付けを実現するために，人は，同じ種類の制服を着用するため，それぞれの人物の見物の動きから個人性を捉える行動手掛かりている防犯カメラを活用した人物対応付けシステム(1) (2)が注目を集

た目は非常に似ている．身体動揺から個人性を適切に捉えめている．行動手掛かりの代表として，歩行中の手足の周ることで，見た目の違いが少ない服装においても，正しく期的な動きを表す歩容

人物を対応付けることを狙う．これにより，工場の物理セ(7) (8)(3)〜(6)が広く利用されており，その対キュリティを強化する応用が期待される．

応付けの精度は高いことが知られている．人物は常に歩行している訳ではなく，セキュリティゲートやエレベータの人物を正しく対応付けるためには，身体動揺に含まれる

前で立ち止まり，扉の開閉を待つことがある．立ち止まっ個人性を，空間方向と時間方向とで適切に捉える必要があた人物からは，手足の周期的な動きが発生しないため，歩る．空間方向で捉える個人性とは身体の形状であり，時間

容を手掛かりとして用いることは難しい．このため近年で方向で捉える個人性とは身体の揺れである．以下では，こは，身体動揺が新たな行動手掛かりとして期待されつつれらの個人性を，一般的に利用されている防犯カメラで捉ある．身体動揺とは，人物が意識的に静止しても発生するえることを考える．立ち状態の人物をカメラを通して見た∗(6)

場合，空間方向の身体形状は，人物の外見そのものとして観鳥取大学大学院 工学研究科〒 680-8552 鳥取市湖山町南 4 丁目 101 番地

測される．また，時間方向の身体揺れは，人物の外見が連Graduate School of Engineering, Tottori University
4-101 Koyama Minami, Tottori Japan680-8552

を用いた人物対応付けでは，人物の外見をカメラを通してc 2020 The Institute of Electrical Engineers of Japan.
⃝

続的に変化する様子として観測される．このため身体動揺1

天井カメラを用いて観測された身体動揺における自己遮蔽の影響を考慮した人物対応付け（神谷卓也，他）

精度よく観測することが重要となる．ただしカメラから観(Spatio-Temporal Histograms of Oriented Gradient) (14) が挙測される人物の外見は，遮蔽によりその形に欠損が生じる

げられる．歩行中の人物の手足は，不規則な動きをする訳ことが多い．欠損による外見の変化は，人物とカメラとのではなく，同じ動きを繰り返す．GEI では，カメラから観位置関係に強く依存する．身体動揺を用いた人物対応付け

測される外見をシルエット画像列として算出する．空間方において，遮蔽の問題は精度の低下を引き起こすため，早向の個人性を捉えるシルエット画像列を，時間方向の動き

急な解決が求められている．

について一周期分だけ平均化することで時空間特徴量を抽身体動揺における遮蔽の発生原因について考察する．遮出している．一方，STHOG では，空間方向の勾配変化を蔽が発生する原因は大きく分けて二つ存在する. 第一の原表す HOG (Histograms of Oriented Gradients) (15) を，時間因として，ある人物を別の人物が隠すことで，カメラから観方向に拡張することで特徴量を抽出している．画像列に対測される外見の一部が欠損することが挙げられる．これはし時空間のブロックを設け，その領域内の勾配からヒスト

相互遮蔽と呼ばれ，複数の人物を同時に観測する場合に発グラムを生成している．これらの既存手法は，歩容の周期生する．カメラを天井に設置することで，相互遮蔽の発生的な動きを表すために設計された時空間特徴量であり，本を抑えることが可能である．第二の原因として，ある身体論文で対象とする身体動揺を表す特徴量として十分とは言部位が，その人物の別の部位を隠すことで，外見の一部がえなかった．

欠損することが挙げられる．これは自己遮蔽と呼ばれ，天行動認識の分野で Dynamic image (16) と呼ばれる時空間特井カメラで観測する場合でも発生する．身体動揺を用いた

徴量が提案されている．この特徴量では，画像列の時間方

人物対応付けでは，特に自己遮蔽の影響をどのように抑制向の順序関係を維持しつつ，空間方向の外見変化を表す重するかを考慮しなければならない．

みベクトルを Rank SVM (17) で算出している．また文献 (18)カメラから観測される人物の外見において，自己遮蔽のでは重みベクトルを近似式で算出する手法が提案されてい影響が小さい領域を考える．天井カメラを用いる場合，頭る．Dynamic image は，サッカーのリフティング，水泳の領域が自己遮蔽の影響を最も受けにくいと想定される．既

クロール，卓球のショットのように，手足など身体の姿勢

存手法において頭領域は，人物対応付けを目的としていないが大きく変化する動きを表すために設計された時空間特徴

が，人数カウント

量であり，身体動揺の微細な動きを表す特徴量として十分(9)〜(11)や人物追跡(12) (13)の目的で活用されとは言えなかった．

ている．一方，身体動揺を用いる人物対応付けの既存手法 (6)では，カメラから観測される全身領域そのものを用いて個

文献 (6) では，身体動揺における時空間特徴量を抽出する

人性を捉えていた．既存手法は頭領域の活用を考えていなため，シルエット画像列を空間方向のブロックに分割し，そかったため，自己遮蔽の影響を強く受ける問題があった．

のブロック中で時間方向の振動量を算出している．ただし，そこで本論文では，身体動揺を用いた人物対応付けにお人物の全身領域を用いることを前提としていたため，本論いて，自己遮蔽の影響を抑制するために，天井カメラから観文で取り扱う自己遮蔽を考慮しておらず，人物対応付けの測された頭領域を用いて個人性を捉える手法について述べ

精度が低下する問題があった．

る．提案手法では，天井カメラから観測された画像列から，空間方向のセグメンテーションを用いて頭領域を推定する．

〈2・2〉 頭領域の推定

人物対応付けの特徴量を抽出するために，頭領域が時間方的とし，天井カメラから観測された画像列から頭領域を推向で連続的に変化する様子を振動量として算出する．この定する既存手法 (9)〜(13) が提案されている．文献 (9) (11) では，天ように頭領域を用いることで，身体動揺に含まれる個人性

井に深度カメラを設置し，人物までの距離が近い領域を頭を空間方向と時間方向とで頑健に捉えることを狙う．提案としている．深度カメラは普及しつつあるものの，防犯カ手法の有効性を確認するために，自己遮蔽の影響を含む場

メラとしては一般的ではないため，本論文では利用しない合について，実験協力者 50 名から身体動揺の画像列を収集こととする．文献 (10) (13) では，人物の頭の形状は楕円である

した．実験結果より提案手法は，全身領域を用いるベースと仮定し，頭領域のパラメータを推定している．これらのライン手法と比べて，人物対応付けの精度を 40.6 ポイント

既存手法では，楕円として大まかに近似するため，個人間

人数カウントや人物追跡を目改善することを確認した．以下では，2 章で関連研究につの頭の外見の違いを詳細に捉えることが困難である．そのいて述べ，3 章で自己遮蔽の影響について説明する．4 章

ため，人物の位置を検出する目的に適しているが，本論文で提案手法について述べ，5 章で提案手法の性能を評価し，で目的とする人物対応付けの手掛かりとして適していると最後に 6 章でまとめる．

は言えない．文献 (12) では，人数カウントを目的とし，画像

2.

セグメンテーションを用いて頭領域を推定している．この関連研究

既存手法では，ピクセル単位で人物の頭領域を推定するた〈2・1〉 行動手掛かりを表す時空間特徴量

行動手掛かめ，個人性による外見の違いを詳細に捉えることが期待さりの一種である歩容を用いた人物対応付けにおいて，時空間れる．ただし，推定された頭領域が人物対応付けに有効での変化から個人性を捉える特徴量が提案されている．代表あるかどうかは検証されていないため，本論文では頭領域的な既存手法として，GEI (Gait Energy Image)を用いた人物対応付けの精度を新たに検証する．

(7)と STHOG
2

IEEJ Trans. EIS, Vol.140, No.6, 2020

天井カメラを用いて観測された身体動揺における自己遮蔽の影響を考慮した人物対応付け（神谷卓也，他）

Center position

Right position

Back position

Front
view

Front
view

Front
view

Side
view

(a)

(b)

Side
view

Right position

Back position

(a)

(b)

(c)

Side
view

(c)

Fig. 1. The standing positions of individuals to investigate the influence of self-occlusion.

3.

Center position

Fig. 2. Examples of the whole body region acquired
from two individuals in diﬀerent standing positions.

自己遮蔽の影響

カメラから観測される人物の外見は，自己遮蔽により立Center position

Right position

Back position

(a)

(b)

(c)

ち位置毎で大きく変化する．予備調査を行うため，異なる
立ち位置の人物をカメラで観測した時の外見を比較した．
この調査では，天井カメラの位置を固定し，Fig. 1 に示す 3
つの位置に立つの人物を観測した．カメラ光軸が床と交わる点を中央位置とした．図中 (a) は，中央位置に立つ人物の観測条件を表す．また (b), (c) は，中央位置からそれぞれ
右と後に移動した位置に立つ人物の観測条件を表す．

Fig. 2 に，人物の立ち位置が変化した時の外見の例を示す. ここでは二名の人物を観測の対象とし，上段が人物 1，
下段が人物 2 の外見を表す．図中 (a), (b), (c) を比較すると，カメラから観測される外見である全身領域は，どちらの人物においても立ち位置毎に大きく異なることが分かる．

Fig. 3. Examples of the head region acquired from two
individuals in diﬀerent standing positions. The green pixels represent the head regions in the images.

次に本論文で取り扱う頭領域について述べる．Fig. 3 に，頭領域を緑色で強調した例を示す．なおカメラの観測条件はFig. 2 と同じとした．Fig. 3 (a), (b), (c) を比較すると中央，
右，後の全ての立ち位置において，頭領域は類似した形で持すると仮定する．自己遮蔽の影響を抑制するために，観観測されることが分かる．一方，頭以外の身体部位として測された画像列から，頭領域を表すシルエット画像列をセ観測される肩領域は，立ち位置毎に形が大きく異なり，自グメンテーション手法を用いて推定する．推定されたシル

己遮蔽の影響を強く受けていることが分かる．図中 (a) のエット画像列を空間方向のブロックへ分割し，各ブロック

中央位置では，左肩領域が右肩領域と対称であるが，(b) のにおける時間方向の振動量を特徴量として抽出する．以下，

右位置では，中央では観測されていた右肩領域が隠れてお提案手法の詳細について述べる．

り，観測されていなかった左肩領域が新たに出現している．

〈4・2〉 人物の頭領域の推定

また (c) でも同様の傾向が見られる. 以上より頭領域は，他るために，天井カメラから観測された画像列の頭領域を推の身体部位の領域と比べて，自己遮蔽の影響が小さく，そ定する手法について述べる．頭領域は，その他の身体部位

れぞれの立ち位置において安定した観測ができると言える．

や背景の領域と比べると，テクスチャの変化が細かいと想自己遮蔽が生じた場合でも身体動揺に含まれる個人性を捉定される．大量の訓練サンプルから頭の外見の変動を統計えるために，本論文では頭領域を用いることとする．

的に学習することができるため，肩や背景と色合いが近く4.

なる場合でも，頭領域を正しく推定することが期待される．

提案手法〈4・1〉 概自己遮蔽の影響を抑え

本論文では，空間方向のセグメンテーション手法 (19)〜(24) を身体動揺に含まれている個人性を用いることで，頭領域を頑健に推定することを狙う．セグ

捉えるために，頭領域を用いて時空間特徴量を抽出する手要

メンテーション手法において様々な統計アプローチが採用法について述べる．その流れを Fig. 4 に示す．提案手法でされているが，高い推定精度を実現できる深層学習 (25)〜(27)は，立ち状態の人物の画像列を，天井カメラを用いて観測が近年注目を集めている．深層学習を適用するために，頭する．なお人物の立ち位置は自由とするが，直立姿勢を維

領域を示す教師ラベルと，全身や背景の様々な変動を含む
3

IEEJ Trans. EIS, Vol.140, No.6, 2020

天井カメラを用いて観測された身体動揺における自己遮蔽の影響を考慮した人物対応付け（神谷卓也，他）

Acquire the images using the camera
CameraImages
PersonEstimate the head regions
from the images(a)Apply segmentation of
the head regions
Candidate regions
Denoisethe candidate regions
Silhouette images
Extract the featuresfrom the silhouette images(b)

Fig. 5. Examples of the images and annotation labels to
train the network model for head segmentation.

Spatially divide the images
into the blocks
Blocks ofthe head regions
Temporally measure themovements from the blocks
Movements(a)Fig. 4. Overview of our method.

大量のカラー画像を準備しておく．Fig. 5 (a) に教師ラベルの例，(b) にカラー画像の例を示す．入力としてカラー画像
を与え，推定されたシルエット画像が教師ラベルに近づく(b)

ようにネットワークモデルの学習を行う．

Fig. 6. Examples of the silhouette images containing
noises and the shihouette images after denoising.

深層学習を用いたセグメンテーション手法では，推定されるシルエット画像にノイズが含まれることが多い．ノイズとして，頭以外の画素を頭とする誤推定と，頭の画素を頭としない誤推定が存在する．Fig. 6 (a) にノイズの例を示れる頭領域は，前後左右に揺れながら微小に変化していく．

す．本論文ではノイズ除去を行うために，シルエット画像

揺れの動きは，その中心となる位置に対応する参照時刻が内に存在する複数の候補領域から面積最大のものを選択し，基準となる．まず参照時刻を決定するために，頭領域のシ

その領域内に存在する誤推定の画素を塞ぐ処理を行う．さルエット画像列の中で，互いに最も類似する画像を一枚選らにメディアンフィルタを適用し，頭領域と背景領域の境択する．この画像を参照時刻とし，その画像の頭領域の重界付近のノイズを軽減する．図中 (b) にノイズ除去後のシ心を求めることで中心位置を設定する．空間方向の変化を

ルエット画像の例を示す．

捉えるために，中心位置を基準に放射線状のブロックへシ
人物対

ルエット画像列を等分割する．さらに時間方向の変化を捉

応付けで用いる時空間特徴量を，頭領域のシルエット画像列〈4・3〉 頭領域を用いた時空間特徴量の抽出えるため，各ブロックにおいて時間微分を行うことで振動量から抽出する手法について述べる．本論文では時空間特徴を算出する．最後に，頭領域の各ブロックの振動量に対し，量を抽出するために，我々が提案した既存手法 (6) を頭領域

パワースペクトル密度 (PSD: Power Spectral Density) (28) をへ適用できるように拡張する．立ち状態の人物から観測さ適用することで特徴量を抽出する．
4

IEEJ Trans. EIS, Vol.140, No.6, 2020

天井カメラを用いて観測された身体動揺における自己遮蔽の影響を考慮した人物対応付け（神谷卓也，他）

Circle marker

Front
0.15 m
Left

0.15 mCenter Right
Back
(a)

(b)

CameraSet of images ofbody swayFig. 7. Postures and clothes of the participants.

実験〈5・1〉 評価データセット

Participant

2.5 m

5.

提案手法の有効性を確認

Centerposition

するために，異なる位置に立つ人物の身体動揺について，天井カメラから観測された画像列を収集した．実験協力者の人数は 50 名 (平均年齢 22.7±3.0 歳，男性 42 名，女性 8 名)

Target point

Front position(c)とした．画像列の観測中は，手足を揃えた直立姿勢を維持

Fig. 8. The relationship between the participant and thestanding position. In (a), the standing positions on thefloor are represented. In (b), the marker to align the feetposition of the participant is represented. In (c), the setup
for acquring the set of images of body sway in the casethat the participants stand on the front position is represented.

するよう実験協力者へ指示した．工場の制服を想定し，紺色ナイロン製ジャケットの着用を指示した. Fig. 7 に実験協
力者の姿勢と服装の例を示す．カメラの取り付け位置を床からの高さ 2.5 メートルとし，カメラ光軸が床面と垂直となるようキャリブレーションを行った．カメラの解像度を

1920×1080 画素とし，サンプリング周波数を 30 ヘルツとした．
実験協力者は，カメラ光軸が床と交わる点である中央位の訓練サンプルとした．また，残りの 25 名をテストサン

置，そこから前後左右にそれぞれ 0.15 メートル離れた位置プルとした．全ての実験協力者の全フレームの合計であるに立つこととした．Fig. 8 (a) に人物の立ち位置を上から見450,000 枚から，それぞれランダムに選択された 45,000 枚た場合を示す．実験協力者へ立ち位置を指示するため，床を訓練サンプルとテストサンプルの枚数とした．また，訓に円マーカを設置した．その際，図中 (b) のように，両足の練とテストで，サンプルの被りはないようにした．画像と中心が円マーカと重なるよう実験協力者へ指示した．人物

教師ラベルのサイズは 256 × 256 画素とした．訓練時のエが前位置に立つ場合の観測条件を図中 (c) に示す．実験協

ポック数は 200 とした．頭領域の推定精度の指標として，

力者の正面に設置されたターゲット点を見ることで，観測適合率と再現率の調和平均である F 値を用いた．F 値は 1中の実験協力者の顔向き変化を抑制した．なお立ち位置毎に近づくにつれ推定精度が高くなる．実験協力者のランダ

で人物の正面となるようターゲット点を設置した．それぞ

ム選択を 5 回試行し F 値の平均を求めた．

れの立ち位置での観測時間は 60 秒とした．実験協力者は 1

頭領域の推定精度を評価したところ平均 F 値が 0.96±0.03回の観測が終了する度に，別の場所で着席し休憩をとった．

となった．Fig. 9 に，U-net から出力された頭領域の例を

実験協力者 1 名に対し，5 箇所の立ち位置で 2 回の観測を示す．この図では実験協力者 4 名，立ち位置 5 か所の結果行った．なお立ち位置の観測順序はランダムとした．以下を挙げる．図中 (a), (b), (c) では，どの実験協力者についての実験では，観測された映像の両端から 420 画素ほどの領も，頭領域が精度よく推定されていることが分かる．一方

域を削除し，256×256 画素にリサイズした画像列を用いた．

(d) では，頭領域の形が髪留めの影響で大きく変わっている〈5・2〉 頭領域の推定精度

天井カメラから観測されことが分かる．以上の結果より，誤推定が一部見られるもた画像列を用いて頭領域の推定精度を評価した．頭領域ののの平均 F 値が 1 に近いため，単純な U-net でも本実験環

セグメンテーション手法として文献境では高い推定精度を得ることができると言える．

U-Net

(26)

(12)

で利用されているを用いた．ネットワーク構造として，ダウンサン〈5・3〉 人物対応付けの基本性能

自己遮蔽が発生すプリング層を 8 個，アップサンプリング層を 8 個用意した．

る場合において，頭領域を用いる提案手法が人物対応付け

実験協力者 50 名の中から 25 名をランダムに選択し，U-Netに有効であるかどうかを調査した．ここでは頭以外の身体
5

IEEJ Trans. EIS, Vol.140, No.6, 2020

天井カメラを用いて観測された身体動揺における自己遮蔽の影響を考慮した人物対応付け（神谷卓也，他）(a) Participant 1
Image

Head region(b) Participant 2
Image(c) Participant 3

Head region

Image(d) Participant 4

Head region

Image

Head region

Front

Back

Center

Right

Left

Fig. 9. Examples of the head regions estimated from the image of each standing position.

部位を含む領域を比較の対象とした．以下に実験条件を挙Table 1. Comparison of the identification performanceachieved with the regions of the body parts.

げる．

Head: 提案手法を用いて推定された頭領域を用いた．
Fig. 10(a) にその例を示す．
Whole body: 文献 (6) の全身領域を用いた．図中 (b) にその例を示す．

Shoulder9.8 ± 5.3

RegionFirst matching rate (%)

Head

57.9 ± 11.1

Whole body

17.3 ± 6.8

Shoulder: 全身から頭を除いた肩領域を用いた．図中 (c)にその例を示す．
なお全身領域および肩領域を推定するために，教師ラベル

Table 1 に示す．提案手法の頭領域は，全身領域や肩領域とをそれぞれの領域とし〈4・2〉で述べた手法を適用した．人比べて，対応付け精度が高いことが分かる．一方，肩領域

物対応付けに用いる特徴量を，各領域のシルエット画像列

は，頭領域や全身領域と比べて，対応付け精度の大きな低から〈4・3〉で述べた手法を用いて抽出した．空間方向のブ下が見られた．以上の結果より，天井カメラより観測されロック分割数は，各領域とも 25 とした．人物対応付けのクる頭領域は，全身領域や肩領域に比べて自己遮蔽の影響をエリとして前，左，右，後のいずれかの位置から観測され大きく抑えることができ，人物対応付けの精度向上に有効たシルエット画像列を用いた．また，ターゲットとして中であることが確認された．

央位置から観測されたシルエット画像列を用いた．クエリ〈5・4〉 空間特徴量と時間特徴量に対する精度比較とターゲットを対応付けるために最近傍法を適用した．対頭領域から抽出された時空間特徴量が有効であるかを確認す

応付け精度の指標は一位正解率とした．なお計量学習としるために，空間方向または時間方向の個人性を捉える特徴て LMNN (Large Margin Nearest Neighbor) (29) を適用した．

量を用いて人物対応付けの精度を評価した．以下に比較条

実験協力者 50 名のうち，クエリとターゲットに含まれない件を挙げる．

25 名をランダムに選択し計量学習に用いた．ランダム選択の試行回数は 5 回とし，残りの実験協力者 25 名をクエリ

Spatio-temporal: 提案手法を用いて抽出した．
Spatial: 頭領域から空間方向のみの個人性を捉えるためとターゲットとし対応付けに用いた．一位正解率の平均をに，天井カメラで観測されたシルエット画像列から，一算出し，対応付けの性能を評価した．

枚の画像を選択した．ここでは〈4・3〉で述べた参照時刻

身体部位の領域ごとの人物対応付けの平均一位正解率をに対するシルエット画像を用いた．
6

IEEJ Trans. EIS, Vol.140, No.6, 2020

天井カメラを用いて観測された身体動揺における自己遮蔽の影響を考慮した人物対応付け（神谷卓也，他）
**

**

**

Time

First matching rate (%)**

ImagesTime(a) Silhouette images of the head regions

**

70

0
Our method

GEI

STHOG

𝑝 < 0.01：**

Dynamic
image

Fig. 11. Comparison of the identification performance
between our method and the existing methods.
Time(b) Silhouette images of the whole body regions

Time(c) Silhouette images of the shoulder regions(a) Front position(b) Left position(c) Back position

Fig. 12. Examples of features of the GEI.

Fig. 10. Examples of the silhouette images of the bodyparts.
Table 2. Comparison of the identification performanceusing the temporal feature or spatial feature.

FeatureFirst matching rate (%)

Spatio-temporal

57.9 ± 11.1

Spatial33.8 ± 10.7

Temporal

40.2 ± 9.9(a) Front position(b) Left position(c) Back position

Fig. 13. Examples of features of the dynamic image.

Temporal: 頭領域から時間方向のみの個人性を捉えるために，各時刻のシルエット画像において重心位置を計

動認識で利用されている Dynamic image (16) も対象とした．

測し，その時間方向の変化を記録した．重心位置は 2 次頭領域から抽出された空間特徴量または時間特徴量を用

GEI を抽出するために，60 秒間で観測されたシルエット画
像列から平均を求めた．STHOG を抽出するために，頭領域の画像列に対する時空間ブロックの数を 6 × 6 × 6 = 216 個とし勾配を算出した．Dynamic image を抽出するために，
60 秒間で観測された頭領域の画像列に対して Rank SVMを適用した．時空間特徴量以外の実験条件は〈5・3〉と同じいた場合の人物対応付けの精度を Table 2 に示す．時間特とした．頭領域から既存手法の時空間特徴量を抽出した場

徴量は，空間特徴量に比べ，精度が高いことが分かった．提合の人物対応付けの精度を Fig. 11 に示す．提案手法は，既案手法である時空特徴量は，空間特徴量や時間特徴量と比存手法の GEI や STHOG，Dynamic image と比べて，精度

べ，対応付けの精度が高いことが分かった．以上の結果よが高いことが確認された．ウィルコクソンの符合順位検定

り，頭領域から空間方向と時間方向の個人性を同時に捉え

およびボンフェローニ補正を適用した．その結果，提案手る提案手法は有効であると言える．

法と全ての既存手法との間で有意差が見られた．

元ベクトルであり，そのままでは PSD を適用できないた
め，直交する 2 本の基底へ重心位置を射影し，それぞれの基底上で振動量を算出した．
特徴量以外の実験条件は〈5・3〉と同じとした．

〈5・5〉 既存手法の時空間特徴量の評価

既存手法の時同じ人物の画像列から抽出された GEI を可視化した例を

空間特徴量を頭領域から抽出した場合について，人物対応
付け精度を評価した．ここでは，歩容認証の分野で広く利Fig. 12 に示す．図中 (a), (b), (c) は，異なる立ち位置で観測された同一人物の GEI である．同じ人物の画像列から抽用されている GEI (7) と STHOG (14) を対象とした．また，行出されているにもかかわらず，その頭領域の輪郭は人物の7

IEEJ Trans. EIS, Vol.140, No.6, 2020

天井カメラを用いて観測された身体動揺における自己遮蔽の影響を考慮した人物対応付け（神谷卓也，他）

立ち位置ごとに異なった形状であった．立ち位置変動による自己遮蔽は，頭領域であっても発生し，空間特徴である
頭領域の輪郭形状を変化させたと考えられる．既存手法のGEI は空間特徴を主に捉え，そこに時間特徴を加える設計思想であると想定される．GEI の性能低下の原因は，頭領
域に残る自己遮蔽の影響であると推測される．

Dynamic image を可視化した例を Fig. 13 に示す．同じ
人物から生成された Dynamic image 内の頭領域の輪郭でも，GEI の結果と同様に，立ち位置ごとに異なった形状が見られた．Dynamic image は空間特徴を主に捉える設計思(a) Clothes 1(b) Clothes 2

Fig. 14. Variation of the clothes of the participants.

想であると想定されるため，頭領域に残る自己遮蔽の影響を受けて認識性能が低下したと推測される．

Table 3. Comparison of the identification performance
under diﬀerent clothing conditions.

次に，STHOG について述べる．画像列から抽出された

STHOG は，２つの勾配ヒストグラムで構成される．各勾配

First matching rate (%)

ヒストグラムは空間方向と時間方向のそれぞれから算出さClothes 1

56.5 ± 9.9

れる．各ヒストグラムのビン数を同じ値に設定することで，Clothes 2

52.4 ± 9.7

空間特徴と時間特徴を同じ次元数で表現している．STHOG
中の空間特徴は，GEI と同様に，頭領域に残る自己遮蔽の影響を受けていると考えられる．この影響により，STHOG

チャンスレート 5.9% より高いことが確認できた．ただし，を使用した際の対応付け性能が低下したと推測される．

る時間方向の個人性を頑健に捉えることができたと考えら

Fig. 7 の服装を着用した人物を同条件で対応付けた際の性能である 81.2 ± 8.0% (注：実験協力者の人数は異なる) と比べると，Fig. 14 のどちらの服装を着用した場合でも人物
対応付けの性能は低下していると考えられる．服装 1 や服装 2 を着用すると，帽子やヘルメットによって頭領域が隠れる．

され，それぞれの人物の見え方が近くなる．これにより，空〈5・6〉 同じ制服を着用した人物の対応付けにおける服間方向に存在する外見の個人性が表れにくくなるため，対装変化の影響調査

提案手法を実場面に適用するために応付けの性能が低下したと考えられる．この問題を解決す

は，人物の立ち位置以外の条件が変化した場合についてもるために今後の課題として，身体動揺に含まれる時間方向

評価する必要がある．ここでは，Fig. 7 以外の服装を着用しの個人性をより顕著に表す特徴量の設計が求められる．

提案手法は，時間特徴を主に捉え，そこに空間特徴を加える設計思想である．提案手法は既存手法に比べて，頭領
域に残る自己遮蔽の影響を受けにくく，身体動揺に含まれた人物に対して，提案手法を適用することを考える．本実

6.

験では，新たに 2 種類の服装を用意し，それぞれの服装に

ま と め

おいて人物対応付けの性能を評価した．荷物の配達員を想本論文では，身体動揺を用いた人物対応付けにおいて自定し，濃青色の帽子と薄青色の上着を服装 1 として準備し

己遮蔽の影響を抑制するため，天井カメラから観測された

た．工事現場の作業員を想定し，白色のヘルメットと濃緑

頭領域を用いて時空方向と空間方向の個人性を捉える手法

色のジャケットを服装 2 として準備した．服装 1 と服装 2を提案した．天井カメラから観測された画像列の頭領域をを着用した例を Fig. 14 (a), (b) にそれぞれ示す．なお，人推定するために，深層学習を用いたセグメンテーションを

物の立ち位置を〈5・1〉の中央位置のみとした．

適用しノイズ除去を施した．身体動揺に含まれる個人性をそれぞれの服装を着用した人物の身体動揺を計測するた捉えるために，シルエット画像列を空間方向のブロックにめ，天井カメラを用いて画像列を収集した．実験協力者の分割し，それぞれのブロックにおいて時間方向の微分を行

人数は 34 名 (平均年齢 22.5 ± 1.6 歳，男性 29 名，女性 5

うことで特徴量を算出した．提案手法の有効性を確認する

名) とした．すべての実験協力者に対し，服装 1 と服装 2

ために，自己遮蔽による頭領域の欠損を含む身体動揺の画を着用した場合で，それぞれ 2 回ずつ撮影を行った．なお，像列を収集した．実験結果より，頭領域を用いる提案手法

各実験協力者において，服装の着用順序はランダムとした．

は，全身領域を用いる既存手法と比べて，精度が大幅に改実験協力者の人数および立ち位置以外の撮影条件は〈5・1〉

善することを確認した．また，既存の時空間特徴量と比較と同じとした．

して，頭領域を用いる提案手法は身体動揺を用いた人物対頭領域から抽出された時空間特徴量を用いて，服装 1 と応付けに有効であることを確認した．

服装 2 のそれぞれにおける人物対応付けの性能を評価した．

今後の課題として，帽子やヘルメットなど頭領域の外見

実験協力者の人数および立ち位置以外の実験条件は〈5・3〉とが大きく変わる場合において，身体動揺の個人性を安定に同じとした．各服装における人物対応付けの平均一位正解捉える手法の開発が挙げられる．また，身体動揺の観測時率を Table 3 に示す．どちらの服装においても，その性能は間を短くした場合でも高精度に人物を対応付ける手法の開8

IEEJ Trans. EIS, Vol.140, No.6, 2020

天井カメラを用いて観測された身体動揺における自己遮蔽の影響を考慮した人物対応付け（神谷卓也，他）

発が必要になると考えられる．
謝

mentation. International Journal of Computer Vision, Vol. 59, No. 2, pp.
167–181, 2004.
（22） Y. Boykov, O. Veksler, and R. Zabih. Fast approximate energy minimization via graph cuts. IEEE Transactions on Pattern Analysis and MachineIntelligence, Vol. 23, pp. 122–1239, 2001.
（23） J. Shotton, J. Winn, C. Rother, and A. Criminisi. Textonboost for image
understanding: Multi-class object recognition and segmentation by jointly
modeling texture, layout, and context. International Journal of Computer
Vision, Vol. 81, No. 1, pp. 2–23, 2009.
（24） P. Krähenbühl and V. Koltun. Eﬃcient inference in fully connected crfs
with gaussian edge potentials. Advances in Neural Information Processing
Systems, pp. 109–117, 2011.
（25） J. Long, E. Shelhamer, and T. Darrell. Fully convolutional networks forsemantic segmentation. Proceedings of the IEEE Conference on Computer
Vision and Pattern Recognition, pp. 3431–3440, 2015.
（26） O. Ronneberger, P. Fischer, and T. Brox. U-net: Convolutional networks
for biomedical image segmentation. Proceedings of International Conference on Medical Image Computing and Computer-Assisted Intervention, pp.
234–241, 2015.
（27） V. Badrinarayanan, A. Kendall, and R. Cipolla. Segnet: A deep convolutional encoder-decoder architecture for image segmentation. IEEE Transactions on Pattern Analysis and Machine Intelligence, Vol. 39, No. 12, pp.
2481–2495, 2017.
（28） P. Welch. The use of fast fourier transform for the estimation of power spectra: a method based on time averaging over short, modified periodograms.
IEEE Transactions on Audio and Electroacoustics, Vol. 15, No. 2, pp. 70–
73, 1967.
（29） K.Q. Weinberger and L.K. Saul. Distance metric learning for large margin nearest neighbor classification. Journal of Machine Learning Research,
Vol. 10, No. Feb, pp. 207–244, 2009.

辞本研究の一部は，総務省 SCOPE(No. 172308003) および

JSPS 科研費 JP17K00238 の助成を受けたものである.
文

献（ 1 ） W. Xiaogang. Intelligent multi-camera video surveillance: A review. Pattern
Recognition Letters, Vol. 34, No. 1, pp. 3 – 19, 2013.
（ 2 ） R. Min, J. Choi, G. Medioni, and J.L. Dugelay. Real-time 3d face identification from a depth camera. Proceedings of the 21st International Conference
on Pattern Recognition, pp. 1739–1742, 2012.
（ 3 ） S.P. Banerjee and D.L. Woodard. Biometric authentication and identification using keystroke dynamics: A survey. Journal of Pattern Recognition
Research, Vol. 7, No. 1, pp. 116–139, 2012.
（ 4 ） K. Delac and M. Grgic. A survey of biometric recognition methods. Proceedings of 46th International Symposium on Electronics in Marine, pp.
184–193, 2004.
（ 5 ） M.O. Derawi, C. Nickel, P. Bours, and C. Busch. Unobtrusive userauthentication on mobile phones using biometric gait recognition. Proceedings of sixth International Conference on Intelligent Information Hiding andMultimedia Signal Processing, pp. 306–311, 2010.
（ 6 ） T. Kamitani, H. Yoshimura, M. Nishiyama, and Y. Iwai. Temporal and spatial analysis of local body sway movements for the identification of people.
IEICE Transactions on Information and Systems, Vol. 102, No. 1, pp. 165–
174, 2019.
（ 7 ） J. Han and B. Bhanu. Individual recognition using gait energy image. IEEE
Transactions on Pattern Analysis and Machine Intelligence, Vol. 28, No. 2,
pp. 316–322, 2006.
（ 8 ） Y. Makihara, R. Sagawa, Y. Mukaigawa, T. Echigo, and Y. Yagi. Gait recognition using a view transformation model in the frequency domain. Proceedings of 9th European Conference on Computer Vision, pp. 151–163, 2006.
（ 9 ） P. Vera, S. Monjaraz, and J. Salas. Counting pedestrians with a zenithal
arrangement of depth cameras. Machine Vision and Applications, Vol. 27,
No. 2, pp. 303–315, 2016.
（10） S. Munir, R.S. Arora, C. Hesling, J. Li, J. Francis, C. Shelton, C. Martin,
A. Rowe, and M. Berges. Real-time fine grained occupancy estimation using
depth sensors on arm embedded platforms. Proceedings of 2017 IEEE RealTime and Embedded Technology and Applications Symposium, pp. 295–306,
2017.
（11） B.A.Y. Agusta, P. Mittrapiyanuruk, and P. Kaewtrakulpong. Field seedingalgorithm for people counting using kinect depth image. Indian Journal of
Science and Technology, Vol. 9, p. 48, 2016.
（12） D. Liciotti, M. Paolanti, R. Pietrini, E. Frontoni, and P. Zingaretti. Convolutional networks for semantic heads segmentation using top-view depth datain crowded environment. Proceedings of 24th International Conference on
Pattern Recognition, pp. 1384–1389, 2018.
（13） S. Mukherjee, B. Saha, I. Jamal, R. Leclerc, and N. Ray. Anovel framework
for automatic passenger counting. Proceedings of 18th IEEE International
Conference on Image Processing, pp. 2969–2972, 2011.
（14） C. Hua, Y. Makihara, and Y. Yagi. Pedestrian detection by using a spatiotemporal histogram of oriented gradients. IEICE Transactions on Information and Systems, Vol. 96, No. 6, pp. 1376–1386, 2013.
（15） N. Dalal and B. Triggs. Histograms of oriented gradients for human detection. Proceedings of IEEE Computer Society Conference on Computer
Vision and Pattern Recognition, Vol. 1, pp. 886–893, 2005.
（16） B. Fernando, E. Gavves, J. Oramas, A. Ghodrati, and T. Tuytelaars. Rank
pooling for action recognition. IEEE Transactions on Pattern Analysis andMachine Intelligence, Vol. 39, No. 4, pp. 773–787, 2016.
（17） A.J. Smola and B. Schölkopf. A tutorial on support vector regression. Statistics and Computing, Vol. 14, No. 3, pp. 199–222, 2004.
（18） H. Bilen, B. Fernando, E. Gavves, and A. Vedaldi. Action recognition withdynamic image networks. IEEE Transactions on Pattern Analysis and Machine Intelligence, Vol. 40, pp. 2799–2813, 2017.
（19） J. Tighe, M. Niethammer, and S. Lazebnik. Scene parsing with object instances and occlusion ordering. Proceedings of the IEEE Conference on
Computer Vision and Pattern Recognition, 2014.
（20） T. Brox, L. Bourdev, S. Maji, and J. Malik. Object segmentation by alignment of poselet activations to image contours. Proceedings of the IEEE
Conference on Computer Vision and Pattern Recognition, pp. 2225–2232,
2011.
（21） P.F. Felzenszwalb and D.P. Huttenlocher. Eﬃcient graph-based image seg-

神

谷

卓

也 （非会員） 2018 年 鳥取大学大学院博士前期課程修了．2019 年 同大学院博士後期課程在学中．ソ
フトバイオメトリクスの研究に従事．2017 画像の認識・理解シンポジウム学生奨励賞を受賞．

山

口

優

太 （非会員） 2019 年 鳥取大学大学院博士前期課程
在学中．

西

山

正

志 （非会員） 2002 年 岡山大学大学院博士前期課程
了．同年 株式会社東芝研究開発センターに勤務．

2011 年 東京大学大学院学際情報学府にて博士（学際情報学）を取得．2015 年より現在 鳥取大学大学
院工学研究科准教授．画像認識，インタラクションの研究に従事．2019 画像センシングシンポジ
ウム優秀学術賞などを受賞．電子情報通信学会，
情報処理学会の会員．

9

IEEJ Trans. EIS, Vol.140, No.6, 2020

天井カメラを用いて観測された身体動揺における自己遮蔽の影響を考慮した人物対応付け（神谷卓也，他）
岩 井

儀雄 （非会員） 1992 年 (平成 4 年) 大阪大学基礎工学部
情報工学科卒業．1997 年 (平成 9 年) 大阪大学大学院基礎工学研究科博士課程後期修了．同年同大学院助手．2003 年 (平成 15 年) 同大学院助教授．

2004 年 (平成 16 年)5 月〜2005 年 (平成 17 年)3 月
英国ケンブリッジ大学客員研究員．2007 年 (平成19 年) 同大学院准教授．2011 年 (平成 23 年）鳥取大学大学院工学研究科教授．コンピュータビジョ
ン，パターン認識の研究に従事．博士（工学）10

IEEJ Trans. EIS, Vol.140, No.6, 2020