IIC－08－88

実時間画像処理によるエレベータ乗場の人数計測と車いすの識別
内舘

光＊

猪田

良介

辻

俊明

阿部

茂（埼玉大学）Counting People and Recognition of Wheelchairs at Elevator Lobby by Real-time Image Processing
Hikaru Uchidate＊, Ryosuke Inoda, Toshiaki Tsuji, Shigeru Abe, (Saitama University)
This paper proposes a real-time image processing system for wheelchair recognition at elevator lobby. Thissystem extracts objects with frame difference method. From the image of extracted object, people heads aredetected by Hough transform. Vertical shooting from ceiling improves the performance of people counting since
the head has high roundness and occlusion of people is prevented. Two feature quantities are introduced torecognize wheelchairs. They are areas value and the ratio of traveling length to vertical length. The
effectiveness of this system is confirmed through experiments.
キーワード：画像処理，フレーム間差分，Hough 変換，人数計測，移動体追跡，輪郭線抽出(Image processing, frame difference, hough transform, counting people, object tracking, contour line extraction)

1.

はじめに

近年，画像処理を用いた人数計測は，多様な環境に適し，容易に設置できることから多数報告されている(1)－(5)。例えばエレベータで，乗場の待ち客数を計測し，車いす利用者

また，エレベータ乗場の待ち客計測法は既に実用化されている(11)が，人と車いすを識別して計測するものはまだない。これは人と車いすの特徴の差を検出することが困難なためである。
車いすを検出する手法としては，Myles らの方法があるを認識することができれば，運転の効率化が可能となる。

(12)。Myles

また，車いす利用者は乗場においてボタンを押す必要がな

特徴とし，モデル化を行った。モデルに一致するものを車

くなり便利になる上，乗場の車いすボタンも不要になる。

いすとして検出している。しかし，車いすを真横から撮影

人数計測には，まず移動体を抽出する処理が必要である。

らは車輪の上に肌色領域があるものを車いすのする必要があるため先述のような重なりの問題がある。

連続画像内の移動体は背景画像と入力画像の差分処理（背これらをふまえ，本論文では動画像処理を用いてエレベ

景差分法）や連続画像の時間微分（フレーム間差分法）なータ乗場の人と車いすを識別した待ち客数計測法を提案すどによって抽出される(6)。背景差分法は移動体の抽出を比較る。本システムでは，撮影画像に乗場天井からの画像を用的容易に抽出できるが，環境変化に脆弱である。これらのいることで，移動体同士の重なりを軽減する。特に人の頭問題に対し，背景画像を更新する手法(7)や照明変化に強い手部は重なりが少なく概ね円形状となる。人の頭部を Hough

法(8)が提案されているが，エレベータ乗場のような物体の消変換により検出し，頭部数を人数とする計測法を提案する。

滅・出現，照明・日照の変化が頻繁に起こるような環境で特徴量を比較することにより人と車いすを識別する。特は有効な手法ではない。一方，フレーム間差分法は移動体

徴量としては移動体の面積，進行方向長さと鉛直方向長さに動きがないと差分が検出されないなど移動体抽出に不安の比の２種類を採用する。

定な要素があるが，環境変化に強く，移動体の輪郭画素が一様に求められるという利点がある。

本論文の構成は，第 2 章において本システムの概要について述べ，第 3 章で画像認識処理について記述する。第 4

この特徴を利用した人数計測・移動体追跡の手法として

章では，人と車いす利用者の識別について記す。第 5 章で人の頭部を検出する方法がある(9),(10)。これらの手法は，人実験による性能評価の結果と本システムの有効性を確認の頭を円と仮定し，フレーム間差分より得られる移動体のし，第 6 章で簡単なまとめを行う。

輪郭情報から Hough 変換を用いて頭部を検出する方法である。しかし，これらの方法は人物正面からの映像を用いているため，頭部が円形とならない，移動体が重なるなどの問題がある。

2.

システム概要本システムの流れを図 1 に示す。カメラは乗場天井に設置し，真下の床面をグレースケールで撮影したものを処理

1／6

Moving object extraction

Labeling

People counting

Feature quantity compute

Tracking

Recognition of people andHwheelchairＷ
図 1 システムの流れ
Fig.1.

図 2 エレベータ乗場映像

The flow of this system.

Fig.2 Elevator lobby image.

表 1 人と車いすの大きさ
Table1.

PersonWheelchair

People and wheelchairs size.

Lengthwise[m]
0.5～1.0
1.0～1.5

Breadthwise[m]
0.5～1.0
0.7～1.0

Area value[m2]
0.2～0.8
0.6～1.2

画像とする（図 2 参照）。なお，人と車いすの大きさは表 1(a)Difference imageと仮定する。

(b) Binary image(c) Edge image

図 3 移動体抽出画像

本論文では環境変化に頑健なフレーム間差分法を採用す

Fig.3 Moving object extraction images.

る。人の頭部を円と仮定し Hough 変換により円を検出する。

合や静止した場合に頭部が検出されない。しかし，ごくわ

ば 1 画素以上の輪郭が得られる。
差分値 Dt,t-1 がしきい値 Th0 よりも大きい場合を移動体として黒（以下差分画素），Th0 よりも小さい場合を背景とずかな時間変化では同一移動体の頭部位置はほとんど移動

して白（以下背景画素）とする。２回程度の膨張・収縮処

しない。これは移動体が静止すれば，頭部位置も変化しな

理でノイズを除去すれば，図 3(b)のように輪郭部分が差分

いともいえる。よって，頭部位置の時系列情報を用いるこ

画素として得られる。なお，Th0 の値は式(2)で表す。式(2)とで移動体の追跡も容易にでき，フレーム間差分法の問題

では輝度の最大値を max_pixel_value と定義する。

検出された円の数を人数とし計測する。
Hough 変換による頭部検出は，移動体の動きが少ない場点である移動体の静止にも対応できる。

Th0 =

計測された移動体が人か車いすであるかを識別する。しかし，動きが少ない移動体の場合は途切れた差分画素しか∑ D + max _ pixel_value × 0.059 …………(2)W ×H

得られないため，移動体の正確な特徴量を求めるのは困難〈3.2〉人数計測

である。本論文では重心から差分画素までの最大距離の点

郭部分のエッジを検出する。エッジ検出には Canny のエッを繋ぐことで輪郭線を抽出する手法を用いる。この手法にジ検出法(13)を用いる。図 3(c)は図 3(a)のエッジを検出したより，途切れた差分画素の場合も輪郭線が求められ，特徴画像である。これより，移動体の輪郭部分のエッジが検出量が容易かつ正確に算出することができる。２つの特徴量されていることが確認できる。

の時系列情報を用い，人と車いすを識別する。

3.

エッジ検出により移動体の輪郭部分のエッジが求められ，人の頭部はほぼ円形状となる。そこで頭部を円と仮定し，画像認識処理〈3.1〉移動体抽出

まず，エッジ検出により移動体の輪

エッジ画像内の円を検出する。円の検出法には Hough 変換
フレーム間差分法は一定のフレを利用する。

ーム間の画像同士の輝度差を求める方法である。現フレー

Hough 変換による頭部検出の例を図 4 に示す。本システ

ムの輝度値を It とすると，差分値 Dt,t-1 は式(1)で表される。

ムでは頭部以外の円の誤検出防止と，頭部の尤もらしい位

Dt ,t −1 = I t − I t −1 …………………………………….(1)
撮影画像例を図 2 に，移動体を抽出した画像例を図 3 に置検出のため，以下の制約条件を設ける。
•

円の中心間の最小距離を設定（1m）•円の半径の限定（0.08～0.42m）示す。なお，図 3 は図 2 の点線部分を拡大したものである。

円の中心間の最小距離の設定とは１つ円が検出された場

撮影画像に移動体が存在すれば，移動体の輪郭部分が差分合に，その中心から一定距離内の円は検出しないというこ

情報として得られる（図 3(a)参照）。図 2 は約 120pixel/mとを意味する。この距離を限定しているのは肩や足のエッであるので，速度 0.083m/s（0.3km/h）以上の物体があれジが円として誤検出されるのを防ぐためである。また，円2／6

CameraCenter of object region(RCx,RCy )Center of a head
( hx , hy )

RH

0

RW
図4

Hough 変換による頭部検出

Fig.4.

Detecting heads using Hough(a)

Example of object region

RW

RW

Moving object region

hx

RCx

W /2

RCx hxW(b) Head position and center point of region from side veiw

図 5 頭部位置による移動体領域の決定

transform.

Fig.5.

Determination of moving object region with a head position.

の半径の限定とは小さすぎる円と大きすぎる円は検出しな
いということを意味する。人の頭部はおおよそ大きさが推定可能なため，半径の限定により頭部として想定されない
大きさの円の誤検出を防いでいる。
〈3.3〉移動体追跡

ごくわずかな時間変化では移動

体の頭部は大きく移動しない。そこで，前フレームの頭部位置情報をもとに移動体を追跡する。

(a)

Input image

移動体の登場時に移動体番号 n をつける。フレーム t で検出された円の中心から，半径 Rn(=1m)内を追跡領域とする。
追跡領域内に前フレーム t-1 に検出された円の中心があれば，それを同じ人とみなしその円に移動体番号 n をつける。
追跡領域内になければ新しい人が登場したとして移動体番
号 n+1 をつける。頭部位置は毎フレーム記録し，時系列情報として保存する。移動体の動きが少なく頭部が検出されない場合も頭部位置の時系列情報から移動体が静止してい(b)

ると判断することができる。

図 6 移動体領域の例〈3.4〉移動体の分離

フレーム間差分法と Hough

Fig.6.

Binary image

Example of moving object region.

変換により，移動体の輪郭画像と頭部位置が得られる。図3(b)の２値化画像では差分画素がどの移動体の輪郭部分であるのかが未知である。人と車いすを識別するには移動体

Ax，Ay は-1 を最小値，1 を最大値とする変数で，これらの特徴量を算出する必要があるため、移動体ごとに差分画が 0 の時円の中心が移動体領域の中心となる。今回は，移素を分類する。頭部位置情報をもとに差分画素のラベリン

動体領域の中心(RCx,RCy )は，式(4)で補正する。

グを行う。
頭部位置を基準に移動体を RH(1.5m)× RW(1m)の領域（移動体領域）で囲む（図 5(a)参照）。移動体領域の中心を(RCx,RCy )とする。通常，天井からの撮影画像では，頭部は移動領域の中心に位置しているはずである。しかし，画面

1
RW × Ax
4….…………………………(4)1
RC y = hy − RH × Ay
4
RC x = hx −端に移動体が存在する場合はその頭部位置も移動体の中心

図 6 のように頭部の画面位置によって移動体領域を変化

よりも画面端よりとなる（図 5(b)参照）。移動体全体を含むさせることで移動体のはみ出しを軽減している。これらのには頭部の画面位置を考慮し，移動体領域を補正する必要

方法により移動領域を抽出し，移動領域内の差分画素を同がある。

一移動体としてラベリングを行う。

検出された頭部の位置（円の中心）を(hx , hy )とする。ま〈3.5〉輪郭線の抽出

図 3(b)のような２値化画像でた，W，H は図 2 のように定義する。頭部の位置が画面のは移動体の動きが小さい場合に途切れた差分画素しか得らどの位置に存在するかを Ax，Ay という正規化された変数でれない。移動体の正確な特徴量を算出のために輪郭線を求表す。その値は式(3)で導出される。

める(14)。途切れ差分画像からの輪郭線抽出例を図 7 に示す。

Ax =hx − W 2
W 2

，Ay =

hy − H 2
H 2………...….(3)
3／6

C

1
area value S [m2 ]dContour point
Contour line
Difference pixelGθThS =0.35

personwheelchair

Standard value

0.5

図 7 輪郭線抽出の概念図
Fig.7.

Example of contour line extraction.

00

Sr =0.00

20

Sr =0.58
60

40
frame

80

(a) Area value of a person and a wheelchair
r:ratio of traveling length to vertical length

PersonWheelchair2
personwheelchair

Thr =0.30

1Standard value

rr =0.270020

rr =0.74

40
frame

60

80

(b) Ratio of traveling length to vertical length of a(a)Binary image(b)

Contour line

person and a wheelchair

図 8 人と車いすの輪郭線抽出
Fig.8.

図 9 人と車いすの特徴量の比較

Contour line extraction of person and wheelchair.

Fig.9.

Comparison between a person and awheelchair feature quantities.

重心位置 G (Gx,Gy)から等角度間隔でスポーク状に輪郭画
素までの距離 dθ を求める。その最大距離となる画素を輪郭
点 Cθ(xθ,yθ)とする。θ=10°ごとに輪郭点を繋ぎ，輪郭線とす•る。
この方法により途切れた差分画像の場合でも直線補完に〈4.1〉面積の算出

より輪郭線を求めることができる。移動体の輪郭線を抽出した例を図 8 に示す。

4.

頭部を検出する円が 1 秒以上検出されない
輪郭線内の面積算出法について説明する。図 7 のように重心位置 G (Gx,Gy)と輪郭点
Cθ(xθ,yθ)が求められている。輪郭点を結んだ多角形の面積を
移動体の面積 S とする〈4.2〉進行方向長さと鉛直方向長さの比の算出

人と車いすの識別

進行方向長さ td とその鉛直方向長さ vd の比を算出する。移動体

移動体の輪郭線内の特徴量をもとに人と車いすを識別すの進行方向は，移動体が登場した際に検出された Hough 変る。人と車いすの識別特徴量として①面積 S，②進行方向長換の円の中心から，現時刻に検出された Hough 変換の円のさと鉛直方向長さの比 r を採用する(14)。２つの特徴量には

中心へのベクトル方向とする。

それぞれ以下のような差があると考えられる。
①②

重心から 10°ごとに輪郭線までの距離が求められている

S：人は小さく，車いすは大きい
r：人は歩行するため，値が上下するのに対し、車いので，進行方向の長さは容易に求められる。進行方向の輪すは一定であるする。求められた値より進行方向長さと鉛直方向長さの比

郭線間の距離を td とし，鉛直方向の輪郭線間の距離を vd と移動体の特徴量は時間によって一様でなく，人と車いすのは r= td / vd で表される。

特徴の差を得るためには十分な時間が必要である。また，〈4.3〉特徴量の比較

前述の特徴量を求めた結果を移動体が静止した時は特徴量が求められない。そこで移動

図 9 に示す。算出した特徴量から，以下の２つの条件を満体が以下いずれかの状態になるまで特徴量を算出し続ける。

たしたものを車いすとする。

•

移動体が登場してから 5 秒以上経過する
4／6

条件１：（Ｓ>基準値）の割合 Sr が ThS を超える

表３

図 9(a)は面積 S の時間変化のグラフである。移動体の登Table3. Evaluation figure.
Counted rate (A)b/aTracking rate (B)c/b
False positive rate (C)d/aFalse negative rate (D)e/aRecognition rate (E)f/b

場時と移動体の静止時は，移動体の全身が映っていない・
動きが遅いため差分が得られない，などの理由から面積の値は時間によって一様ではない。そのため局所的な値だけ
では人と車いすの識別は困難である。そこで，車いすの面
積は人に比べ大きいという特徴を利用する。面積 0.7[m2]を基準値とし，基準値を超える割合を Sr とする。Sr がしき

表 4 実験結果

い値 ThS より小さいものを人，大きいものを車いすとする。

Table4.

Performance result.
People Wheelchair

なお，ThS の値は 0.35 とする。
条件２：
（r>基準値）の割合 rr が Thr を超える
図 9(b)は進行方向長さと鉛直方向長さの比（進行比）rの時間変化のグラフである。人は歩行により足が前後に動くため，進行比が 1.0 付近を上下しているのに対し，車いすは 1.0 を超え，大きく変動していないことがわかる。この特徴を利用し人と車いすを識別する。進行比 1.0 を基準値とし，基準値を超える割合を rr とする。rr がしきい値 Thrより小さいものを人，大きいものを車いすとする。なお，

Thr の値は 0.3 とする。

5. 性能評価〈5.1〉実験装置

本システムは表 2 のような環境で構築した。撮影に使用するカメラは一般的なデジタルカメ

Real number (a)Counted people(b)Tracking people(c)
False positive (d)False negative (e)Number ofrecognition (f)A(b/a) [%]B(c/b) [%]C(d/a) [%]D(e/a) [%]E(f/b) [%]表５

ラを用い，動画像撮影モードにて撮影を行った。
カメラはエレベータ乗場の床面からおよそ 5m の位置に

表２ 動作環境
Table2. Operating environment.
OS
Microsoft Windows XP
CPUIntel Xeon 2.8 GHz
FUJIFILM FinePix S9000
Camera640×480
Resolution
10 fpsFrame rate

Table5.
Case
Realnumber
A [%]
B [%]
C [%]
D [%]
E [%]

〈5.2〉評価方法

図 2 のようなエレベータ乗場映像を用いてシステムの性能評価を行う。
なお，評価指標として表 3 を用いる。表におけるそれぞれの値は次のように定義する。

Total

218

19

237

204

20

224

191

20

211

-

-

2
15

203

16

219

93.6
93.6
‐
‐
99.5

105.3
100.0
‐
‐
80.0

94.5
94.2
0.8
6.3
97.8

事例ごとの実験結果
Result of various cases.

1

2

3

4

5

6

127

5

12

5

4

84

89.0
91.2
0.8
11.8
95.6

100.0
100.0
0.0
0.0
100.0

100.0
100.0
0.0
0.0
100.0

100.0
100.0
0.0
0.0
100.0

100.0
100.0
0.0
0.0
100.0

101.2
96.5
1.2
0.0
100.0

〈5.3〉評価実験
設置し，真下の 5m×4m 程度の床面を撮影した。

評価指標

車いすを含むのべ 237 人が映っているエレベータ乗場映像に本システムを適用し，人と車いすの識別実験を行った。結果を表 4 に示す。また，表 5
は表 4 中の誤識別の原因として考えられる事例ごとの結果である。表 5 で用いる事例は以下の場合を意味する。
Case1 近接：移動体同士が近接している場合(a) Real number：撮影画像内に映りこんでいる人の実数

Case2 走行：移動体が走行している場合(b) Counted number：本システムにより人とみなされた

Case3 荷物：移動体が荷物を持っている場合

移動体の数(c) Tracked number：人とみなされた移動体を登場から退場まで正しく追跡している数(d) False positive：人が存在しない場合に存在するとみなされた数(e) False negative：人が存在する場合に存在しないとみ(f)Case4 帽子：移動体が帽子を被っている場合
Case5 夕方：撮影画像が夕方の場合
Case6 その他：上記以外の事例
C，D，E の失敗の原因として移動体の近接が挙げられる（表 5 参照）。これは移動体同士が非常に近い場合に移動体が１つとみなされてしまうことに起因する。移動体の近接なされた数により，頭部位置でない場所に円が検出され誤追跡や検出

Number of recognition：人と車いすの識別数

漏れが起きる例（図 11）が見られた。また，面積や進行方
向長さと鉛直方向長さの比が増大してしまい，誤識別するという例も見られた。
5／6

重心からの距離による輪郭線抽出はアルゴリズムの簡便さ，信頼性の面で優れている。人と車いすを識別する特徴
量として輪郭線内の面積，進行方向長さと鉛直方向の長さの比を用いることで識別が可能であることを示した。

(a)

(b)

図 10.
Fig.10.

(c)

様々な環境下における頭部検出例

Examples of detecting heads in various
environment.

(a) running person , (b) person in a hat , (c)early-evening image

図 11.
Fig.11.

移動体の近接による検出漏れの例

Example of false negative due to close moving
object.

しかし，A の値 94.5%，B の値 94.2%であり，良好な結果であるといえる。表 5 に示されているように，撮影画像には走っている人（図 10(a)参照）や帽子の人（図 10（b）
参照）も含まれるが，誤検出や検出漏れは見られなかった。
このことから，Hough 変換による人数計測と追跡は有効であるといえる。また，表 5 から夕方の撮影画像（図 10(c)参照）にも本システムは有効であることが確認できる。このことから本方式が環境変化に強いといえる。
人と車いすの認識率 E は 97.8%となった。このことから，
面積と進行方向長さと鉛直方向長さの比，２つの特徴量を用いた識別が有効であるといえる。
また，本システムの平均処理時間は 77.8ms である。このことから，10fps(=100ms)の動画像に対し，十分リアルタイ
ム処理が可能である。

6.まとめ
動画像処理を用いてエレベータ乗場の人と車いすを識別

文献(１) P.Viola, M.Jones and D.Snow :“Detecting pedestrians using
patterns of motion appearance “, In Proc.9th Int. Conf. Computer
Vision, vol.2, pp.734-741 (2003-6)(２) T.Morita: “Motion Detection and Tracking Based on Local Correlation Matching”, IEICE Trans. D- Ⅱ , Vol.J84-D- Ⅱ , No.2,
pp299-309, (2001-2) (in Japanese)
森田：「局所相関演算による動きの検知と追跡」, 信学論, D-Ⅱ,
Vol.J-84-D-Ⅱ,2, pp.229-309 (2001-2)(３) Y.Iwashita, R.Kurazume, T.Tsuji, K. Hara, T. Hasegawa: “Fast
Implementation of Level Set Method and Its Realtime Applications”, Proc. of IEEE International Conference on Systems,
Man and Cybernetics SMC'04 ,pp.6302-6307, (2004-10).
(４) 太田・吉川：「2 台のカメラを用いた歩行者追跡」, 画像の認識・理
解シンポジウム論文集, vol.2, pp273-278, (2002-6)(５) D.Comaniciu, V.Ramesh, and P.Meer, “Real-time tracking of
non-rigid objects using meanshift”, in IEEE Computer Vision
and Pattern Recognition, (2003-6)(６) 高木・下田：「画像解析ハンドブック」,東京大学出版会, ( 2004)(７) O.Javed, K.Shafique, and M.Shah, “A Hierarchical Approach to
Robust Background Subtraction using Color and Gradient
Information”, IEEE Workshop on Motion and Video Computing,pp.22-27, Orlando,(2002)(８) T.Matuyama, T.Wada, H.Habe, and K.Tanahashi: “Background
Subtraction under Varying Illumination”, IEICE Trans. D-Ⅱ,
Vol.J84-D-Ⅱ, No.10, pp2201-2211, (2001-10) (in Japanese)
松山・和田・波部・棚橋：「照明変化に頑健な背景差分」,信学論, DⅡ, Vol.J-84-D-Ⅱ,10, pp.2201-2211 (2001-10)(９) 馬場・大橋・乃万・松尾・江島：「Head Finder：フレーム間差分を
ベ ー ス に し た 人物 追 跡 」， 画 像 セン シ ン グ シ ン ポジ ウ ム 2000,
pp.329-334, (2000-6)(10) N.Kroki, T.Yamane, S.Konishi, M.Numa, and K.Yamamoto:“Development of Infrared Multi-Camera System for Head Tracking in Car”, IEICE Trans. A, Vol.J.88-A, No.2, pp142-151(2005-2) (in Japanese)
黒木・山根・小西・沼・山本：「車内環境における頭部追跡を目的とした赤外線マルチカメラシステムの開発」,信学論, A, Vol.J‐88‐A, 2, pp142-151, (2005-2)(11) H.Yoda, J.Motoike, M.Ejiri, and T.Yuminaka: “A Measure
Method of Number of Passengers Using Real-time TV Image
Processing Techniques.”, IEICE Trans. D, Vol.J69-D, No.11,
pp1679-1686, (1986-11) (in Japanese)
依田・本池・江尻・弓仲：「実時間画像処理を用いた待客数検出方式」,信学論,69-D,11,pp.1679-1686, (1986-11)(12) Ashish Myles, Niels da Vitoria Lobo, and Mubarak Shah.,”
Wheelchair Detection in a Calibrated Environment”, 5th Asian
Conference on Computer Vision, Melbourne, Australia, (2002-1)(13) J.F.Canny “A Computational approach to edge detection”, IEEE Trans.
Pattern Anal. Machine Intell., pp.679-698, (1986)(14) 内舘・金子・阿部：「エレベータ乗場の人と車いすの画像認識」,信学会総大, D-12-11 ,pp126, (2007-3)する方法を検討した。フレーム間差分法による移動体抽出は日照変化などの環境変化に強く，そのような環境下でも問題なく動作することを確認した。また，Hough 変換による頭部検出は人数計測・追跡・移動体の分離に有効である。
撮影画像に乗場天井からの映像を用いることで，移動体の重なりが軽減され，頭部はほぼ真円となる。この特性を利用することで高い検出率が得られた。
6／6