論文

身体と外見の共起属性を用いた人物対応付け
中野

翔太†

四元

辰平†,††

吉村

宏紀†

西山

正志†

岩井

儀雄†

菅原

一孔†

Co-occurrence Attributes of Physical and Adhered Human Characteristics
to Improve Person Re-identification
Shota NAKANO† , Tappei YOTSUMOTO†,†† , Hiroki YOSHIMURA† ,Masashi NISHIYAMA† , Yoshio IWAI† , and Kazunori SUGAHARA†

あらまし 本論文では，複数カメラで得た人物画像を検索するために，身体と外見の共起属性を用いて人物を対応付ける手法について述べる．既存手法は性別や服装といった単一属性を用いて人物対応付けを行っていたが，提案手法は身体と外見の共起属性を用いてより詳細な手がかりを抽出し対応付けの性能向上を狙う．共起属
性は，例えばスカートの女性など，身体的な手がかりと外見的な手がかりを組合せることで表される．提案手法
は，共起属性を推定する識別器を事前に学習しておき，人物画像が与えられると共起属性の確信度を算出し，得られた確信度をその人物画像の特徴量とする．対応付けに有効な共起属性を重視するために計量学習を用いて特徴量間の距離を算出する．複数の公開データベースを用いた人物対応付けの実験により，単一属性を用いる既存手法に比べて共起属性を用いる提案手法が有効であることを確認した．また，対応付けの性能向上に寄与する共起属性を解析する手法を設計し，身体と外見の共起属性が有効であることを確認した．
キーワード

人物対応付け，特徴抽出，共起属性，身体的手がかり，外見的手がかり

1. は じ め に与することが分かっている．人物対応付けの特徴量として，勾配や色など画像特徴を抽出する手法 [1]〜[4]，安心安全な社会の実現に向けて，屋外で複数の防犯深層学習における中間層を特徴量とした手法 [5]，性別

カメラを用いた広域の見守りが求められている．このや年代など人物属性を特徴として抽出する手法 [6]〜ような広域の見守りを実現することで，例えば迷子に[11] が提案されてきた．特に人物属性の特徴はユーザなった子供がどのような移動経路を辿ったかなど，人が直観的に理解しやすいため生体認証の研究分野から

物の行動履歴を検索できるようになる．しかし，視野も期待されている．属性を特徴として用いる人物対応を共有しない複数の防犯カメラを渡って移動する人物

付けの応用は次の二つがある．一つ目として属性そのを見つけ出すには人手だと大きな負担が伴う．そこで，ものをクエリーとしてユーザが指定し人物画像を検索クエリとして人物画像が入力されると，一致する可能

する応用があり，属性認識の性能を高めることを目的

性のある人物画像を精度よく検索する手法が求められとした手法 [6], [7] が提案されている．二つ目として属ている．

性ではなく人物画像をクエリーとし画像から推定され人物をカメラ間で対応付ける手法はこれまで多く提る属性らしさをシステム内の特徴量として用いる応用

案されてきたが，これまでに得られた知見により人物があり，画像同士を精度よく対応付けることを目的と画像から抽出する特徴量の設計が性能向上に大きく寄した手法 [8]〜[11] が提案されている．いずれの応用でも，文献 [6], [7] で指摘されているように，複数の属性†

鳥取大学大学院 工学研究科 情報エレクトロニクス専攻
Department of Information and Electronics，Graduate
School of Engineering，Tottori University††
メルコ・パワー・システムズ株式会社
System Engineering Department, Melco Power Systems
Co.Ltd.

104が同時に出現する共起の考え方が重要となる．しかし，これらの既存手法は以下で述べるように，人が人を探す際に用いる手がかりと比較すると，人物対応付けに用いる共起の取り方として十分とは言えなかった．

電子情報通信学会論文誌 X Vol. J100–D No. 1 pp. 104–114©（社）電子情報通信学会 2017

論文／身体と外見の共起属性を用いた人物対応付け

ここで実際に人が人を探す時に用いる手がかりである属性の組合せについて考察する．例えば，警察庁が公開している行方不明者の情報 [12]，警視庁の公開捜査ファイル [13]，Police Scotland の MissingPer-

sons [14]，Most Wanted [15] では，性別や年代などの身体的な手がかりや，服の種類やサングラスの有無な

20代の男性

半袖で半ズボン

スカートの女性

共起(身体,身体)共起(外見,外見)共起(身体,外見)

ど外見的な手がかりが組合された形で掲載されている．
これらには，身体的な手がかりと外見的な手がかりのFig. 1図 1 身体と外見の共起属性の例
Examples of co-occurrence attributes of physical and adhered human characteristics

組合せ，身体的な手がかり同士の組合せ，外見的な手がかり同士の組合せがある．これらの組合せは人が人を探すうえで有効な特徴であると考えられ，計算機でる．しかし，勾配を用いる手法はカメラに映る人物の人物対応付けの手法を実現する上で有効な特徴量にな姿勢など見え方の変化の影響を受けやすいという問題

ると期待できる．

があり，色を用いる手法は照明色の変動の影響を受けそこで，本論文では，身体的な手がかりや外見的なやすいという問題がある．一方，姿勢や照明の変化に手がかりを組合せることで共起属性を定義し，人物画影響を受けにくい特徴量を目指し人物属性を用いる手像から抽出された共起属性を用いて人物対応付けの性法が提案されている．以下では，性別や髪型や服装な能を向上させる手法について述べる．人が人を探す際

どそれぞれの人物属性を単一属性と呼ぶことにする．

に用いる手がかりを考察することで，共起属性をどの

文献 [6], [7] では，複数の属性が同時に出現する共起のように表現すべきかを決定する．提案手法は，人物画

制約を入れることで単一属性の認識性能を向上させる像が与えられると複数の共起属性の確信度を推定し，手法が述べられている．文献 [10] では，単一属性の識

それらの確信度から人物対応付けの特徴量を抽出し，別性能と人物対応付けの性能を同時に最適化する手法

計量学習を用いて特徴量間の距離を算出する．提案手を提案している．さらに文献 [11] では，ファッション

法の主な貢献点を以下に挙げる．

人物画像に付与された単一属性を転移学習により防犯•

人が人を探す時の知見に基づき身体的な手がかりと外見的な手がかりを用いて共起属性を定義•

カメラ映像の人物対応付けに利用する手法を提案している．また，文献 [8], [9] では，どの単一属性が人物対手がかりのどの組合せが人物対応付けの性能向

応付けに有効であるかを明らかにしている．しかし，上に寄与するかを明らかにするために計量学習で得たこれらの既存手法は人が人を探す際に用いる身体的な計量行列を解析

手がかりと外観的な手がかりの組合せを十分に考慮しさらに，提案手法を用いることで既存手法と比べて人ているとは言えなかった．

物対応付けの性能が向上することを複数の公開データ
ベースを用いた評価で確認した．
以下，2. で関連研究，3. で共起属性の定義，4. で共

3. 共起属性の定義
3. 1 身体の手がかりと外見の手がかりの組合せ

起属性を用いた人物対応付けについて述べる．次に，ここでは提案手法で取り扱う人物の共起属性につい

5. で人物対応付けの性能を評価する．最後に 6. でまて述べる．人が人を探す際，文献 [16], [17] でも述べらとめる．

れているように，身体，外見，行動の 3 種類の手がか

2. 関 連 研 究りが利用されている．身体的な手がかりとはその人固有の特徴であり，性別や年代のように時間的な影響を

ここでは人物対応付けに用いる特徴量について既存ほぼ受けにくいものや，髪型のように数か月単位で個手法を紹介する．まず，勾配や色などの画像特徴を抽

人性に影響を与えるものが含まれる．外見的な手がか出する手法について述べる．文献 [2] では勾配方向ヒりとはその人の見た目の特徴であり，服装やサングラ

ストグラム，文献 [1] では RGB 値ヒストグラム，文スのようにその人物に何らかの物が一時的に取り付け

献 [3] ではそれらの組合せを用いる手法を提案していられることで変化していく．行動的な手がかりとはそる．また，文献 [4] では，勾配や色のフィルタバンクの人の仕草や癖や身振りなど時間方向の変化に含まれから学習で有効な特徴を選択する手法を提案している個人性である．
105電子情報通信学会論文誌 2017/1 Vol. J100–D No. 1

図2

身体 (性別) と外見 (トップス) の共起属性の二値表
現の例
Fig. 2 Binary representation of co-occurrence attributes of physical (gender) and adhered human (tops) characteristics

図 3 身体と外見の共起属性を用いた人物対応付けの流れ
Fig. 3 Flow of person re-identification using cooccurrence attributes

提案手法では，公開 WEB サイト [12]〜[15] にも掲載されているように，人が人を探す際に特に利用されれている．この知見に基づき二値の共起属性を提案手る特徴である身体的な手がかりと外見的な手がかりの法でも用いることで，人物対応付けの実験結果を解析

組合せから共起属性を定義する．二つの手がかりを組し易くすることを狙う．なお提案手法では共起属性の合せる場合，身体的な手がかり同士，外見的な手がか

推定を集団学習 [18] における弱識別器として扱う．各り同士，身体的な手がかりと外見的な手がかりのよう共起属性を独立と仮定すると，共起属性の種類によっに 3 種類が存在する．提案手法は例えば図 1 のようては弱識別器の出力が矛盾する場合も発生するが，こに，身体的な手がかり同士の共起属性である性別と年

こでは弱識別器の設計を単純にしその数を増やすこと

代の組合せの “20 代の男性”，外見的な手がかり同士を考える．多数の弱識別器を用いることで，人物対応の共起属性であるトップスとボトムスの組合せの “半付けに用いる強識別器の性能を高めることを狙う．

袖で半ズボン”，身体的な手がかりと外見的な手がかりの共起属性である性別とボトムスの組合せの “スカートの女性” を用いる．

3. 2 二 値 表 現

4. 共起属性を用いた人物対応付け
4. 1 提案手法の流れ
身体と外見の共起属性を特徴量として用いる人物の身体的な手がかりと外見的な手がかりには，性別 (男対応付け手法について述べる．その流れを図 3 に示性/女性) やサングラス (有/無) のように二値で表されす．まず，共起属性ラベルが教示された訓練サンプル

る属性と，年代 (20 代/30 代/40 代) やトップス (長袖/を用いて属性推定の識別器を事前に学習する．共起属

半袖/スーツ) のように多値で表される属性がある．二性ラベルは，3. で述べた定義に従って正例と負例を決つの手がかりのクラス数を L, M とすると，これらを定する．ただし，共起属性の組合せ数は大量になるた

単純に組合せた後のクラス数は LM となる．提案手め，その訓練サンプルを手動で用意することは容易で法では，組合せの各要素が独立であると仮定し共起属はない．よって，共起属性を生成する際に組合せる二性を二値で表すこととする．例えば，図 2 のように性つの単一属性ラベルを用いて共起属性ラベルの正例と別 (L = 2) とトップスの種類 (M = 3) を組合せる場

負例を自動で割り振る．二つの単一属性の組合せ数が合，二値で表される共起属性が LM = 6 種類ほど出現

LM 種類とすると，共起属性では 1 種類を正例とし，する．それぞれの共起属性は，“長袖の男性である/で残りの LM − 1 種類を負例とする．例えば図 2 の場ない”，“長袖の女性である/でない”，“半袖の男性であ合，正例を長袖の男性とすると，負例には長袖の女性，

る/でない”，“半袖の女性である/でない”，“スーツの半袖の男性，半袖の女性，スーツの男性，スーツの女男性である/でない”，“スーツの女性である/でない”

性が属する．それぞれの共起属性について学習を行いとなる．文献 [17] でも述べられているように，生体認

二値の識別器を生成する．

証の研究分野では二値の属性が多値や連続値の属性と次に，人物対応付けの画像が入力されると，学習し比べて人間にとって直観的に理解しやすいことが知らた識別器を用いて各共起属性の確信度を算出する．算106

論文／身体と外見の共起属性を用いた人物対応付け

出した確信度を結合することで人物対応付けの特徴量

ただし，正例と負例の訓練サンプル数の合計を T とすを決定する．人物画像から抽出された特徴量の間で距ると max，min は hji (j ∈ 1, ..., T ) の最大値と最小値離を求め対応付けの候補を決定する．以下では提案手を返す．最後に，各共起属性の確信度 xi を式 (4) でベ法の詳細について述べる．

クトル化し人物対応付けの特徴量 x を決定する．

4. 2 共起属性の識別器の学習
共起属性ラベルが付与された訓練サンプルについて，

x = [x1 , x2 , ..., xN ]T(4)

正例の枚数は負例の枚数に対し極端に少なくなる場合

4. 4 特徴量間の距離計算がある．一般的に機械学習の手法は，正例と負例の間

人物画像から求めた特徴量間の距離を求める手法にでサンプル数が大きく異なる場合，サンプル数が多い

ついて述べる．特徴量の要素である共起属性の確信度方に学習が偏り，識別精度が低下する．訓練サンプル

は，人物対応付けに寄与するものと寄与しないものがの枚数の不均衡に対応するために，枚数の逆数に応じ存在する．そのため距離計算の際，寄与する要素に大た重みを学習時に与える手法が提案されているが，ここきな重みを与え対応付けの性能を高める手法が提案

では正例と負例の間で枚数が少ないほうにサンプル数されている．文献 [9] では欲張り法を用いて単一属性を揃える手法を採用する．これは予備実験で性能が高に重みづけを行っていたが収束するまでの速度に問かったためである．次に，共起属性の識別のための特題があった．近年では文献 [19] のように計量学習を

徴量を Ensemble of Localized Features(ELF) [4] を用いて人物対応付けの特徴量に重みを与える手法が用いて訓練サンプルから抽出する．共起属性の識別器

提案されている．提案手法では計量学習の手法としてとして二値を判別する線形サポートベクタマシンを用

よく知られている Large Margin Nearest Neighborい，以下では N 種類の共起属性を SVMi (i ∈ 1, ..., N )(LMNN) [20] を使用する．この手法は本人の特徴量をと表記する．

近づけ，別人物の特徴量を遠ざけるように計量行列 M

4. 3 人物対応付けの特徴量の抽出を学習する．特徴量 xa ,xb 間の距離 d は行列 M を用

人物を対応付ける際に用いる特徴量の算出手法について式 (5) で表される．

いて述べる．まず，人物画像が与えられると，各共起属性の識別器を適用し，識別境界面からの符号付き距(5)

距離 d が小さいほど人物画像 a と人物画像 b が似てい離 hi を式 (1) で算出する．

hi = SVMi (e)d2 = (xa − xb )T M(xa − xb )(1)

ここで e は人物画像から算出された ELF 特徴量を表ることを表す．

5. 実験

す．符号付き距離の値が正であれば入力画像が正例に

5. 1 人物対応付けの基本性能の評価

属し値が負であれば負例に属する．提案手法では，一5. 1. 1 評 価 方 法

般的な機械学習の手法と同様に符号付距離の絶対値を提案手法の共起属性を用いた人物対応付け

信頼度とし，その値が大きいほど信頼度が高く，小さの 有 効 性 を 確 認 す る た め に 実 験 を 行 っ た ．こ

いほど信頼度が低いとする．ただし，得られた符号付の実験では公開されている人物画像データ

き距離をそのまま人物対応付けの特徴量の要素とす

ベ ー ス の PETA Dataset [21] を 用 い た ．PETA

ると，各要素で値の取りうる範囲が揃っていないため

Dataset では複数の既存データベース (3DPeS [22],偏りが生じる．ここでは一般的に知られている手法で

CAVIAR4REID [23], CUHK [24], GRID [25], i-

共起属性毎に符号付き距離をスケーリングする．確信

LID [26], MIT [27], PRID [28], SARC3D [29], Town-

度 xi は，式 (2) によって得られた h′i を用いて最小値

Centre [30], VIPeR [31]) に対して様々な単一属性ラ−1 から最大値 1 の範囲に式 (3) で変換することで求ベルが付加されている．評価に用いる身体と外見の手がかりとして，公開 WEB サイト [12]〜[15] と文献 [8]

まる．

h′i =

hi − min hji
max hji − min hji

xi = 2h′i − 1の双方に示されている単一属性を選択した．二値の身(2)

体的な手がかりとして性別，二値の外見的な手がかりとしてサングラス有無，多値の身体的な手がかりとし(3)て髪型と年代，多値の外見的な手がかりとしてトップ
107電子情報通信学会論文誌 2017/1 Vol. J100–D No. 1
表 1 既存手法の実験に用いた単一属性
Table 1 Single attributes for experiments of exsisting method
二値属性
多値属性
身体 (◎) 性別
髪型(男性/女性) (短髪/長髪/禿)年代(30 以下/45 以下/60 以下/60 超)
外見 (●) サングラス トップス
(有/無)(半袖/長袖/スーツ上)
ボトムス(短パン/スカート/スーツ下)スとボトムスの種類を選択し表 1 の合計 15 種類とした．表中の◎は身体的な手がかり，●は外見的な手がかりを表す．なお，公開 WEB サイト [12]〜[15] では色を使った属性が多く用いられているが，文献 [17] で述べられているように色はカメラ間での再現性が難しいため本実験では用いないこととした．次に，単一属性の組合せから共起属性を表 2 の 96 種類で定義した．
表中の (◎◎) は身体的な手がかり同士の共起属性，(●●) は外見的な手がかり同士の共起属性，(◎●) は
身体的な手がかりと外見的な手がかりの共起属性を表す．ただし，単一属性 15 種類の間における全ての組
合せを共起属性として採用するのではなく “トップスがスーツでボトムスが短パン” や “禿げた女性” のように，公開 WEB サイト [12]〜[15] を参考に実シーンであまり出現しない組合せは採用しなかった．このような組合せの人物画像は PETA dataset でも存在しない
か，極端に枚数が少なかった．共起属性の内訳として，
身体同士の組合せが 22 種類，外見同士の組合せが 15
種類，身体と外見の組合せが 59 種類であった．人物対応付けの評価データと属性識別の訓練サンプルを区別するために，図 4 のように PETA Dataset を VIPeRとそれ以外のデータベースに分けた．以下では VIPeR
を用いて人物対応付けの性能を評価し，共起属性の識
別器はそれ以外のデータベースから学習した．VIPeRに含まれる 632 人から 316 人をランダムに選択する
ことで 2 つに分割し，1 つを計量学習に用いて残りを

表 2 提案手法の実験に用いた共起属性
Table 2 Co-occurrence attributes for experiments ofproposed method
45 以下-短パン (◎●)
スーツ上-長袖 (●●)
女性-60 超 (◎◎)
短髪-スーツ下 (◎●)
短髪-半袖 (◎●)
サングラス有-短髪 (◎●)
60 以下-スーツ上 (◎●)
女性-スーツ下 (◎●)
サングラス有-半袖 (●●)
長袖-スーツ下 (●●)
45 以下-長髪 (◎◎)
女性-スーツ上 (◎●)
30 以下-半袖 (◎●)
短髪-スカート (◎●)
男性-スーツ上 (◎●)
60 以下-長髪 (◎◎)
女性-短パン (◎●)
60 以下-長袖 (◎●)
女性-60 以下 (◎◎)
30 以下-スーツ下 (◎●)
サングラス無-スーツ下 (●●)
女性-30 以下 (◎◎)
サングラス無-スーツ上 (●●)
スカート-長袖 (●●)
30 以下-短パン (◎●)
サングラス有-長袖 (●●)
男性-半袖 (◎●)
長髪-長袖 (◎●)
禿-長袖 (◎●)
男性-スーツ下 (◎●)
サングラス無-60 以下 (◎●)
サングラス有-男性 (◎●)
60 超-禿 (◎◎)
サングラス無-スカート (●●)
60 超-スーツ上 (◎●)
短髪-スーツ上 (◎●)
サングラス無-45 以下 (◎●)
60 超-長髪 (◎◎)
45 以下-スカート (◎●)
サングラス無-短髪 (◎●)
男性-禿 (◎◎)
男性-短パン (◎●)
サングラス有-長髪 (◎●)
サングラス無-禿 (◎●)
サングラス無-長髪 (◎●)
30 以下-長髪 (◎◎)
30 以下-長袖 (◎●)
短パン-長袖 (●●)

男性-長髪 (◎◎)
60 以下-半袖 (◎●)
男性-30 以下 (◎◎)
禿-半袖 (◎●)
女性-スカート (◎●)
45 以下-短髪 (◎◎)
男性-長袖 (◎●)
サングラス無-短パン (●●)
60 以下-禿 (◎◎)
サングラス無-長袖 (●●)
女性-45 以下 (◎◎)
45 以下-スーツ下 (◎●)
女性-長袖 (◎●)
男性-60 超 (◎◎)
30 以下-スーツ上 (◎●)
男性-短髪 (◎◎)
短パン-半袖 (●●)
サングラス有-女性 (◎●)
長髪-短パン (◎●)
女性-短髪 (◎◎)
長髪-スーツ下 (◎●)
スーツ上-半袖 (●●)
45 以下-長袖 (◎●)
サングラス有-45 以下 (◎●)
30 以下-短髪 (◎◎)
長髪-スカート (◎●)
60 以下-短髪 (◎◎)
60 超-半袖 (◎●)
45 以下-半袖 (◎●)
女性-半袖 (◎●)
女性-長髪 (◎◎)
スーツ上-スーツ下 (●●)
サングラス無-女性 (◎●)
男性-45 以下 (◎◎)
60 以下-スーツ下 (◎●)
長髪-半袖 (◎●)
サングラス有-30 以下 (◎●)
サングラス無-30 以下 (◎●)
長髪-スーツ上 (◎●)
男性-60 以下 (◎◎)
サングラス無-半袖 (●●)
30 以下-スカート (◎●)
サングラス無-60 超 (◎●)
45 以下-スーツ上 (◎●)
60 超-長袖 (◎●)
サングラス無-男性 (◎●)
短髪-長袖 (◎●)
短髪-短パン (◎●)

人物対応付け用のテストセットとした．このランダム
分割を 10 回行い，各回毎に人物対応付けの性能を評

以内の辞書画像に正しい人物が含まれている割合を表価した．対応付ける際は，各人物につき一枚を辞書画

す．nAUC は CMC 曲線下の面積であり 0 から 100像とし異なる一枚を入力画像とした．評価指標としまでの値をとる．

て，Cumulative Match Characteristic (CMC) 曲線

5. 1. 2 評 価 結 果と normalised area under the CMC curve (nAUC)

評価結果について，CMC 曲線を図 5 に n 位正解率を用いた．CMC は入力画像と距離が近い上位 n 番目と nAUC を表 3 に示す． 比較対象の既存手法として108

論文／身体と外見の共起属性を用いた人物対応付け
表 4 人物対応付けの正解数の比較
Comparing the number of correct answers
for person re-identification

Table 4

共起属性で成功
共起属性で失敗

図 4 実験に用いた PETA Dataset の内訳
Fig. 4 Details of PETA Dataset for experiments
100

Fig. 6n位正解率(%)

80

単一属性で成功 単一属性で失敗
1100
718
144
882

辞書画像

入力画像

単一属性の確信度
性別:-0.54
短パン:0.71

単一属性の確信度
性別:-0.46
短パン:0.46

共起属性の確信度
女性-短パン:0.51

共起属性の確信度
女性-短パン:0.50

図 6 共起属性で対応付けに成功した例
Examples of correct matching using cooccurrence attributes

60
共起属性
40

単一属性

ポイント，ELF と比較して 25.4 ポイント性能が向上

20

単一属性改

している．また，nAUC が単一属性を用いる既存手法

ELF
0

1

と比較して 6.5 ポイント，ELF と比較して 13.8 ポイ
316

ランク(n)

手法の共起属性を用いた人物対応付けが有効であるこ

図 5 VIPeR の CMC 曲線
Fig. 5 CMC curve of VIPeRとが分かった．

表 3 共起属性と単一属性の n 位正解率と nAUC の比較
Table 3 Comparing nAUC between single or cooccurrence attributes
共起属性
単一属性
単一属性改
ELF

n=1
11.3
5.5
1.2
10.1

n=5
32.0
19.2
5.4
21.7

n = 10
45.6
29.8
9.4
28.2

n = 20
63.9
43.9
17.8
38.5

ント向上していることが確認できる．以上より，提案

nAUC
91.6
85.1
68.5
77.8

次に，提案手法と既存手法で対応付けに成功した人
物数の違いについて比較した．共起属性を用いた手法
でのみ成功した人数，単一属性を用いた手法のみで成功した人数，共に成功した人数，共に失敗した人数を
表 4 に示す．ここでは CMC が n = 20 の時を対象とした．この結果から単一属性で失敗し共起属性で成功した人数が，単一属性で成功し共起属性で失敗した人数と比較しておよそ 5 倍あることが分かった．図 6 に単一属性 [8] と画像特徴量の ELF [4] を用いた．ただ

単一属性で失敗し共起属性で成功した人物画像の例をし，本実験で用いた単一属性の実装は文献 [8] と基本的挙げる．この人物画像は短パンを着用した女性であるな流れは同じであるが，表 1 に記載されている単一属ことが特徴的であるが，それらの属性に対する確信度性を用いたこと，属性識別器の特徴量が ELF であるをみると，単一属性と比べて共起属性の方が辞書と入こと，人物対応付けの重み計算が LMNN であること

力との間で差が小さいことから，対応付けに共起属性が異なる．このように実装は異なるものの表 3 の単一が有効に働いたと考えられる．

属性を用いた人物対応付けの性能は，文献 [8] の Table

最後に，身体同士，外見同士，または，身体と外見

2 の条件 W.AIR に記載されている結果とほぼ同等での組合せの内どれが人物対応付けに有効であるかを検あった．さらに比較のため，文献 [7] で述べられてい証した．全ての組合せを用いた表 3 の共起属性 96 種

る context-level attribute classifier の共起の取り方

類から特定の組合せを除くことで以下の 4 パターンをを単一属性に組み込んだ実験を行った (単一属性改)．

設定した．

図 5 より，提案手法の共起属性は既存手法と比較する•

P1: 除外なし (共起属性 96 種類)と人物対応付けの性能が向上していることが分かる．

•

P2: 身体と外見の組合せ 59 種類を除外

また，単一属性改の共起の取り方では性能が大きく低•P3: 身体同士の組合せ 22 種類を除外

下することが分かった．表 3 より，n = 20 の時に注•P4: 外見同士の組合せ 15 種類を除外

目すると，単一属性を用いる既存手法と比較して 20.0

パターン P4 は表 3 の共起属性と同じである．実験結109

電子情報通信学会論文誌 2017/1 Vol. J100–D No. 1
表 5

手がかりの組合せ方の違いによる n 位正解率とnAUC (全 96 種類から除外)
Table 5 Comparison of n-th accuracy rate andnAUC due to diﬀerences in combinations ofclues selected from all 96 attributes
P1
P2
P3
P4

n=1
11.3
7.9
9.9
11.6

n=5
32.0
24.5
29.5
30.6

n = 10
45.6
37.4
42.1
44.0

n = 20
63.9
54.1
58.6
60.5

nAUC
91.6
89.2
90.9
91.4

使用する場合と比較すると，表 5 と表 6 のいずれのパターンも性能が低下している．従って，人物対応付けの性能には，身体的な手がかりと外見的な手がかりの組合せの影響が大きいが，身体的な手がかり同士や外見的な手がかり同士の組合せも影響があることが分かった．

5. 2 計量行列の解析
5. 2. 1 解 析 方 法
人物対応付けに有効な単一属性と共起属性を調査す

表 6

手がかりの組合せ方の違いによる n 位正解率とnAUC (全 45 種類から除外)
Table 6 Comparison of n-th accuracy rate andnAUC due to diﬀerences in combinations ofclues selected from 45 attributes
P’1
P’2
P’3
P’4

n=1
5.7
4.5
5.3
4.1

n=5
20.0
16.1
17.7
14.7

n = 10
31.2
25.7
28.6
23.7

n = 20
46.7
39.8
43.4
36.5

nAUC
87.0
83.9
85.7
82.3

るために，LMNN で得られた計量行列 M を解析する．まず解析の流れについて述べる．行列 M は半正定値行列であるため式 (6) に変形できる．

M=

N
∑

λi q i q i T

(6)

i=1

ここで，λi は固有値を表し q i は固有ベクトルを表す．
固有値 λi が大きいほどその固有値に対応する i 番目

果について n 位正解率と nAUC を表 5 に示す．ただし，この結果は除外する共起属性の数の違いに影響されることも考えられるため，共起属性の数を揃えた場
合についても実験を行った．外見同士の組合せが 15
種類と最小であったため，他の組合せをそれぞれラン
ダムに 15 種類ほど選択した．これら共起属性 45 種類の固有ベクトルが行列 M をよく表しており，特徴量間の距離を算出する際に大きな影響を及ぼす．m 番目に大きい固有値 λm までの累積寄与率 Cm は式 (7) で
決まる．

Cm =

m
∑

λi

∑N

i=1

j=1

(7)
λj

から以下の 4 パターンを設定した．

•

P’1: 除外なし (共起属性 45 種類)•

P’2: 身体と外見の組合せ 15 種類を除外•

P’3: 身体同士の組合せ 15 種類を除外•

P’4: 外見同士の組合せ 15 種類を除外

ランダム選択の影響を避けるために試行を 5 回行い，さらに，固有ベクトル q i 中の n 番目の要素 qi,n がその固有ベクトルの中でどの程度の距離計算に役割を果
たすかについて重み割り合い wi,n を式 (8) で求める．

|qi,n |
wi,n = ∑N|q |j=1 i,j(8)

n 位正解率と nAUC の平均を求めた結果を表 6 に示す．表 5 の P1 と P4 を比較すると性能がほとんど低降順ソートされた wi,1 から wi,n までの和である累積

下していないのに対し，表 6 の P’1 と P’4 を比較す

重み割り合い Wi,n を式 (9) で求めることで，n 番目

ると性能が大きく低下していた．このことから，外見までの要素がある固有ベクトルの中で占める割合がわ同士の組合せは対応付けの性能に寄与するが，表 5 のかる．

実験のように他の組合せと比べて数が小さい場合は影響が少なくなることが分かった．一方で，P1 と P2 お
よび P’1 と P’2 を比較すると，共に対応付けの性能が低下していることが分かる．このことから，身体的なWi,n =

n
∑

wi,j

(9)

j=1

5. 2. 2 解 析 結 果

手がかりと外見的な手がかりの組合せは，人物対応付

共起属性の計量行列と単一属性の計量行列との間で，けの性能に影響が大きいことが分かる．提案手法の共累積寄与率と累積重み割合が同等になる場合について起の取り方では，身体と外見の組合せ数が他の組合せ比較した．共起属性の計量行列として，組合せ数を揃数に対して大きくなる場合が多いため，性能への影響えた表 6 のパターン P’1 の実験で生成したものを用いが増えてくると考えられる．ただし，全ての組合せをた．単一属性の計量行列として，表 3 の実験で生成し110

論文／身体と外見の共起属性を用いた人物対応付け

累積寄与率

累積寄与率

0.5

0.0

計量行列の解析で得られた性能に寄与する共起属性の例
Table 7 Co-occurrence attributes contributed to theperformance of person re-identification

1

0.0

15

0.0
1
15
単一属性の第1固有ベクトルの要素数1(a) 試行 1

45
共起属性の固有ベクトル数

1.0

1.0
累積重み割合

0.5

試行1
試行2
試行3
試行4
試行5

0.5

単一属性の固有ベクトル数

累積重み割合

表7

1.0

1.0

0.5

試行1
試行2
試行3
試行4
試行5

0.0

1
45
共起属性の第1固有ベクトルの要素数

図7

単一属性の計量行列と共起属性の計量行列に対する累積寄与率と累積重み割合
Fig. 7 Cumulative contribution ratio and cumulative
weight ratio of attributes.

たものを用いた．ただし，前節までの実験では VIPeRに含まれる 316 人のデータから計量行列を生成していたが，この実験では VIPeR の全データ 632 人分から

第 1 固有ベクトルスーツ下-長袖 (●●)
サングラス無-スーツ下 (●●)
45 以下-長髪 (◎◎)
サングラス無-スーツ上 (●●)(b) 試行 2

第 1 固有ベクトルスーツ下-長袖 (●●)
サングラス無-スーツ下 (●●)
短髪-半袖 (◎●)
短髪-スカート (◎●)
短髪-スーツ上 (◎●)

率と累積重み割合を図 7 に示す．この実験では，累積寄与率 Cm が 0.4 を超えるまでの固有値に対応する固(d) 試行 4

第 1 固有ベクトルスーツ下-長袖 (●●)
サングラス無-スーツ下 (●●)
60 超-半袖 (◎●)

有ベクトルを解析することとした．単一属性では第 1
固有ベクトルのみが該当し，共起属性では各試行とも
第 1 から第 2 固有ベクトルが該当した．累積重み割合

Wi,n は 0.2 を超えるまでの要素を対象とし，単一属性
では第 1 固有ベクトルから 1 要素，共起属性では第 1
固有ベクトルから平均で 4 要素，第 2 固有ベクトルか
ら平均で 4 要素が該当した．選ばれた共起属性の各要

第 2 固有ベクトル短パン-長袖 (●●)
スーツ下-半袖 (●●)
サングラス無-スカート (●●)
サングラス無-長袖 (●●)(c) 試行 3
第 1 固有ベクトル
第 2 固有ベクトルスーツ下-長袖 (●●)
短髪-スーツ下 (◎●)
45 以下-長髪 (◎◎)
45 以下-サングラス無 (◎●)
女性-スカート (◎●)
60 以下-サングラス無 (◎●)
サングラス無-短パン (●●)
30 以下-短髪 (◎◎)

計量行列を生成した．単一属性の計量行列，および，パターン P’1 の試行毎の計量行列について，累積寄与

第 2 固有ベクトルサングラス無-長袖 (●●)
短パン-長袖 (●●)
短髪-スーツ下 (◎●)
60 超-サングラス無 (◎●)

第 2 固有ベクトル禿-半袖 (◎●)
30 以下-サングラス無 (◎●)
短髪-短パン (◎●)
スーツ下-半袖 (●●)
女性-半袖 (◎●)(e) 試行 5

第 1 固有ベクトルスーツ下-長袖 (●●)
45 以下-短パン (◎●)
サングラス無-スーツ下 (●●)
サングラス無-スーツ上 (●●)

第 2 固有ベクトルスーツ下-スーツ上 (●●)
サングラス無-長袖 (●●)
短パン-長袖 (●●)
30 以下-長髪 (◎◎)
45 以下-スカート (◎●)

素については表 7 に示す．なお，解析対象となる単一属性の 1 種類は短髪であった．この結果から，8 種類

体同士の共起属性との間で有意な差がみられた．なお，の共起属性が 1 種類の単一属性に相当する重みを有しCm が 0.6 を超えるまででかつ Wi,n が 0.3 を超えるており，共起属性が人物の特徴をより詳細に表現してまでとした実験を行った結果，身体と外見の共起属性いると考えられる．次に表 7 の各要素について，身体が 41 種類，身体同士の共起属性が 22 種類，外見同士と外見の組合せ数，身体同士の組合せ数，外見同士のの共起属性が 44 種類となり，種類の数は増えたもの

組合せ数を比較した．その結果，身体と外見の共起属の同様の傾向が見られた．以上より，組合せ数を揃え性が 16 種類，身体同士の共起属性が 4 種類，外見同た場合には，身体的な手がかりと外見的な手がかりの士の共起属性が 22 種類であった．各組合せの総数は組合せ，および，外見的な手がかり同士の組合せが人

15(共起属性数)×2(固有ベクトル数)×5(試行数)=150

物対応付けに有効であることが分かった．

であった．表 8 に Fisher の直接確率法による p 値と次に，手がかりの組合せ数が異なる表 5 の P1 の実

オッズ比を示す．その結果，身体と外見の共起属性と験で生成した計量行列について同じ Cm , Wi,n の設定

身体同士の共起属性との間，外見同士の共起属性と身で解析した．その結果，身体同士の共起属性が 6 種類，
111電子情報通信学会論文誌 2017/1 Vol. J100–D No. 1
表 8 Fisher の直接確率法による p 値およびオッズ比の比較
Table 8 Comparing p-value using Fisher’s exact test
and odds ratio

示す．この結果より，全てのデータベースにおいて提該当数 非該当数
身体と外見の組合せ
16134
身体同士の組合せ
4146
p 値=0.0092，オッズ比=4.34が分かった．特に人物対応付けの評価に広く用いられ案手法の共起属性を用いた人物対応付けが既存手法の単一属性を用いた人物対応付けよりも有効であることている i-LID や PRID においても提案手法が有効であることが分かった．

6. お わ り に

該当数 非該当数
外見同士の組合せ
22
128
身体同士の組合せ
4146
p 値=0.0003，オッズ比=6.24

本論文ではカメラ間の人物対応付けを目的として身体と外見の共起属性を用いる手法を述べた．人が人を探す際の知見をもとに身体的な手がかりと外見的な手該当数 非該当数
外見同士の組合せ
22
128
16
134
身体と外見の組合せ
p 値=0.6861，オッズ比=1.44

がかりの組合せから共起属性を設計した．実験結果より，共起属性を用いる提案手法が単一属性を用いる既存手法と比較して人物対応付けの性能向上に有効であ

表9

複数の公開データベースを用いた人物対応付けの n
位正解率と nAUC の比較
Table 9 Comparing nAUC on multiple public
datasets for person re-identification

Dataset手法 n = 1

共起
単一
CAVIAR 共起
4REID
単一
GRID
共起
単一
i-LID
共起
単一
PRID
共起
単一
SARC3D 共起
単一
Town
共起
Centre
単一
3DPeS

20.0
14.1
24.7
15.6
18.9
10.1
20.9
10.7
8.9
4.1
60.9
50.0
32.3
18.4

n=5

n = 10n = 20

nAUC

39.8
31.2
55.8
40.7
46.4
30.9
46
32.8
28.5
19.5
94.5
90.3
49.9
35.1

51.0
42.2
72.3
59.2
65.1
45.2
60.7
48.4
44.2
31.4
98.9
98.4
57.8
44.2

65.0
56.9
90.1
80.2
80.3
62.5
77.6
68.3
61.3
50.6
99.5
99.9
67.6
55.1

78.6
74.2
81.7
72.9
89.9
81.9
81.2
73.7
78.7
71.3
96.5
94.7
82.5
74.6

ることを複数の公開データベースを用いて確認した．
また，人物対応付けに寄与する共起属性を明らかにするために，計量行列の解析を行い，身体的な手がかりと外見的な手がかりのどの組合せが有効であるか確認
した．
今後の課題として，性能に寄与する共起属性の種類の解析，3 種類以上の属性の組合せから共起をとる場
合の検証，共起属性と低次特徴量との組合せによる人物対応付けの性能向上が挙げられる．
文
[1]

献

C. Nakajima, M. Pontil, B. Heisele, and T. Poggio.
Full-body person recognition system. Proceedings ofPattern recognition, Vol. 36, No. 9, pp. 1997–2006,
2003.

[2]

X. Wang, G. Doretto, T. Sebastian, J. Rittscher, and
P. Tu. Shape and appearance context modeling. Proceedings of International Conference on Computer

外見同士の共起属性が 3 種類，身体と外見の共起属性

Vision, pp. 1–8, 2007.
[3]

が 13 種類であった．身体と外見の共起属性の数は多M. Cristani. Person re-identification by symmetrydriven accumulation of local features. Proceedings

いものの Fisher の直接確率法で検定したところ組合

of Computer Vision and Pattern Recognition, pp.

せ数の違いにより有意な差はみられなかった．このため，表 2 の 96 種類の共起属性を用いた場合はどの組

2360–2367, 2010.
[4]

合せ方も性能に寄与していると考えられる．

D. Gray and H. Tao. Viewpoint invariant pedestrianrecognition with an ensemble of localized features.
Proceedings of European Conference on Computer

5. 3 複数データベースにおける性能向上の確認
これまでの実験で用いた VIPeR 以外のデータベー

M. Farenzena, L. Bazzani, A. Perina, V. Murino, and

Vision, pp. 262–275, 2008.
[5]

スでも提案手法が有効に働くことを確認するため

W. Li, R. Zhao, T. Xiao, and X. Wang.

Deep-

reid: Deep filter pairing neural network for personに，3DPeS，CAVIAR4REID，GRID，i-LID，PRID，

re-identification. Proceedings of IEEE Conference

SARC3D，TownCentre で人物対応付けの性能を評価

on Computer Vision and Pattern Recognition, pp.

した．VIPeR を用いた実験と同様に人物対応付けの152–159, 2014.
[6]

J. Roth and X. Liu. On the exploration of joint at-

評価データベースと属性識別の訓練サンプルを分け

tribute learning for person re-identification. Proceed-

た．実験結果について n 位正解率と nAUC を表 9 にings of 12th Asian Conference on Computer Vision,

112

論文／身体と外見の共起属性を用いた人物対応付け
pp. 673–688, 2014.
[7]

[24]

A poselet-based approach to attribute classification.

dling. Proceedings of Computer Vision and Pattern

puter Vision, pp. 1543–1550, 2011.

Recognition, pp. 3258–3265, 2012.
[25]

[10]

identification by attributes. Proceedings of British

standing. International Journal of Computer Vi-

R. Layne, T. Hospedales, and S. Gong.

sion, Vol. 90, No. 1, pp. 106–129, 2010.
Per-

[26]

identification by video ranking. Proceedings of Euro-

identification, pp. 93–117, 2014.

pean Conference on Computer Vision, pp. 688–703,
2014.

K. Sameh, K. Cheng-Hao, K.S. Vivek, Vinay D.S.,
Joint learning for attribute-[27]

Proceedings of

ECCV Workshop on Visual Surveillance and Re-

a semantic representation for person re-identification

native classification. pp. 91–102. 2011.
[29]

Proceedings of the IEEE Conference

4184–4193, 2015.

生 活 安 全 の 確 保.

[14]

identification. pp. 197–206. 2011.
[30]

B. Benfold and I. Reid. Stable multi-target tracking
in real-time surveillance video. pp. 3457–3464, 2011.

https://www.npa.go.jp/[31]

safetylife/seianki/fumei/index.html.

D. Baltieri, R. Vezzani, and R. Cucchiara. Sarc3d:
a new 3d body model for people tracking and re-on Computer Vision and Pattern Recognition, pp.

警 察 庁.

M. Hirzer, C. Beleznai, P. M Roth, and H. Bischof.
Person re-identification by descriptive and discrimi-

Z. Shi, T.M. Hospedales, and T. Xiang. Transferringand search.

C. Papageorgiou and T. Poggio. A trainable systemfor object detection. 2000.

[28]

Identification, pp. 134–146, 2014.

[13]

T. Wang, S. Gong, X. Zhu, and S. Wang. Person re-son re-identification. chapter Attributes-Based Re-

consistent person re-identification.

[12]Time-delayedcorrelation analysis for multi-camera activity under-and Larry S.D.

[11]

C.C. Loy, T. Xiang, and S. Gong.

R. Layne, T. Hospedales, and S. Gong. Person reMachine Vision Conference, pp. 93–117, 2012.

[9]

A discriminative deepmodel for pedestrian detection with occlusion han-Proceedings of International Conference on Com[8]W. Ouyang and X. Wang.

L. Bourdev, S. Maji, and J. Malik. Describing people:

警 視 庁. 公 開 捜 査 フ ァ イ ル. http://www.keishicho.
metro.tokyo.jp/jiken/jiken.htm.
Police Scotland.
Missing persons.
http://www.
scotland.police.uk/whats-happening/missingpersons/D. Gray, S. Brennan, and H. Tao. Evaluating appearance models for recognition, reacquisition, andtracking. Proceedings of Performance Evaluation of
Tracking and Surveillance, pp. 1–7, 2007.

（平成 xx 年 xx 月 xx 日受付）

james-barr.
[15]

Police Scotland. Most wanted. http://www.scotland.
police.uk/whats-happening/most-wanted/.

[16]
[17]

川西康友, 新村文郷, 出口大輔, 村瀬洋. サーベイ論文：画像からの歩行者属性認識. 信学技報, pp. 117–127.
A. Dantcheva, C. Velardo, A.D. Angelo, and J. Dugelay.

中野

Bag of soft biometrics for person identifica-

2014 鳥取大学工学部卒業．2016 鳥取大学大学院工学研究科情報エレクトロニクス専攻博士前期課程了．2016 三菱電機インフォメーションネットワーク株式会社に勤務．

tion. Journal of Multimedia Tools and Applications,Vol. 51, No. 2, pp. 739–777, 2011.
[18]
[19]

翔太

麻生英樹, 津田宏治, 村田昇. パターン認識と学習の統計学―新しい概念と手法. 岩波書店, 2003.
S. Liao and S.Z. Li. Eﬃcient psd constrained asymmetric metric learning for person re-identification.
Proceedings of International Conference on Com-四元

puter Vision, pp. 11–18, 2015.
[20]

K.Q. Weinberger, J. Blitzer, and L.K. Saul.

昭和 50 年生．平成 8 年国立鹿児島工業
高等専門学校情報工学科卒業．同年，メルDis-tance metric learning for large margin nearest neigh-distance. pp. –, 2014.

コ・パワー・システムズ株式会社入社．平成 15 年放送大学卒業．平成 26 年より鳥取大学大学院工学研究科情報エレクトロニ
クス専攻博士後期課程に在学中．主に映像蓄積配信・人物追跡に関する研究開発に従事．情報処理学会

D. Baltieri, R. Vezzani, and R. Cucchiara. 3dpes: 3d

会員

bor classification. Journal of Machine Learning, pp.
207–244, 2009.
[21]

Yubin Deng, Ping Luo, Chen Change Loy, and Xiaoou Tang. Pedestrian attribute recognition at far

[22]

辰平

people dataset for surveillance and forensics. 2011.
[23]

D.S. Cheng, M. Cristani, M. Stoppa, L. Bazzani,
and V. Murino. Custom pictorial structures for reidentification. Proceedings of British Machine Vision Conference, p. 6, 2011.

吉村

宏紀

（正員）

1993 年鳥取大学工学部知能情報工学科卒業．1997 年鳥取大学大学院工学研究科

113電子情報通信学会論文誌 2017/1 Vol. J100–D No. 1
博士後期課程情報生産工学専攻修了．博士(工学)．現在鳥取大学大学院工学研究科情報エレクトロニクス専攻，助教．画像，音声信号処理の研究に従事．電気学会，情報処理学会の会員．

西山 正志（正員：シニア会員）

2002 岡山大学大学院博士前期課程了．
株式会社東芝研究開発センターを経て，現在鳥取大学大学院工学研究科准教授．学際
情報学博士（東京大学）．画像認識，拡張現実感の研究に従事．2006 本会パターン認
識・メディア理解研究会研究奨励賞, 2007

画像センシングシンポジウム優秀論文賞 2009 山下記念研究賞などを受賞．情報処理学会会員

岩井 儀雄

（正員）

1992 年 (平成 4 年) 大阪大学基礎工学
部情報工学科卒業．1997 年 (平成 9 年) 大
阪大学大学院基礎工学研究科博士課程後期修了．同年同大学院助手．2003 年 (平成15 年) 同大学院助教授．2004 年 (平成 16年)5 月〜2005 年 (平成 17 年)3 月英国ケ
ンブリッジ大学客員研究員．2007 年 (平成 19 年) 同大学院
准教授．2011 年 (平成 23 年）鳥取大学大学院工学研究科教授．コンピュータビジョン，パターン認識の研究に従事．博士
（工学）

菅原 一孔

（正員）

昭和 31 年生．昭和 56 年東京工業大学
大学院理工学研究科電子物理工学専攻修士課程修了．同年神戸市立工業高等専門学校
電気工学科講師．同校助教授を経て平成 6
年鳥取大学工学部電気電子工学科助教授，
現在，同大学大学院工学研究科情報エレク
トロニクス専攻教授．計算機工学に関する研究に従 事．平成22 年 日刊工業新聞社 モノづくり連携大賞，平成 21 年 船井ベ
ストペーパー賞，平成 21 年 総務大臣賞 産学官連携功労者表
彰，平成 20 年 総務大臣表彰 U-Japan 大賞など受賞．工学博士．情報処理学会会員

114