論文

低解像度に劣化した画像を用いた人物対応付けにおける
ダウンサンプリング処理の効果検証遠藤拓弥†

西山 正志†,†† a)岩井儀雄†,††

Investigation of downsampling technique for person re-identification using low resolution images
Takuya ENDO† , Masashi NISHIYAMA†,††a) , and Yoshio IWAI†,††

あらまし 本論文では，低解像度の人物画像に合わせてダウンサンプリングを施す前処理を用いることで，人物対応付けの精度が改善されるかどうかを検証する．解像度変動の影響を受けにくい特徴量を抽出するために，
学習ベースのアプローチを適用することが一般的である．ただし，同一人物について高解像度画像と低解像度画像のペアを大量に準備しなければならない課題がある．本論文では，高解像度画像と低解像度画像のペアが収集できない状況を想定し，特徴抽出の前処理としてダウンサンプリングを用いることで，低解像度画像でも安定に人物を対応付けることを狙う．カメラレンズの焦点距離，および，人物からカメラまでの距離を変化させた場合のデータセットを新たに構築し，低解像度画像に合わせるダウンサンプリングが，高解像度画像に合わせるアッ
プサンプリングと比べて，人物対応付けの精度改善に大きく寄与することを確認した．また，ダウンサンプリングで得られる低周波成分に，個人性を表す特徴が多く含まれることをシミュレーション実験で確認した．
キーワード

人物対応付け，低解像度画像，ダウンサンプリング

1. は じ め に
安心かつ安全な社会に向けて，様々な場所に設置された防犯カメラを用いて，人物を対応付けるシステム

らず，カメラレンズの性能や，カメラが設置された位置により大きく変化する．低解像度で画像が撮影された場合，その人物を表す個人性を抽出することが難し
くなり，対応付けの精度が低下していく．

が求められている．このシステムにより，迷子の捜索

低解像度の人物画像が引き起こす問題に対して，解や，不審者の経路予測を行うことが期待されている．

像度変動を考慮した人物対応付けの既存手法 [6]〜[10]人物対応付けシステムを実現する上で重要となるポが提案されている．これらの既存手法は，同一人物のイントは，映像中の人物画像から，その人物の個人性

高解像度画像と低解像度画像のペアを訓練サンプルとを表す特徴量を如何に抽出するかである．このためにする学習ベースのアプローチを用いている．解像度変様々な既存手法 [1]〜[5] が提案されている．特徴量を動を学習することで，対応付け精度の維持向上を図っ

安定に抽出するため，高解像度で撮影された人物画像ている．ただし，学習ベースのアプローチを適用するを用いることが望ましい．高解像度画像には，その人ためには，高解像度画像と低解像度画像のペアを大量物を表す個人性が多く含まれており，対応付けを正しに準備する必要があり，それらの収集に手間が非常にく行える可能性は一般的に高い．しかし，防犯カメラ

かかる課題がある．

から獲得される人物画像の解像度は，常に一定とは限†

鳥取大学大学院持続性社会創生科学研究科，鳥取市
Graduate School of Sustainability Science, Tottori University, Tottori 680-8550, Japan††

そこで本論文では，大量の訓練サンプルを必要とす
る学習ベースのアプローチではなく，人物画像そのも

鳥取大学大学院工学研究科，鳥取市
Graduate School of Engineering, Tottori Universitya) E-mail: nishiyama@tottori-u.ac.jp

のにリサンプリング処理を施すアプローチを採用する
ことで，人物対応付けの精度が改善されるかどうかを検証する．高解像度画像と低解像度画像のペアからなる訓練サンプルが収集できない状況でも，リサンプリ

電子情報通信学会論文誌 A Vol. J103–A No. 12 pp. 1–10 ©（社）電子情報通信学会 20201

電子情報通信学会論文誌 2020/12 Vol. J103–A No. 12

ング処理は単純に適用できる利点がある．リサンプリ
ングの具体的な処理として，高解像度画像に合わせる

C1

C2

辞書側をダウンサンプリング

入力側をアップサンプリング

アップサンプリング，および，低解像度画像に合わせ対応付けるダウンサンプリングが考えられる．本論文では，ど対応付けちらのアプローチが精度改善に適しているかを検証す
る．このために，カメラレンズと設置位置を変化させた場合の評価データセットを新たに構築した．実験結果より，低解像度画像に合わせるダウンサンプリング
が，高解像度画像に合わせるアップサンプリングと比べて，人物対応付けの精度改善に大きく寄与することを確認した．以下では，2. で関連研究について述べ，

入力
低解像度

辞書
高解像度

入力
低解像度

辞書
高解像度

図1

ダウンサンプリングを用いる手法 (C1) とアップサ
ンプリングを用いる手法 (C2) の概念図．
Fig. 1 Overview of a dawnsampling method (C1) anda upsampling method (C2).

3. でダウンサンプリングが有効であることを実験的に示し，4. と 5. にてその理由を周波数解析を用いて調は実応用において非常に手間がかかる．本論文では，査する．最後に 6. でまとめる．

訓練サンプルが必要となる学習ベースのアプローチで

2. 関 連 研 究
解像度変動を考慮した人物対応付けの既存手法について述べる前に，目的が関連している顔認識の分野における解像度のサーベイ論文 [11] を挙げる．この文
献では，低解像度の課題に対応するために二つのアプローチが存在すると述べられている．近年では，これはなく，前処理であるリサンプリングを人物画像に施すアプローチを採用することで，対応付け精度の改善を狙う．

3. 人物対応付けにおけるリサンプリングの効果検証
3. 1 比較するリサンプリング手法

らのアプローチに基づき様々な手法が提案されている．

人物対応付けシステムでは，様々な解像度の人物画

第 1 アプローチ [12], [13] では，解像度の影響を受けに像が，辞書側と入力側に与えられる可能性がある．本

くい特徴空間を設計し，その特徴空間において認識処論文では問題設定を単純にするため，辞書側には高解理を行っている．第 2 アプローチ [14], [15] では，低解像度の人物画像が与えられ，入力側には低解像度の人像度の画像を高解像度に変換することで，高解像度の物画像が与えられる条件とする．辞書側と入力側との画像同士で認識処理を行っている．これらのアプロー

間で人物画像の対応付けはまだ完了していないため，

チは顔認識において大きな成果を収めているが，人物同一人物であるかどうかは定まっていない状況である．

対応付けでも同様のアプローチを採用した既存手法が本論文では，以下の二つのリサンプリング処理についいくつか提案されている．

て，対応付け精度の比較を行う．

人物対応付けのための第 1 アプローチとして，解像<C1> 辞書側の高解像度画像を，入力側の低い解像度の影響を受けにくい特徴空間を設計するために，既度に合わせてダウンサンプリングする．その後，低解存手法 [6]〜[8] が提案されている．同一人物の高解像像度になった辞書画像と，元の低解像度の入力画像と度画像と低解像度画像のペアを訓練サンプルとし，解の間で対応付けを行う．

像度変化に影響を受けにくい特徴量を抽出するための<C2> 入力側の低解像度画像を，辞書側の高い解像

統計的な学習手法が採用されている．第 2 アプローチ

度に合わせてアップサンプリングする．その後，高解として低解像度の画像を高解像度に変換するために，像度になった入力画像と，元の高解像度の辞書画像と既存手法 [9], [10] が提案されている．第 1 アプローチの間で対応付けを行う．

と同様に，同一人物の解像度ペアを訓練サンプルとし，比較手法 C1 および C2 の概要を図 1 に示す．本論文

統計的な学習を組み込んだ超解像が採用されている．

では，C1 のダウンサンプリングと C2 のアップサン

どちらのアプローチにおいても，解像度ペアの訓練

プリングの具体的な処理として，ともにバイリニア

サンプルを大量に準備することができれば，人物対応

補間を適用する．さらに C2 では，Super-resolution

付けの精度を大幅に高められると期待できる．ただconvolutional neural network (SRCNN) [16] を適用

し，解像度ペアの訓練サンプルを大量に収集することした場合も評価する．

2

論文／低解像度に劣化した画像を用いた人物対応付けにおけるダウンサンプリング処理の効果検証

3. 2 人物画像の解像度を低くする要因の考察

135 mm – 18 mm

リサンプリング処理を用いた場合の対応付け精度を167.3 cm

検証するにあたり，辞書側と入力側に与える人物画像のデータセット構築が必要となる．データセット構築の指針を決めるために，実環境で解像度が低下する要因を考える．代表的な要因として，カメラレンズが変化する場合，および，カメラ位置が変化する場合が挙げられる．以下，それぞれについて詳細を述べる．

15 m

0m

図 2

カメラレンズの焦点距離を変化させた場合の撮影
概要．
Fig. 2 Camera setting when changing the focal
length of the camera lens.

カメラレンズが解像度に与える影響を考える．カメラの性能は目覚ましく進歩しており，大多数のカメラ
センサは大量の画素数をもつ．このため，撮影された

人物1

画像自体は高解像度となることが一般的である．ただし，防犯カメラは一台のカメラで広い視野をカバーしており，一人あたりの人物画像の解像度は低くなるこ

地点1とが多い．よって，カメラセンサの画素数が多いとしても，カメラレンズの焦点距離が異なる場合には，人

人物2

物画像の解像度は低下する．具体的には，焦点距離の短い広角レンズを装着している場合に人物画像の解像度は低くなる．一方，望遠レンズを装着している場合には人物画像の解像度が高くなる．
次にカメラ位置が解像度に与える影響を考える．防人物1

犯カメラが設置される位置は，人物を見守る状況や目的に応じて様々に変化する．例えば，車両の入り口のように特定箇所を見守る場合，カメラは人物に近い位

地点2置に設置される．また，空港ロビーのような広い空間
を見守る場合，カメラは見晴らしの良い離れた場所に人物2設置される．カメラに装着されたレンズが同一だとす
ると，カメラから人物までの距離が近い場合は高解像度になり，距離が遠い場合は低解像度になる．
以下では，カメラレンズの焦点距離が変化した場
合，また，人物からカメラまでの距離が変化した場合について，人物対応付けの評価データセットを構築し

焦点

135

70

35

18

図 3 カメラレンズの焦点距離を変化させた場合の人物画
像の例．
Fig. 3 Examples of person images when changing the
focal length of the camera lens.

ていく．

3. 3 評価データセットの構築
3. 3. 1 レンズの焦点変化

メラまでの距離は 15 メートルと固定した．カメラを

カメラレンズの焦点距離を変化させた場合につい

床から 167.3 センチメートルの位置に配置した．カメて，人物画像の撮影概要を図 2 に示す．入力側の人

ラは Sony α6300 を，レンズは E 18-135mm F3.5-5.6

物画像を撮影する際，レンズの焦点距離を 135 ミリ

OSS を用いた．外光の影響を受けない屋内の異なる 5メートル，70 ミリメートル，35 ミリメートル，18地点で撮影を行った．撮影人数は 20 名 (男性 17 名，

ミリメートルに変化させた．撮影された人物画像の女性 3 名) とし，撮影時には直立姿勢をとるよう指示

平均サイズは，それぞれの焦点距離で (58.3, 186.3)，

した．人物の外接矩形を人手で教えることで人物画像(31.3, 100.5)，(15.4, 49.5)，(7.2, 24.2) 画素であった．

を映像から抽出した．本データセットにおける人物画

辞書側の人物画像として，別の時刻に獲得した焦点距像の例を図 3 に示す．図中から，焦点距離が短くなる

離 135 ミリメートルの撮影条件を用いた．人物からカにつれ人物画像の解像度が低くなることが分かる．
3電子情報通信学会論文誌 2020/12 Vol. J103–A No. 12

3. 3. 2 カメラ位置までの距離変化
人物からカメラまでの距離を変化させた場合につい167.3 cmて，人物画像の撮影概要を図 4 に示す．入力側の人
物画像を撮影する際，人物からカメラまでの距離を 5メートル，10 メートル，15 メートル，20 メートル，25
メートルに変化させた．撮影された人物画像の平均サ
イズは，それぞれの距離で (59.2, 192.9)，(29.2, 94.7)，(19.6, 62.4)，(14.3, 46.7)，(11.7, 37.1) 画素であった．

0m

5m

10 m

15 m

20 m

25 m

図 4 人物からカメラまでの距離を変化させた場合の撮影
概要．
Fig. 4 Camera setting when changing the distancefrom the camera to the person.

辞書側の人物画像として，別の時刻に獲得した距離 5メートルの撮影条件を用いた．人物に当たる光量を一定にするため，人物の立ち位置を固定し，カメラ位置を

人物1

移動させた．カメラとして logicool HD Pro Webcam

C920r を用いた．外光の影響を受けない屋内の異なる
5 地点で撮影を行った．撮影人数は 20 名 (男性 17 名，

地点1

女性 3 名) とした．本データセットにおける人物画像の例を図 5 に示す．図中から，人物からカメラまでの

人物2

距離が遠くなるにつれ人物画像の解像度が低くなることが分かる．

3. 4 人物対応付けの精度
3. 4. 1 レンズの焦点変化
カメラレンズの焦点距離を変化させたデータセット

人物1において，人物対応付けの精度を評価した．人物画像から特徴量を算出する前段階の処理として，3. 1 で述べた

地点2

ダウンサンプリング (C1) とアップサンプリング (C2)を人物画像に適用した．特徴量を抽出するために，性別や服装など人物属性の共起性を求める手法 [17] を用人物2いた．対応付け精度を高めるために，計量学習の一種である Large margin nearest neighbor (LMNN) [18]を適用した．計量学習の訓練サンプルとして，テストに用いるデータセットとは別である CUHK01 データ
セット [5] を用いた．辞書側の特徴量と入力側の特徴
量との対応付けに，ユークリッド距離に基づく最近傍

距離

5

10

15

20

25

図 5 人物からカメラまでの距離を変化させた場合の人物
画像の例．
Fig. 5 Examples of person images when changing the
distance from the camera to the person.

法を用いた．評価指標として，入力側に与えられた人
物が，辞書側の人物の中から正しく対応付けられたこ

善させることが分かる．カメラレンズの焦点距離によとを測る第 1 位正解率を用いた．焦点変化データセッ

り解像度が低下した場合，アップサンプリングではなトに含まれる 5 地点において，それぞれの地点で対応

くダウンサンプリングが，人物対応付けの前処理とし付けを行い，平均第 1 位正解率を算出した．

て適していると考えられる．

ダウンサンプリング (C1) とアップサンプリング

3. 4. 2 カメラ位置までの距離変化(C2) を適用した場合の人物対応付けの平均第 1 位正人物からカメラまでの距離を変化させたデータセッ

解率を図 6 に示す．図中より C2 では，バイリニア補トにおいて，人物対応付けの精度を評価した．データ

間の精度と比べて SRCNN の精度が良いことが分か

セット以外の実験条件は 3. 4. 1 と同じとした．3. 1 でる．辞書側の高い解像度に合わせてアップサンプリン

述べた C1 と C2 を用いた場合の人物対応付けの平均

グする C2 より，入力側の低い解像度に合わせてダウ

第 1 位正解率を図 7 に示す．図中より C2 では，バインサンプリングする C1 が，人物対応付けの精度を改リニア補間の精度と比べて SRCNN の精度が良いこと

4

論文／低解像度に劣化した画像を用いた人物対応付けにおけるダウンサンプリング処理の効果検証
100

その低周波成分が低解像度画像に相当すると仮定を置く．人物対応付けでは，辞書側の特徴量と入力側の特正解率 (%)

80

徴量の距離計算を行い，距離が近ければ同一人物とし60ている．以下では，特徴量は人物画像の画素値そのものとし議論を進める．辞書側と入力側が互いに高解像

40
20

━ C1
━ C2(Bilinear)━ C2(SRCNN)

0

度である場合，人物画像同士の距離 d2 は，先ほど置いた仮定に従い以下の式 (1) で表すことができる．
3570
焦点距離 [mm]13518

図 6 カメラレンズの焦点距離を変化させた場合の人物対
応付けの精度．
Fig. 6 Accuracy of person re-identification whenchanging the focal length of the camera lens.

(1)

ここで，d2L は低周波成分のみで対応付けた場合の距
離，d2H は高周波成分のみで対応付けた場合の距離を表す．本実験では，それぞれの距離を用いた場合で，対100

正解率 (%)

d2 = d2L + d2H

応付け精度がどのように変化するかをシミュレーショ

80

ンで評価する．以下に比較する手法を挙げる．

60(F1) 全帯域の周波数成分を用いて距離 d2 を算出．
(F2) 低周波帯の成分のみを用いて距離 d2L を算出．

4020(F3) 高周波帯の成分のみを用いて距離 d2H を算出．

━ C1
━ C2(Bilinear)━ C2(SRCNN)

0

5

10
15
20
人物からカメラまでの距離 [m]本実験では辞書側を高解像度画像とする．入力側の低25

図 7 人物からカメラまでの距離を変化させた場合の人物
対応付けの精度．
Fig. 7 Accuracy of person re-identification whenchanging the distance from the camera.

解像度画像をアップサンプリングし，疑似的に高解像度にした画像を対象とする．F1 は 3. 1 のアップサン
プリングを用いる C2 に対応し，F2 はダウンサンプリ
ングを用いる C1 に対応すると想定できる．次節では

d2L と d2H の計算処理の詳細について述べる．
4. 2 周波数領域における距離計算
周波数領域における距離計算の詳細を以下で述べる．

が分かる．この実験においても 3. 4. 1 と同様に，アッ

本節には新規性は無いが，調査方法の確認のために計

プサンプリングする C2 より，ダウンサンプリングす

算処理の詳細を説明する．辞書画像を f t ，アップサン

る C1 が，人物対応付けの精度を改善させることが分

プリングされた低解像度の入力画像を g q↑ とする．こかる．人物からカメラまでの距離により解像度が低下の時，辞書画像と入力画像のサイズは (Nw , Nh ) 画素

した場合，アップサンプリングではなくダウンサンプ

で統一されているとする．それぞれの画像が，正規直リングが，人物対応付けの前処理として適していると交関数系 uij で直交関数展開されると，考えられる．

4. ダウンサンプリングで対応付け精度がft =改善される理由の調査
4. 1 方針

実際のカメラで撮影された低解像度の人物画像を用N w Nh∑∑ t

cij uijig q↑ =

N w Nh∑∑ q

cij uij

i

(2)

j

(3)

j

いた 3. 4 の実験により，アップサンプリングよりダウ
ンサンプリングの前処理が，人物対応付けの精度を改と表すことができる．ここで，ctij は辞書画像の係数，

善することが明らかになった．以下では，空間方向の

cqij は入力画像の係数とする．なお本論文では，正規直周波数解析を用いて，ダウンサンプリングで精度が高交関数系 uij における直交関数展開として，離散フー

まる理由を実験的に調査する．本論文では，高解像度

リエ変換を用いる．次に，画像間で差分をとる式 (4)画像は低周波成分と高周波成分に分離することができ，の関数を考える．
5

電子情報通信学会論文誌 2020/12 Vol. J103–A No. 12
0.14

0.14

0.14
━ 本人距離分布━ 他人距離分布

0
0

12500

距離

━ 本人距離分布━ 他人距離分布

出現頻度

出現頻度

出現頻度

━ 本人距離分布━ 他人距離分布

0
0

12500

距離

(a) F1 分離度:0.55

00(b) F2 分離度:0.79

距離

12500

(c) F3 分離度:0.01

図 8 手法 F1 から F3 を用いた場合の本人距離分布と他人距離分布．
Fig. 8 Distribution of the distances between the same persons and the distributionof the distances between other persons when applying F1 to F3.

h(f t , g q↑ ) = f t − g q↑ =N w Nh∑∑i

像 g q が獲得されるモデルを式 (9) で表す．

(ctij − cqij )uijj(4)

g q = BHf q + n(9)

ここで，B はダウンサンプリング，H はぼけ，f q は対応付けのための最近傍法において，辞書画像と入力

元の高解像度の入力画像，n はノイズを表す．B，H

画像との間でユークリッド距離を計算することは，関はシフトインバリアントと仮定した．具体的には Bq↑

数 h(f , g ) のノルムの二乗を計算することと等価でをバイリニア補間，H をガウスぼけ，n を白色ガウス

ある．よって距離 d2 はノイズとした．なお式 (9) では，g q ∈ B Mw ×Mh からt

d2 = ||h(f t , g q↑ ))||2(5)と表される．正規直交関数系が完備であれば，パーセ

d2 =

i

ら f q ∈ B N に変換されているとする．
本実験では CUHK01 データセット [5] を用いた．このデータセットには 971 人の人物画像が含まれており，

バルの等式が成立し，
Nw Nh
∑
∑

g q ∈ B M に変換されているとし，f q ∈ B Nw ×Nh か異なる 2 つの時刻で撮影されたものを用いた．辞書側(ctij − cqij )2(6)jと入力側に，それぞれの時刻の人物画像を割り振り，辞書画像を 971 枚，入力画像を 971 枚で評価を行った．
このデータセットの人物画像のサイズは (60, 160) 画素となる．ある次数 Mw (ただし Mw < Nw ) と Mh (ただし Mh < Nh ) を用いて，低周波成分と高周波成分に分離すると，それぞれの距離は

d2L =

Mw Mh
∑
∑
i

d2H =

で統一されていたため，Nw = 60，Nh = 160 とした．
本実験では，入力側の人物画像 g q を式 (9) を用いて生成した．g q のサイズは (6, 16) 画素とした．低周波成分と高周波成分に分離するための次数を Mw = 6，

(ctij − cqij )2

(7)

j

Nh
Nw
∑
∑

Mh = 16 とした．この低解像度画像を (60, 160) 画素
までバイリニア補間でアップサンプリングすることで，入力画像 g q↑ を生成した．

(ctij − cqij )2(8)

Mw +1 Mh +1

4. 4 実 験 結 果
辞書画像と入力画像との間で，4. 1 で述べた F1 からと表される．上記で算出された距離を用いることで，F3 の手法を用いて距離を算出した．それぞれの手法

低周波成分と高周波成分が人物対応付けの精度に与えで得られた距離の分布を図 8 に示す．図中の緑線は辞る影響を考察する．

書画像と入力画像が同一人物である時の距離分布 (本4. 3 実 験 条 件

人距離分布) を示し，橙線は異なる人物である時の距

画像が低解像度に劣化するモデルを設定しシミュ

離分布 (他人距離分布) を示す．本人距離分布と他人レーション実験を行った．入力側で低解像度の人物画

距離分布との重なりが少ないほど，人物を正しく対応

6論文／低解像度に劣化した画像を用いた人物対応付けにおけるダウンサンプリング処理の効果検証
表1

異なる補間方法を用いた場合の第 1 位正解率と AUCの比較．
Table 1 First matching rate (%) and AUC when applying diﬀerent interpolation techniques.

True Positive Rate

1

Bilinear
SRCNN

第 1 位正解率
F1
F2
F3
9.1 35.0 0.0
18.0 44.1 0.0

F1
0.863
0.875

AUC
F2
0.915
0.917

F3
0.541
0.549

条件は 4. 4 と同じとした．評価指標として，第 1 位━ F1 (AUC = 0.863)━ F2 (AUC = 0.915)━ F3 (AUC = 0.541)
00False Positive Rate

正解率，および，ROC 曲線の Area under the curve(AUC) を用いた．AUC は 1.0 に近いほど人物対応付
1

図 9 手法 F1 から F3 を用いた場合の ROC カーブ．
Fig. 9 ROC curves when applying F1 to F3.

けの精度が高いことを表す．
異なるアップサンプリング手法を用いた場合の人物
対応付けの精度を表 1 に示す．どの補間方法を用いたとしても，全周波数の成分を含む F1，および，高周波成分のみを含む F3 と比較して，低周波成分のみを付けられる可能性が高いと言える．距離分布の重なり含む F2 が，第 1 位正解率が高く，かつ，AUC が高を測るために分離度を用いた．図 8 より，全周波数のいことが分かった．先の 4. 4 の結果と同様に，対応付成分を含む F1 よりも，低周波成分のみを含む F2 が，けのための弁別性が高い特徴は低周波成分に含まれて分離度が高いことが分かった．また，高周波成分のみいると言える．F2 は 3. 1 の C1 に対応することから，を含む F3 では，分離度が非常に低いことが分かった．

アップサンプリングに対するダウンサンプリングのアップサンプリングにより付加された高周波成分には，有効性が本実験でも確認された．この実験では解像度対応付けに必要な人物間での違いが，ほぼ含まれていを (6, 16) 画素としたが，(30, 80)，(24, 64)，(18, 48)，

ないと言える．

(12, 32) 画素とした場合でも，F1 と F3 の精度に比べ

手法 F1 から F3 を用いた場合の ROC 曲線を図 9て，F2 の精度が改善される傾向が同様に見られた．

に示す．図中の青線は F1，赤線は F2，黒線は F3 を

既存手法 [6]〜[10] など学習ベースの既存手法の精度表す．ROC 曲線を描くため，scikit–learn に実装されと比較した場合，表 1 の提案手法の精度は低いと考えている関数 roc_curve を用いた．全周波数の成分をられる．ただし，学習ベースの既存手法は，訓練サン

含む F1，および，高周波成分のみを含む F3 と比較しプルを十分に収集することが必須である．提案手法のて，低周波成分のみを含む F2 が，人物対応付けの精利点として，訓練サンプルの収集が不要であることが度を高めることが分かった．実験結果より，低周波成挙げられる．一方，提案手法の欠点として，学習ベー

分には個人性を表す重要な特徴が多く含まれているとスの既存手法と比べて，大きな精度改善を見込めない言える．一方，アップサンプリングで疑似的に生成さことが挙げられる．今後の課題として，学習ベースのれた高周波成分には，個人性がほぼ含まれておらず，手法に提案手法を組み込むことで，さらなる精度の向むしろ対応付けに悪影響を及ぼす成分が誤って付加さ上を目指すことが必要である．

れたと言える．手法 F2 は 3. 1 の C1 に対応することから，低解像度に合わせてダウンサンプリングすることで，人物対応付けに有効な低周波成分の特徴を残しつつ，高周波成分の特徴を除去したため，対応付け精度が高くなったと考えられる．

5. 公開データセットにおいて低解像度画像から人物属性の共起特徴量を抽出した場合の検証5. 1 リサンプリングの比較

4. 5 バイリニア以外の補間を用いた場合の検証

本実験では，3. 4. 1 で述べた人物属性の共起特徴量を

ここでは 4. 4 のバイリニア補間以外のアップサン

用いることで，公開データセット CUHK01 における人

プリング手法を用いた場合について検証した．比較手物対応付けの精度を評価した．低解像度の入力画像を法として SRCNN [16] を用いた．補間手法以外の実験準備するため，解像度が (30, 80)，(24, 64)，(18, 48)，7

電子情報通信学会論文誌 2020/12 Vol. J103–A No. 12
100

表 2

各周波数帯の画像における RGB 値の平均と標準偏差．
Table 2 Average and standard deviation of RGB values for images in each frequency band.

正解率 (%)

80

R

G

B

元画像

fq
flq
fhq

100.8±60.4
100.8±49.7
0.0±34.3

102.1±60.2
102.1±49.3
0.0±34.5

107.0±60.1
107.0±49.2
0.0±34.5

Bilinear

g q↑
glq↑
q↑
gh

99.1±40.4
99.1±40.7
0.0±7.4

100.4±40.8
100.4±40.2
0.0±7.2

105.4±40.4
105.4±39.8
0.0±7.0

SRCNN

g q↑
glq↑
q↑
gh

98.4±47.5
98.4±46.5
0.0±9.3

99.7±47.1
99.7±46.7
0.0±9.1

104.7±47.0
104.7±46.1
0.0±9.1

60
40
20

0

━ C1
━ C2(Bilinear)━ C2(SRCNN)(60,160) (30,80) (24,64) (18,48) (12,32)(6,16)

画像サイズ[画素]図 10 CUHK01 における人物対応付けの精度．
Fig. 10 Accuracy of person re-identification on the
CUHK01 dataset.

(12, 32)，(6, 16) 画素のものを，式 (9) を用いて生成した．式中のパラメータは 4. 3 と同じとした．また，高解像度の入力画像として，(60, 160) 画素のものを用いた．辞書画像として，入力画像とは別の時刻で撮影されたものを用いた．辞書画像の解像度は (60, 160) 画素とした．CUHK01 データセットに含まれる 971 名の中から，ランダムに 486 名を選択し，LMNN の計

𝒇

𝑞

𝑞

𝒇𝑙

元画像

量行列を学習するための訓練サンプルとした．残りの485 名の人物画像を用いて，対応付けの入力画像と辞書画像とを設定した．このランダム選択を 3 回実施し𝑞𝒇ℎFig. 11

𝑞↑

𝒈

𝑞↑

𝒈𝑙

Bilinear

𝑞↑

𝒈ℎ

𝑞↑

𝒈

𝑞↑

𝒈𝑙

𝑞↑

𝒈ℎ

SRCNN

図 11 各周波数帯の画像の可視化．
Visualization of images in each frequency
band.

た．各回で対応付け精度を算出し，それらの精度の平均と標準偏差を求めた．本実験では，3. 1 で述べた C1

画像 g q↑ を生成した．アップサンプリングにはバイリのダウンサンプリングと，C2 のアップサンプリング

ニア補間または SRCNN を用いた．人物属性の共起特との精度を比較した．なお C2 のアップサンプリング

徴量を用いる場合，特徴量同士の距離を，周波数領域の手法として，バイリニア補間と SRCNN を用いた．

で直接計算することは難しい．本実験では，g q↑ を周

公開データセット CUHK01 において，低解像度の波数領域で高周波成分と低周波成分に分離し，逆離散入力画像に C1 または C2 を適用し，リサンプリング

フーリエ変換を用いて，それぞれの成分を空間領域へされた画像から共起特徴量を抽出することで，人物対変換した．高周波成分の画像を ghq↑ で表し，低周波成

応付けを行った場合の精度を図 10 に示す．C2 のアッ分の画像を glq↑ で表す．同様に，高解像度の入力画像

プサンプリングで用いた SRCNN は，バイリニア補間

f q の高周波成分の画像を fhq で表し，低周波成分の画より，解像度が (24, 64)，(18, 48) 画素の時に精度を高像を flq で表す．

めた．C1 のダウンサンプリングは，C2 のアップサン

各周波数帯の画像において，RGB 値の平均と標準

プリングより，精度を大きく改善することを確認した．

偏差を求めた．その結果を表 2 に示す．fhq では，ghq↑

5. 2 低周波成分と高周波成分の比較と比べて標準偏差が大きい．SRCNN の ghq↑ では，バ

公開データセット CUHK01 において，低周波成分

イリニア補間の ghq↑ と比べて標準偏差が僅かに大きと高周波成分の画像から，人物属性の共起特徴量を抽い．高周波成分の平均値は 0 であるが，標準偏差はこ出した場合について検証した．高解像度の入力画像

れらの値を持つため，高周波成分にはアップサンプリqqf から，低解像度の入力画像 g を式 (9) で生成した．

ングの効果で何らかの値が入っていると言える．次に，

f q は (60, 160) 画素，g q は (6, 16) 画素とした．この高周波成分の画像と低周波成分の画像を可視化した結q

g を (60, 160) 画素までアップサンプリングし，入力
8

果を図 11 に示す．なお，高周波成分の画像は負値も

論文／低解像度に劣化した画像を用いた人物対応付けにおけるダウンサンプリング処理の効果検証
表 3

各周波数帯の画像を用いた場合の第 1 位正解率とAUC の比較．
Table 3 First matching rate (%) and AUC when using images in each frequency band.

本論文では，性別，体型，服装，髪型などの属性に起因する人物の見え方を個人性と考え，対応付けの実験を行ったが，様々な要因で見え方は変化するため，多様なデータセットでさらなる評価が必要である．本論文

第 1 位正解率
F1
F2
F3

F1

AUC
F2

F3

Bilinear

0.3

65.9

0.2

0.527

0.978

0.505

SRCNN

0.6

71.1

0.2

0.545

0.980

0.502

で得た知見に対して，実際の環境における画像生成過程や光学系との関連性を考察することも必要である．
謝

辞本研究の一部は，JSPS 科研費 JP20K11864 の助成取るため，高周波成分の可視化のみ，画素値の範囲をを受けたものである．
文[−128, 128] から [0, 255] へ射影した．バイリニア補間の ghq↑ を可視化した場合，画像中で僅かな変化が見ら[1]

B. Steux.

れた．SRCNN の ghq↑ では人物の輪郭周辺に変化が生

献O. Hamdoun, F. Moutarde, B. Stanciulescu, andPerson re-identification in multi-camera

system by signature based on interest point descrip-

じていた．次に低周波成分に注目すると，SRCNN のtors collected on short video sequences.

glq↑ では，バイリニア補間の glq↑ と比べて，人物の体In Pro-ceedings of the Second ACM/IEEE International型がより視認できる．よって，SRCNN は，高周波成Conference on Distributed Smart Cameras, pp. 1–6,

分よりも低周波成分に，効果が表れたと考えられる．

2008.

各周波数帯の画像から，人物属性の共起特徴量を抽[2]

re-identification by video ranking. In Proceedings of

出した場合について，対応付け精度を表 3 に示す．高

the European Conference on Computer Vision, pp.
688–703, 2014.

周波成分の画像を用いた F3 では，バイリニア補間とSRCNN の両方で精度が低い．全周波数帯の画像を用[3]

nition, Vol. 36, No. 9, pp. 1997–2006, 2003.
[4]

Z. Shi, T. M. Hospedales, and T. Xiang. Transferringa semantic representation for person re-identification

が正しく復元されていないため，誤対応が発生したとand search. In Proceedings of the Computer Vision

考えられる．低周波成分の画像を用いた F2 は，F1 とF3 と比べて精度が高い．F2 はダウンサンプリング

C. Nakajima, M. Pontil, B. Heisele, and T. Poggio.
Full-body person recognition system. Pattern recog-

いた F1 でも同様であった．この理由として，辞書側の高周波成分は存在するものの，入力側の高周波成分

T. Wang, S. Gong, X. Zhu, and S. Wang. Person

and Pattern Recognition, pp. 4184–4193, 2015.
[5]

W. Li, R. Zhao, and X. Wang.

Human re-に相当することから，本実験でもその有効性が確認さ

identification with transferred metric learning.

れた．

Proceedings of the Asian Conference on ComputerIn

Vision, pp. 31–44, 2012.

6. ま と め[6]

X. Y. Jing, X. Zhu, F. Wu, X. You, Q. Liu, D. Yue,
R. Hu, and B. Xu.

本論文では，低解像度の人物画像に合わせてダウン

inant dictionary learning.

サンプリングを施すアプローチを採用することで，人In Proceedings of theIEEE Conference on Computer Vision and Pattern

物対応付けの精度が改善されるかどうかを検証した．
カメラレンズの焦点距離，および，人物からカメラまSuper-resolution person re-identification with semi-coupled low-rank discrim-

Recognition, pp. 695–704, 2015.
[7]

X. Li, W. S. Zheng, X. Wang, T. Xiang, and S. Gong.

での位置を変化させた場合の評価データセットを構築

Multi-scale learning for low-resolution person re-

した．実験結果より，低解像度画像に合わせるダウン

identification. In Proceedings of the Proceedings ofthe IEEE International Conference on Computer

サンプリングが，高解像度画像に合わせるアップサン
プリングと比べて，人物対応付けの精度改善に大きく

Vision, pp. 3765–3773, 2015.
[8]

J. Wang.

寄与することを確認した．アップサンプリングされた

In Proceedings of the International Joint Confer-

けの精度を比較し，ダウンサンプリングで得られる低高いことをシミュレーション実験で確認した．
今後の課題として，対応付けの精度をより高めるこ

Scale-adaptive low-resolution person re-identification via learning a discriminating surface.

画像の高周波成分と低周波成分について，人物対応付
周波成分に個人性を表す特徴が多く含まれる可能性がZ. Wang, R. Hu, Y. Yu, J. Jiang, C. Liang, andences on Artificial Intelligence, Vol. 2, p. 6, 2016.
[9]

Zheng W., Mang Y., Fan Y., Xiang B., and Shin’ichi
S. Cascaded sr-gan for scale-adaptive low resolution
person re-identification. In Proceedings of the International Joint Conference on Artificial Intelligence,とができるリサンプリング手法の検討が挙げられる．
9電子情報通信学会論文誌 2020/12 Vol. J103–A No. 12

西山 正志

pp. 3891–3897, 2018.
[10]

J. Jiao, W. S. Zheng, A. Wu, X. Zhu, and S. Gong.

2000 年 岡山大学工学部情報工学科卒業．

Deep low-resolution person re-identification. In Pro-

2002 年 同大大学院博士前期課程了．同年

ceedings of the Thirty-second Association for the

株式会社東芝入社．同社研究開発センター

Advancement of Artificial Intelligence Conferenceを経て，現在鳥取大学大学院工学研究科准on Artificial Intelligence, 2018.
[11]sual Computer, Vol. 30, No. 4, pp. 359–386, 2014.
[12]

Y. Shi and A. K. Jain. Probabilistic face embeddings.
In Proceedings of the IEEE International Conference on Computer Vision, pp. 6902–6911, 2019.

[13]

教授．2011 年 東京大学大学院学際情報学

Z. Wang, Z. Miao, Q. M. J. Wu, Y. Wan, and Z. Tang.
Low-resolution face recognition: a review. The Vi-

府にて博士（学際情報学）を取得．カメラを用いた人物認識を始めとするパターン認識およびインタラク
ションの研究に従事．山下記念研究賞や画像センシングシンポ
ジウム優秀学術賞など受賞．電子情報通信学会，情報処理学会
各会員．

S. P. Mudunuri and S. Biswas. Low resolution face

岩井 儀雄

recognition across variations in pose and illumination. IEEE Transactions on Pattern Analysis and部情報工学科卒業．1997 年 (平成 9 年) 大

2015.

阪大学大学院基礎工学研究科博士課程後期

W. W. W. Zou and P. C. Yuen. Very low resolu-

修了．同年同大学院助手．2003 年 (平成tion face recognition problem. IEEE Transactions

15 年) 同大学院助教授．2004 年 (平成 16

on Image Processing, Vol. 21, No. 1, pp. 327–340,
2011.
[15]

J. S. Park and S. W. Lee. An example-based facehallucination method for single-frame, low-resolution
facial images. IEEE Transactions on Image Processing, Vol. 17, No. 10, pp. 1806–1816, 2008.

[16]

C. Dong, C. C. Loy, K. He, and X. Tang.

Image

super-resolution using deep convolutional networks.
IEEE Transactions on Pattern Analysis and Machine Intelligence, Vol. 38, No. 2, pp. 295–307, 2015.
[17]

M. Nishiyama, S. Nakano, T. Yotsumoto, H. Yoshimura,Y. Iwai, and K. Sugahara. Person re-identification
using co-occurrence attributes of physical and adhered human characteristics. In Proceedings of theInternational Conference on Pattern Recognition,
pp. 2085–2090, 2016.

[18]

K. Q. Weinberger and L. K. Saul.

Distance met-

ric learning for large margin nearest neighbor classification. Journal of Machine Learning Research,
Vol. 10, No. Feb, pp. 207–244, 2009.

（平成 xx 年 xx 月 xx 日受付）

遠藤 拓弥
2019 年 鳥取大学工学部電気情報系科卒

業．2019 年 鳥取大学大学院持続性社会創生科学研究科工学専攻博士前期課に在学中．

10

（正員）

1992 年 (平成 4 年) 大阪大学基礎工学

Machine Intelligence, Vol. 38, No. 5, pp. 1034–1040,[14]（正員：シニア会員）

年)5 月〜2005 年 (平成 17 年)3 月英国ケ
ンブリッジ大学客員研究員．2007 年 (平成 19 年) 同大学院
准教授．2011 年 (平成 23 年）鳥取大学大学院工学研究科教授．コンピュータビジョン，パターン認識の研究に従事．博士（工学）