DEIM Forum 2023 3a-3-2

不確実性に対応する属性推薦を用いた人物画像検索
宜

鯤†

吉田

登††

董テイテイ††

劉健全††† 京都大学大学院経済研究科 〒 606–8501 京都市左京区吉田本町†† NEC ビジュアルインテリジェンス研究所 〒 211–8666 神奈川県川崎市中原区下沼部 1753
E-mail: †yi.kun.52n@st.kyoto-u.ac.jp, ††{n-yoshida14,t-dong,jqliu}@nec.com
あらまし

属性に基づいた人物画像検索は，画像から検出した人物の属性を用いて，指定した属性条件を満たしている人物画像を検索する. 多くの既存研究は属性の識別やギャラリー画像のランキングに重心を置き, どの属性を指定す
べきかについてほとんど言及していない. 一方, ユーザが年齢, 性別, 服装の色などの数多くある属性を用いる場合, 素早くターゲットを探し出すためには, ギャラリー画像が持つ属性の構造や特徴を捉え, 適切な属性をユーザに推薦することも重要である. また, ユーザが属性を指定する際に, 誤認識や誤記憶により, ターゲットの年齢や服装の色を間違えることがあり, ユーザ回答をそのまま受け入れると, ターゲットが排除される恐れがある. そこで, 本研究は, ユーザ回答の不確実性を考慮に入れた属性推薦を用いた人物画像検索システムを提案する. 既存手法との比較実験により, 提案
手法の優位性を示す.
キーワード 人物検索，画像，属性推薦，不確実性けを行う必要がある. ディテクターで推定した属性情報は不確

1 はじめに近年, 画像または映像から対象人物を検索することはインテ
リジェンスなビデオ監視, 人とコンピューターの相互作用などを含む数多くの分野での幅広い応用が考えられ, 大きく注目されている [18], [19], [20].
外観属性に基づく人物画像検索は，対象人物の画像が入手できない場合に特に有用である [13], [14], [15], [8]. 本手法を用いた
場合, 年齢, 性別, 服装の色, 鞄等の所持品の種類などの属性か
ら, 対象人物が持つ特徴的な属性を検索クエリに入力すること
で, 見つけることができる. 逆に, ユーザーが対象人物の非特徴的な属性, 例えば映像中のほとんどの人物が有する属性を検索
クエリに入力した場合, 該当する人物の数が多くなり, 対象人物の発見に余計な時間がかかる恐れがある. 従って, 素早く対象人物を探し出すためには, 検索クエリに入力すべき適切な属性をユーザに推薦することが重要である. そのためには, ギャラリー
画像群が持つ属性の構造や分布を捉え, 属性を推薦する順番を決めるポリシーが必要である.
数多くのデータの集合の中から, ユーザの好みに合うものを素早く見つけるために入力すべき項目を推薦する技術はプロダ
クトサーチの分野で研究されている [6], [2], [4]. しかし, 本手法
を人物画像検索における属性推薦に適用した研究例は我々の知る限りではまだ存在しない. それは, 以下の 2 つの問題点が原因であると考えられる.
一つ目は, ディテクターの推定によって付与される属性が不確実性を持つことである. プロダクトサーチの場合, プロダクトの提供者がラベルを付けることが一般的である. それに対し, 人
物画像検索ではラベル付けされていない膨大なギャラリー画像
から検索を行うが, 手作業で属性ラベルを付けることは現実的ではないため, ディテクターによる属性推定を用いてラベル付

実性を含んでおり, 不確実性は推定した属性に対する確信度ス
コアとして出力される. 多くの従来技術では確信度の閾値処理
でラベルを付与しており, これによって検索で不都合が生じる
場合がある. 例えばある人物に対して男性, 女性それぞれの確信
度スコアが 0.1, 0.4 であり, これを閾値 0.5 で処理した場合, この人物は性別に関するラベルを有さず, どちらを条件に検索を行っても結果から排除されてしまう. 従って, 推定された属性の不確実性を適切に捉えることが課題になる.
二つ目は, ユーザが推薦に基づいて属性を回答する際に, 必ずしも正しい属性を答えるわけではないという点である. ユーザ
は記憶から対象人物の特徴を思い出して回答するため，対象人
物の一部の特徴を忘れていたり, 間違って記憶していたなどの理由により回答が誤る可能性がある. それに加え, 対象人物を目撃した際の照明条件などの環境条件や視点，隠れの有無などにより, ユーザが対象人物の属性をそもそも誤って認識することも, ユーザ回答に不確実性が生じる要因として挙げられる. このようにユーザが指定した属性条件に不確実性が含まれると，ユーザが指定した検索条件と，ユーザが探したい人物の属性情報とにギャップが生じ，望む結果を得ることが難しくなる．結果として，ユーザは検索結果から対象人物を見つけることができなくなり, 対象人物を見つけるために何回も条件を変更しながら検索を試さなければならなくなる．
さらに, 同じ人物画像に対し, ユーザによる認識とディテク
ターによる認識がずれている可能性がある. 一例として, ユーザから「対象人物の上着の色は青である」という属性が入力されたとき, 図 1a, 図 1bで示されているように, ユーザとディテク
ターにとって「青」の認識がずれていた場合, 対象人物は結果から排除される恐れがある.
そこで, ユーザ入力の不確実性とディテクター推定結果の不表 1: 符号定義
符号

説明

G

すべての人物画像を含むギャラリーQ

すべての属性の集合

Qd

同じ種類の属性からなる Q の部分集合

gi

ギャラリーに属する i 番目の人物画像

ai

gi の真の属性âi

推定された gi の属性の確信度スコアãi

ユーザが知っている gi の属性

qj

エージェントからの j 番目の属性に関する質問

π

各人物画像が対象人物になる確率

stt 回の質問をした時点でユーザから各属性に関する質問の回答(a) ユーザにとっての青色の (b) ディテクターにとっての青色の上着.

上着.

ri,tgi が t 回の質問をした時点でのランキングk

毎回表示される人物画像数

m

最大質問数

図 1: ユーザとディテクターの認識ずれ.

2. 2 Learning-to-ask
確実性に対応する属性推薦手法が必要である. 私たちはディテ

Learning-to-ask は, 数多くの候補が存在している集合の中かクターが推定する属性の確信度を活用するために, 確信度スコら, ユーザの好みに合っているものを素早く見つけるために,アをソフトラベルとして用いた, ランキングに基づく属性推薦

ユーザが答えるべき項目を推薦することに関する研究である.

手法を提案した. また, ユーザ入力の不確実性及びユーザとディプロダクトサーチの領域では, 答えるべき属性を適切に選ぶこ

テクターの認識ずれに対応するために, スコアのスムージングとがすでに研究されてきた. [6] はインタラクティブなプロダクのメカニズムとそれを用いたランキング手法を提案した. 提案

トサーチで最小数のクエリを用いてターゲットを検索するた手法の評価について, ユーザに属性を推薦して回答してもらい,

めに,Sequential Bayesian Search (SBS) という手法を提案し対象人物が見つかるか否かを判定するプロセスを繰り返し,kた. [7] は SBS を拡張し, ユーザからの回答に基づき, 最小数の問までに対象人物が見つかる成功率,k 問までの MRR (Mean

クエリを用いて関連ドキュメントを検索するアルゴリズムをReciprocal Rank), 対象人物を探し出すまでに必要な質問数に提案した. [2] はユーザ回答の不確実性を考慮に入れ, 不確実なよって評価する方法を提案した. PA100K [1] データセットを使回答に対応するプロダクトサーチアルゴリズムを提案した. [4]用した実験により, 提案した手法が他の手法よりも優れている

は,Learning to Ask のフレームワークを提示し, 情報獲得とターことを明らかにした.

ゲット検索をバランスした質問選択ポリシーを提案した. [5] は

2 関連研究2. 1 人物画像検索
人物画像検索について, 多くの既存研究は属性の推定やクエ
リと画像の類似度に注目している [16], [1]. 一部の既存研究は問合せ画像または自然言語のクエリで検索する人物画像検索を研究している [9], [10], [11], [12], [17]. [9] はクエリ画像とギャラリー画像それぞれについて推定された属性ベクトルのノルムを考慮にいれた人物画像検索手法を提案した. [10] はマルチスケー
ルな人物認識及び検索手法を提案した.

強化学習手法を Learning to Ask のポリシー学習に応用し, 質
問エージェントが継続的な対話を通じて質問選択の最適なポリシーを学習できるシステムを提案した.
しかしながら, 人物画像検索の領域では「Learning-to-ask」の応用についてほとんど研究されていなく, 本研究はその空白を補填することを目的の一つとする.

3 提案手法3. 1 問 題 定 義
本論文では，数多くの人物画像が存在しているギャラリーか属性を用いた人物画像検索についても, 大きく注目されていらユーザが一枚の対象人物画像を検索することを想定する. エー

る. [13] は GAN を人物画像検索に応用する手法を提案した. [14]ジェントは検索を補助するために, ユーザに答えるべき属性をは属性と画像の階層マッチングモデルを提案し, 人物画像検索

推薦し, ユーザの回答に基づいて検索結果を提示する.

への応用を示した. [15] は属性推定と人物認識を同時に行うたギャラリー G には, 複数枚の人物写真 (gi , 1 <= |G|) が存=i<

めの新しいロス関数を提案し, それに基づいて人物画像検索手在している. 人物画像 gi は, ディテクターにより各属性が推定法を提案した. [8] は問合せ属性の不確実性と画像から推定されされ,|Q| 次元の確信度スコアのベクトル âi が付与される. ユー

た属性の不確実性を考慮した人物画像検索手法を提案した.

ザは対象人物 gi を知っており, ユーザが認識する属性情報を|Q| 次元のベクトル ãi とする. 一方, 人物画像 gi の真の属性が|Q| 次元のベクトル ai で表されるとする. ここで,ai ,âi ,ãi は必ずしも一致しない. ギャラリー G に属する |G| 枚の人物画像の属性確信度スコアをまとめる |G| × |Q| の行列を Gmat とする.
ユーザはギャラリー内の一枚の人物画像を順次対象人物として検索を行う. 各人物画像が対象人物になる確率を π とする.
また, 人物画像の属性について, 人物の年齢, 性別, 服の色など, グループに分けることができる. 例を挙げると, 年齢に関する属性の部分集合 Q1 は,「15 歳以下」,「15∼30 歳」,「30∼45
歳」,「45∼60 歳」と「60 歳以上」の五つの属性を含んでいる.
符号の説明は表 1にまとめる.
人物検索は以下の流れで行う.
（ 1 ） エージェントは「対象人物の年齢は 15∼30 歳ですか？」な
どの一つの属性について回答することを推薦し, ユーザは
図 2: 提案手法のフレームワーク.

自分が認識する対象人物の情報に基づき,「YES」または「NO」を解答する.

場合, ディテクターは「15∼30 歳ではない」と誤認識する。そ（ 2 ） エージェントはユーザが入力した回答を用い, ギャラリーにある人物画像をランキングし, 上位の k 枚の人物画像をユーザに提示する.

の状態でユーザがその人物を検索する際に,「15∼30 歳」の属性を指定すると, 対象人物が結果から排除される. これに対し,閾値処理に基づく属性の「YES/NO」ラベルではなく, 確信度（ 3 ） 対象人物が提示されるまたは最大質問数 m に達すると, 人

スコアをソフトラベルとして用いることで, ユーザが「15∼30

物検索が終了する. そうでなければ,(1) に戻り, エージェン歳」を指定したとしても対象人物は排除されず, 他の指定されトは次の属性を推薦する.

た属性と合わせた統合スコアのランキングによって対象人物を見つけられる可能性がある.

t 回のやりとりが終了した時点で, ユーザから得られた各属性にまた, ユーザは対象人物の属性について回答する際に, 必ずし関する回答を |Q| 次元のベクトル st は以下の式で表される.

も正しく答えるわけではない. これは, ユーザが対象人物の一st ∈ {−1, 0, 1}|Q|部の特徴を忘れたり, そもそも間違って認識している可能性が(1)

例を挙げると,1 番目の属性を聞いたことがない場合,st の 1 位あるからである. 例を挙げると, 対象人物の真の年齢が「30∼45
歳」であるにも関わらず, ユーザがこの人物の年齢を 20 代後半の値を 0 にする.1 番目の属性を聞き, ユーザから「YES」と答くらいと誤認識した場合,「年齢は 15∼30 歳ですか？」の質問

えると,st の 1 位の値を 1 にする.1 番目の属性を聞き, ユーザかに対し,「YES」と答えてしまう. すると, 誤情報がランキング

ら「NO」と答えると,st の 1 位の値を −1 にする.

システムに流され, 対象人物は結果から排除される恐れがある.

t 回のやりとりが終了した時点で,st に基づき, エージェント
はランキングの結果を表示し, 次の推薦属性の選択をする.

3. 2 問 題 点
既存手法をそのまま人物画像検索に応用する場合, 以下の二つの問題がある.
（ 1 ） ディテクターの認識で得られる確信度を使わず, 属性の「YES/NO」だけを用いて選択される属性は必ずしも最適な属性ではない.
（ 2 ） ユーザは対象人物の属性を誤認識, 誤記憶する可能性があ

私たちはこれらの問題を解決するために, 属性推薦モデルとス
ムージングメカニズムを提案した. 提案手法のフレームワーク
は図 2のように示されている.

3. 3 属性推薦モデル
3. 3. 1 ランキングに基づく属性推薦
問題 1を解決するために, 私たちはランキングに基づく属性
推薦手法を提案した. 前述の通り, 一枚の人物画像 gi は, 各属性の確信度スコアの |Q| 次元ベクトル âi を持つ. ユーザの回答がst となる場合, 確信度スコアを用いて各人物画像のランキング
は以下のようになる.

り, ディテクターの認識とずれている可能性がある.

ranking = argsort Gmat · sTt

ディテクターで推定された属性情報は不確実性を含んでおり,

人物画像 gi が t 回の属性推薦に回答した時点でのランキングを

それは属性の確信度スコアで表示される. 前述の通り, 多くの従

ri,t とする.

(2)

来手法では閾値処理によって属性の「YES/NO」だけを使ってgi が対象人物である場合, 次の属性について回答を得ることいる。従って, 確信度スコアが閾値付近にある真の属性を誤っで,gi のランキングがより上位に上がることが望ましい. 言い換て認識する可能性がある。例を挙げると, 対象人物の真の年齢

えると, 次に推薦すべき属性は ri,t − ri,t+1 を最大化する属性でが「15∼30 歳」であるが, 光などの環境条件や隠れの有無などある. すなわち, すべての人物画像が対象人物になる確率 π を考原因により「15∼30 歳」の確信度スコアが低く閾値を下回った

慮に入れた上で, 最も望ましい属性を推薦するモデルを得ること

Algorithm 1 ランキングに基づく属性推薦手法

表 2: ユーザが対象人物の属性を間違って入力する, またはユー

1: ギャラリー G, 属性集合 Q, すでに聞かれた属性問題 Q′ , ユーザのザとディテクターの認識がずれている場合

回答 st をインプットする
2: 各人物画像現在のランキング R = (r1,t , r2,t , . . . , r|G|,t ) を計算

する
3: for q in Q ∩ (Q′ )C do′ ) を計属性 q を聞く場合のランキング R′ = (r1′ , , r2′ , . . . , r|G|4:

算する
属性 q を聞くことで得られるリワード (R − R′ ) · π を計算する

5:

6: end for

ユーザで「YES」 ユーザで「NO」
ディテクターで「YES」

問題なし

対象人物を排除

ディテクターで「NO」 対象人物を排除

問題なし

生じる.
そこで, 対象人物を排除しないために,「年齢は 15∼30 歳ですか？」の質問に対し, ユーザが「YES」と答えても, 年齢グルー

7: リワードが最も高くなる属性を推薦する

プにある他の属性,「15 歳以下」,「30∼45 歳」,「45∼60 歳」と「60 歳以上」にもある程度確信度スコアを与える. 言い換える

Algorithm 2 強化学習による近似と, ランキングの計算は,

1: 環境初期化

ranking = argsort Gmat · sTt

2: Replay Buﬀer を初期化
3: 二つの Dueling DQN ネットワーク QA , QB を初期化
4: for g in |Gtrain | doではなく,st の確信度スコアを再配分した s′t に入れ替え,

for t in 1 : m do

5:ranking = argsort Gmat · (s′t )T

if U nif (0, 1) < ϵ then6:

ランダムな質問を選択する

7:

else

8:

現在のポリシー QA と QB により属性を選択する

9:で計算される. 確信度スコアの再配分については, 学習データを用いてあらかじめ決められる. 例を挙げると, 学習データでユー

10:

end if

ザが「15∼30 歳」と思う人物が 100 人おり, その 100 人に対する11:

ユーザに属性を提示し, 現時点の状態 st と次の状態 st+1

ディテクターの認識では「15 歳以下」が 12 人,「15∼30 歳」がを観測する選択された属性 q の回答を得ることで得られるリワード R

12:

を計算する
トランジション (st , q, st+1 , R) を Replay Buﬀer に保存

13:

する

Replay Buﬀer からランダムに一部のトランジションを抽

14:60 人,「30∼45 歳」が 20 人,「45∼60 歳」が 8 人,「60 歳以上」が0 人であったとする. この場合, ユーザが「年齢は 15∼30 歳ですか？」の質問に対し,「YES」と答える場合, ランキングを計算する時は st = (0, 1, 0, 0, 0) ではなく,s′t = (0.12, 0.6, 0.2, 0.08, 0)のように確信度を再分配したものを用いる.

出する抽出されたトランジションを用い,QA または QB をアップ

15:

デートする
16:

end for17: end for4 実験

以下の 4 つ観点で我々の手法 (CSBAS-SRM) を評価した.

Q1. 20 の質問以内でターゲットとなる人物を見つけることができるか Q2. ターゲットとなる人物を見つけるために必要なが目的である. 本モデルを得るための疑似コードは Algorithm1で示されている.
3. 3. 2 強化学習による近似
残念ながら, 前述のアルゴリズムはランキングの計算を繰り返すため, 計算コストが高い. 特に, ギャラリーに数多くの人物画像が存在している場は計算コストが膨大になる. そこで, 私たちは強化学習モデル Double Dueling DQN [21], [22] を用い,
上記のランキングに基づく属性推薦手法のポリシーを学習させ,最適なポリシーの近似解を得た. 疑似コードは Algorithm 2で示されている.

3. 4 スムージングメカニズム
ユーザの回答の不確実性及びユーザとディテクターの認識ずれに対応するために, 私たちはスムージングメカニズムを提案
した.
ユーザが対象人物の属性を間違って入力する場合, またユー
ザとディテクターの認識がずれている場合, 表 2に示す問題が質問数が少なくなるか Q3. 20 の質問以内にターゲットとなる人物を見つけることができなかった場合でも, ターゲットとなる人物のランキングがより高くなるか Q4. 提案されたモデルの公平性が高いか (ターゲット画像毎に必要な質問数のばらつ
きが小さいか) Q5. 属性推薦手法 (CSBAS) とスコア再配分手
法 (SRM) はそれぞれが機能しているか Q6. ユーザーに表示される画像の数 k が, 上記の指標に影響するか

4. 1 データセットと実験設定
4. 1. 1 データセット
私たちは PA100K [1] からランダムに 1000 枚の写真を選出
し, より詳細な属性認識を行うため, 手動作業で属性ラベルを付けた.

4. 1. 2 実 験 設 定
前述のように, ユーザのご記憶やご回答, ディテクターの誤認識などが原因でユーザの回答とディテクターの認識にずれが生じる場合がある. そこで我々は, 以下 4 つの状況を想定して提案
手法の評価を行った.

表 3: 成功率の評価結果. シンボル (†) は既存手法に対して顕表 4: MRR 評価結果. シンボル (†) は既存手法に対して顕著な著な効果があることを示す.

効果があることを示す.

Case 1 Case 2 Case 3 Case 4

Case 1 Case 2 Case 3 Case 4

CSBAS-SRM 76.0%† 34.3%† 31.2%† 18.5%†

CSBAS-SRM 0.826† 0.443† 0.429† 0.270†

SBS

63.7%

28.9%

26.1%

15.7%

SBS

0.764

0.411

0.383

0.245

QSBPS

64.8%

28.4%

26.8%

SBSTAR

64.7%

27.6%

26.0%

15.1%

QSBPS

0.725

0.386

0.358

0.185

14.9%

SBSTAR

0.744

0.377

0.364

0.193

•

Case 1. ユーザとディテクターの認識にずれがない場合.

•

Case 2. ユーザが 30% の確率で誤回答をする場合.

•

ターゲットが見つかるまでのやり取り数を評価するために,各回数のやり取り時点までにおける累積成功率を評価した.

Case 3. ディテクターが誤認識をする場合. これは、ユー

図 4に示した通り, 提案手法は Case1 のほとんどのやり取り

ザは人手で正解付けされた属性に基づいて回答するが, 検数において既存手法よりも優れた累積成功率を有しており, 提索時のスコア計算はディテクターの推定結果に基づいて行案手法が適切な属性を推薦することで, より少ない属性入力でうこととした.

•4. 3 Q2: ターゲットが見つかるまでのやり取り数

Case 4. Case3 のようにディテクターの誤認識が含まれ、かつユーザが 30% の確率で誤回答をする場合.

ターゲット人物をいち早く発見できていることを実証した. 一
方 case2 4 のようにユーザやディテクターの認識にずれがある
場合では, やり取り数が少ない時点において既存手法の方が優れるが、やり取り数が大きくなるにつれて提案手法の方が優れ

4. 1. 3 シミュレーション設定

る結果となった. これは, スコアの再配分手法 (SRM) が認識ず

ランダムに 200 枚の画像を抽出し、それぞれをターゲットとれを補う効果があり, やり取り数が増えて検索に用いる属性数

した検索を実施した. すべてにおいてユーザは前述 3. 1の通り
エージェントとのやり取りに基づいて検索条件を設定していく
ものとし, 提示される画像の枚数 k は 1 とした.

4. 1. 4 評 価 指 標
エージェントとの 20 回のやり取りいないでターゲット画像が見つかる成功率, ターゲット画像を見つけるまでのやり取り
数と,20 回のやり取り後の MRR を評価した. さらに, 検索の公平性を評価するため,Gini 係数を算出して評価した.

4. 1. 5 Baselines
既存手法との差を評価するため,SBS [6], QSBPS [2] and SB-

STAR [7] の 3 つの手法との比較を行った. 評価実験において,それぞれの手法で設定するパラメータ等は, 個々の論文で言及されているパラメータを用いた.

が増える程効果を発揮する傾向があることを示している.

4. 4 Q3: Mean Reciprocal Rank
20 回のやり取りを終えてもターゲット画像が見つからない場
合があるが、この時でもターゲット画像がより上位に位置していればユーザはより少ない結果確認でターゲットを見つけることができる. そこで,20 回のやり取りでターゲットが見つからな
かった場合の MRR を評価した. 表 4に図示した通り, 提案手法
はすべての case において最も良い MRR を示し, 既存手法よりも優れていることを実証した.

4. 5 Q4: 公平性
前述 4. 3の通り, case2 から 4 のようにユーザとディテクター
の認識にずれがある場合、少ないやり取り数の時点では既存手法の方が成功率が高い場合も見られた. これは少ないやり取り
ではたまたま認識ずれを含む回答が得られず, ターゲットが早4. 2 Q1: 20 回のやり取りでの成功率

く見つかる場合があることが影響している可能性がある. そこ

まず,20 回のエージェントとユーザのやり取りによってターで我々は,MRR の分散 (Gini 係数) を評価した.Gini 係数が低ゲット人物が見つかる成功率を評価した. 表 3に結果が示されく公平性が高い (=MRR の分散が小さい) ほど、たまたまに影ており, 提案手法はすべての case において既存手法を大きく上響されない良い検索システムであると言える.

回る成功率を実証した. Case1 のようにユーザとディテクター

一例として MRR における Gini 係数は以下の式で算出した.

の認識にずれがない状況において既存手法を上回っていること

表 5に各 case における各手法のやり取り数と MRR の Gini 係

から, ソフトラベルを用いたランキングに基づく属性推薦手法

数を示す.

∑n

が有効だと考えた. また、Case2 4 のようにユーザの誤回答やディテクターの誤認識がある場合, すべての手法で成功率は低下する傾向にあったものの, 我々の提案手法が最も優れる成功率を示し、認識ずれに対応するためのスコア再配分手法が有効

Gini-MRR =

i=1

∑n

j=1 |M RRi − M RRj |∑n.
i=1 M RRi

2n(3)

4. 6 Q5: Ablation Study

であったことを示唆している. ソフトラベルを用いた属性推薦

ディテクターの不確実性によってギャラリー画像のラベルが手法 (CSBAS) とスコア再配分手法 (SRM) の効果切り分けに不適切になる問題に対処するためのソフトラベルを用いた属性

ついては 4. 6にて言及する.

推薦手法 (CSBAS) と, ユーザ回答とディテクターの認識のず

(a) Case 1: ユーザとディテクターに認識ずれがない場合.

(c) Case 3: ディテクターが誤認識をする場合.

(b) Case 2: ユーザが一定確率で誤回答する場合.

(d) Case 4: ディテクターの誤認識とユーザの誤回答の双方が含まれる場合.

図 3: t 回目のやり取り後時点における累積成功率.

表 5: 公平性評価結果. シンボル (†) は既存手法に対して顕著

表 6: 属性推薦とスコア再配分の切り分け評価.

な効果があることを示す.

Case 1 Case 2 Case 3 Case 4
CSBAS-SRM SBS QSBPS SBSTAR

Case 1Case 2
Case 3
Case 40.251

Success rate

0.223

CSBAS-SRM 76.0% 34.3% 31.2% 18.5%
w/o SRM

76.0%

32.1%

29.3%

15.2%

CSBAS-SRM 0.826

0.443

0.429

0.270

0.427

0.412

0.238

Gini-MRR

0.197†

0.217

Gini-#やり取り数

0.309

0.309 0.294

0.31

Gini-MRR

0.557

0.547

0.569

0.542

Gini-#やり取り数

0.189†

0.262

0.225

0.262

Gini-MRR

0.519

0.529

0.576

0.522

Gini-#やり取り数

0.239

0.241

0.254

0.239

Gini-MRR

0.657

0.667

0.73

0.664

最後に, ユーザに各やり取り後に提示する画像数 k が検索性

Gini-#やり取り数

0.122

0.234

0.124

0.232

能に与える影響を評価した. 実際のユースケースではユーザはMRR

w/o SRM

0.826

4. 7 Q6: 画像表示数の影響

検索結果上位を目的に応じた数だけ閲覧してターゲットか否かれに対応するためのスコア再配分手法 (SRM) それぞれの効果を評価するため、Ablation study を行った. 前章同様成功率とMRR を評価した. 表 6に示す通り、case2-4 では SRM によって成功率も MRR も改善する傾向が見られ, 期待通りスコア再配分によってずれの影響が弱められていることが実証できた.

の判定を行うと想定される. そこで,k を 1 から 10 まで変化させた場合の成功率を評価した. 図 4に示す通り, すべての手法で
画像表示数が増える程成功率が向上した. また, すべての場合において提案手法が最も優れた成功率を示した.

5 まとめと今後の課題
本研究では, ユーザが入力する検索クエリの属性条件と, ディテクターが推定する属性の両方が不確実性を持つ条件の下で数(a) Case 1: ユーザとディテクターに認識ずれがない場合.

(c) Case 3: ディテクターが誤認識をする場合.

(b) Case 2: ユーザが一定確率で誤回答する場合.

(d) Case 4: ディテクターの誤認識とユーザの誤回答の双方が含まれる場合.

図 4: 画像表示数 k と成功率の関係.

多くの人物画像から対象人物を早く検索するするために, 属性のソフトラベルを用いたランキングに基づく属性推薦手法と,スコア再配分手法を提案した．ユーザとディテクターの両方が正しい場合, ユーザが一定の確率で間違う場合, ディテクターとユーザの認識がずれている場合, 及びディテクターとユーザの認識はずれている上でユーザが一定の確率で間違う場合, 四つの状況をシミュレートして実験を行い，本手法の有用性を実証した．今後は，スムージングメカニズムを拡張し, ユーザが間違う場合及び認識がずれている場合だけでなく, 両方とも正しい
場合でもスコアの再分配により属性推薦を改善していく. また，大規模なギャラリーに応用する場合の効率性を改善していく．

文

献[1] X. Liu, H. Zhao, M. Tian, L. Sheng, J. Shao, S. Yi, J. Yan,and X. Wang, “Hydraplus-net: Attentive deep features forpedestrian analysis,” in Proceedings of the IEEE international conference on computer vision, 2017, pp. 350–359.
[2] J. Zou and E. Kanoulas, “Learning to ask: Question-based
sequential bayesian product search,” in Proceedings of the
28th ACM International Conference on Information andKnowledge Management, 2019, pp. 369–378.
[3] J. Zou, Y. Chen, and E. Kanoulas, “Towards question-based
recommender systems,” in Proceedings of the 43rd international ACM SIGIR conference on research and development
in information retrieval, 2020, pp. 881–890.
[4] Y. Chen, B. Chen, X. Duan, J.-G. Lou, Y. Wang, W. Zhu,
and Y. Cao, “Learning-to-ask: Knowledge acquisition via 20
questions,” in Proceedings of the 24th ACM SIGKDD International Conference on Knowledge Discovery and Data
Mining, 2018, pp. 1216–1225.
[5] H. Hu, X. Wu, B. Luo, C. Tao, C. Xu, W. Wu, and Z. Chen,“Playing 20 question game with policy-based reinforcement
learning,” arXiv preprint arXiv:1808.07645, 2018.
[6] Z. Wen, B. Kveton, B. Eriksson, and S. Bhamidipati, “Sequential bayesian search,” in International Conference on
Machine Learning. PMLR, 2013, pp. 226–234.
[7] J. Zou, D. Li, and E. Kanoulas, “Technology assisted reviews: Finding the last few relevant documents by asking
yes/no questions to reviewers,” in The 41st International
ACM SIGIR Conference on Research and Development inInformation Retrieval, 2018, pp. 949–952.
[8] T. Dong and J. Liu, “Person search by uncertain attributes,” in Proceedings of the 2022 International Conference on Multimedia Retrieval, 2022, pp. 215–218.

[9] D. Chen, S. Zhang, J. Yang, and B. Schiele, “Norm-aware
embedding for eﬃcient person search,” in Proceedings ofthe IEEE/CVF conference on computer vision and patternrecognition, 2020, pp. 12 615–12 624.
[10] X. Lan, X. Zhu, and S. Gong, “Person search by multi-scale
matching,” in Proceedings of the European conference on
computer vision (ECCV), 2018, pp. 536–552.
[11] B. Munjal, S. Amin, F. Tombari, and F. Galasso, “Queryguided end-to-end person search,” in Proceedings of theIEEE/CVF Conference on Computer Vision and Pattern
Recognition, 2019, pp. 811–820.
[12] Y. Yan, J. Li, J. Qin, S. Bai, S. Liao, L. Liu, F. Zhu, andL. Shao, “Anchor-free person search,” in Proceedings of theIEEE/CVF Conference on Computer Vision and Pattern
Recognition, 2021, pp. 7690–7699.
[13] Y.-T. Cao, J. Wang, and D. Tao, “Symbiotic adversarial
learning for attribute-based person search,” in European
Conference on Computer Vision. Springer, 2020, pp. 230–
247.
[14] Q. Dong, S. Gong, and X. Zhu, “Person search by text attribute query as zero-shot learning,” in Proceedings of theIEEE/CVF International Conference on Computer Vision,
2019, pp. 3652–3661.
[15] B. Jeong, J. Park, and S. Kwak, “Asmr: Learning attributebased person search with adaptive semantic margin regularizer,” in Proceedings of the IEEE/CVF International Conference on Computer Vision, 2021, pp. 12 016–12 025.
[16] D. Li, X. Chen, and K. Huang, “Multi-attribute learning forpedestrian attribute recognition in surveillance scenarios,”
in 2015 3rd IAPR Asian Conference on Pattern Recognition (ACPR). IEEE, 2015, pp. 111–115.
[17] S. Li, T. Xiao, H. Li, B. Zhou, D. Yue, and X. Wang, “Person search with natural language description,” in Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, 2017, pp. 1970–1979.
[18] Z. Wang, R. Hu, C. Liang, Y. Yu, J. Jiang, M. Ye,
J. Chen, and Q. Leng, “Zero-shot person re-identiﬁcation
via cross-view consistency,” IEEE Transactions on Multimedia, vol. 18, no. 2, pp. 260–272, 2015.
[19] Y. Wang, J. Shen, S. Petridis, and M. Pantic, “A real-timeand unsupervised face re-identiﬁcation system for humanrobot interaction,” Pattern Recognition Letters, vol. 128,
pp. 559–568, 2019.
[20] H. Wang, S. Gong, X. Zhu, and T. Xiang, “Human-in-theloop person re-identiﬁcation,” in European conference on
computer vision. Springer, 2016, pp. 405–422.
[21] Z. Wang, T. Schaul, M. Hessel, H. Hasselt, M. Lanctot,
and N. Freitas, “Dueling network architectures for deep reinforcement learning,” in International conference on machine learning. PMLR, 2016, pp. 1995–2003.
[22] H. Van Hasselt, A. Guez, and D. Silver, “Deep reinforcement learning with double q-learning,” in Proceedings of
the AAAI conference on artiﬁcial intelligence, vol. 30, no. 1,
2016.